Cointime

Download App
iOS & Android

ตัวแปร: เหตุใด AI ที่ดีกว่าจึงต้องการ Crypto

ประเด็นหลัก

  • ปัจจุบัน การพัฒนา AI ขั้นพื้นฐานถูกครอบงำโดยบริษัทเทคโนโลยีเพียงไม่กี่แห่ง และอยู่ในสถานะปิดและต่อต้านการแข่งขัน
  • การพัฒนาซอฟต์แวร์โอเพ่นซอร์สเป็นอีกทางเลือกหนึ่ง แต่ AI พื้นฐานไม่สามารถพัฒนาเป็นโครงการซอฟต์แวร์โอเพ่นซอร์สแบบดั้งเดิมได้ (เช่น Linux) เนื่องจากมี "ปัญหาด้านทรัพยากร" และผู้มีส่วนร่วมโอเพ่นซอร์สยังต้องบริจาคค่าใช้จ่ายด้านคอมพิวเตอร์และข้อมูลที่อยู่นอกเหนือพวกเขาด้วย ความสามารถส่วนบุคคล
  • Crypto แก้ปัญหาทรัพยากรโดยจูงใจผู้ให้บริการทรัพยากรให้มีส่วนร่วมในโครงการ AI โอเพ่นซอร์สพื้นฐานผ่านการเป็นเจ้าของ
  • AI แบบโอเพ่นซอร์สที่รวมกับการเข้ารหัสสามารถรองรับโมเดลที่ใหญ่ขึ้นและขับเคลื่อนนวัตกรรมได้มากขึ้น ซึ่งนำไปสู่ ​​AI ที่ดีขึ้น

การแนะนำ

ผลสำรวจของ Pew Research Center ในปี 2024 พบว่าชาวอเมริกัน 64% เชื่อว่าโซเชียลมีเดียส่งผลเสียมากกว่าส่งผลกระทบเชิงบวกต่อสหรัฐอเมริกา และ 78% กล่าวว่าบริษัทโซเชียลมีเดียมีอำนาจและอำนาจมากเกินไปในการเมืองปัจจุบัน โดย 83% % ที่บอกว่ามีแนวโน้มหรือเป็นไปได้มากว่าแพลตฟอร์มเหล่านี้จงใจเซ็นเซอร์ความคิดเห็นทางการเมืองที่พวกเขาไม่เห็นด้วย ความไม่พอใจต่อแพลตฟอร์มโซเชียลมีเดียเป็นหนึ่งในไม่กี่ประเด็นที่ทำให้ชาวอเมริกันเป็นหนึ่งเดียวกัน

เมื่อมองย้อนกลับไปถึงความก้าวหน้าของการทดลองทางโซเชียลมีเดียในช่วง 20 ปีที่ผ่านมา ดูเหมือนว่าหลีกเลี่ยงไม่ได้ที่เราจะจบลงที่จุดที่เราอยู่ ทุกท่านทราบเรื่องราวแล้ว บริษัทเทคโนโลยีขนาดใหญ่จำนวนหนึ่งเริ่มดึงดูดความสนใจและที่สำคัญที่สุดคือข้อมูลผู้ใช้ แม้ว่าในตอนแรกหวังว่าจะเปิดเผยข้อมูลต่อสาธารณะ แต่บริษัทต่างๆ ก็กลับทิศทางอย่างรวดเร็วและปิดการเข้าถึงหลังจากใช้ข้อมูลเพื่อสร้างเอฟเฟกต์เครือข่ายที่ไม่มีวันแตกหัก สิ่งนี้ได้นำไปสู่สถานการณ์ปัจจุบัน โดยมีบริษัทโซเชียลมีเดียด้านเทคโนโลยีขนาดใหญ่ไม่ถึงสิบแห่งดำรงอยู่เหมือนกับศักดินาขนาดเล็กในผู้ขายน้อยราย โดยไม่มีแรงจูงใจที่จะเปลี่ยนแปลง เนื่องจากสภาพที่เป็นอยู่นั้นทำกำไรได้มหาศาล มันถูกปิดและต่อต้านการแข่งขัน

เมื่อพิจารณาว่าการทดลอง AI ดำเนินไปในทิศทางใด ฉันรู้สึกเหมือนกับว่าฉันกำลังดูภาพยนตร์เรื่องเดิมซ้ำอีกครั้ง แต่คราวนี้มันมีความเกี่ยวข้องมากกว่ามาก บริษัทเทคโนโลยีขนาดใหญ่จำนวนหนึ่งได้รวบรวม GPU และข้อมูลเพื่อสร้างโมเดล AI พื้นฐานและบล็อกการเข้าถึงโมเดลเหล่านั้น เป็นไปไม่ได้อีกต่อไปสำหรับผู้เข้าใหม่ (ที่ไม่ได้ระดมทุนนับพันล้านดอลลาร์) เพื่อสร้างเวอร์ชันที่แข่งขันกัน เนื่องจากอุปสรรคในการเข้าสู่ตลาดนั้นสูงมาก - ค่าใช้จ่ายฝ่ายทุนในการคำนวณของการฝึกอบรมโมเดลพื้นฐานก่อนการฝึกอบรมอยู่ที่หลายพันล้านดอลลาร์ และจาก บริษัทโซเชียลมีเดียที่ได้รับประโยชน์จากความเจริญทางเทคโนโลยีครั้งล่าสุดกำลังใช้การควบคุมข้อมูลผู้ใช้ที่เป็นกรรมสิทธิ์ของตนเพื่อสร้างโมเดลที่คู่แข่งไม่สามารถทำได้ เรากำลังทำงานอย่างหนักเพื่อสร้าง AI ขึ้นมาใหม่ในสิ่งที่เราทำกับโซเชียลมีเดีย: ปิดตัวลงและต่อต้านการแข่งขัน หากเราดำเนินไปตามเส้นทางของ AI แบบปิด บริษัทเทคโนโลยีจำนวนหนึ่งจะสามารถควบคุมการเข้าถึงข้อมูลและโอกาสได้อย่างอิสระ

AI โอเพ่นซอร์สและ “ปัญหาด้านทรัพยากร”

หากเราไม่ต้องการโลก AI แบบปิด เรามีทางเลือกอื่นอะไรบ้าง? คำตอบที่ชัดเจนคือการสร้างแบบจำลองพื้นฐานเป็นโครงการซอฟต์แวร์โอเพ่นซอร์ส เรามีตัวอย่างโครงการโอเพ่นซอร์สมากมายที่สร้างซอฟต์แวร์พื้นฐานที่เราพึ่งพาทุกวัน หาก Linux แสดงให้เห็นว่าสิ่งพื้นฐานอย่างระบบปฏิบัติการสามารถสร้างโอเพ่นซอร์สได้ LLM จะสร้างความแตกต่างอะไร

น่าเสียดายที่โมเดล AI พื้นฐานมีข้อจำกัดที่ทำให้แตกต่างจากซอฟต์แวร์แบบดั้งเดิม ซึ่งเป็นอุปสรรคอย่างรุนแรงต่อความอยู่รอดของโครงการซอฟต์แวร์โอเพ่นซอร์สแบบดั้งเดิม โดยเฉพาะอย่างยิ่ง โมเดล AI พื้นฐานนั้นต้องการทรัพยากรการประมวลผลและข้อมูลเกินกว่าความสามารถของแต่ละบุคคล ผลลัพธ์ก็คือ ไม่เหมือนกับโครงการซอฟต์แวร์โอเพ่นซอร์สแบบดั้งเดิมที่ต้องอาศัยผู้บริจาคเวลา (ซึ่งเป็นปัญหาที่ท้าทายอยู่แล้ว) AI โอเพ่นซอร์สยังต้องการให้ผู้บริจาคทรัพยากรในรูปแบบของคอมพิวเตอร์และข้อมูลด้วย นี่คือ "ปัญหาทรัพยากร" ของ AI โอเพ่นซอร์ส

เพื่อให้เข้าใจปัญหาทรัพยากรได้ดีขึ้น เรามาดูแบบจำลอง LLaMa ของ Meta กันดีกว่า Meta แตกต่างจากคู่แข่ง (OpenAI, Google ฯลฯ) ตรงที่ไม่ได้ซ่อนโมเดลไว้หลัง API แบบชำระเงิน แต่ทำให้น้ำหนักของ LLaMa เปิดให้ทุกคนใช้งานได้ฟรีแทน (โดยมีข้อจำกัดบางประการ) น้ำหนักเหล่านี้แสดงถึงสิ่งที่โมเดลเรียนรู้ระหว่างกระบวนการฝึกอบรม Meta และจำเป็นในการรันโมเดล เมื่อมีตุ้มน้ำหนักอยู่แล้ว ทุกคนสามารถปรับแต่งโมเดลอย่างละเอียด หรือใช้เอาท์พุตของโมเดลเป็นอินพุตให้กับโมเดลใหม่ได้

แม้ว่า Meta สมควรได้รับเครดิตในการเผยแพร่น้ำหนักของ LLaMa แต่ก็ไม่ใช่โครงการซอฟต์แวร์โอเพ่นซอร์สอย่างแท้จริง Meta ฝึกโมเดลแบบส่วนตัวโดยใช้การคำนวณ ข้อมูล และการตัดสินใจของตัวมันเอง และตัดสินใจฝ่ายเดียวเมื่อใดที่จะทำให้โมเดลพร้อมใช้งานสู่โลก Meta ไม่เชิญนักวิจัย/นักพัฒนาอิสระให้เข้าร่วมในชุมชน เนื่องจากสมาชิกในชุมชนแต่ละรายไม่สามารถมีทรัพยากรด้านการคำนวณหรือข้อมูลที่จำเป็นสำหรับการฝึกอบรมหรือฝึกอบรมโมเดลใหม่ เช่น GPU หน่วยความจำสูงนับหมื่น, ศูนย์ข้อมูลเพื่อรองรับสิ่งเหล่านั้น สิ่งอำนวยความสะดวกโครงสร้างพื้นฐานการทำความเย็นขนาดใหญ่ และโทเค็นข้อมูลการฝึกอบรมนับล้านล้านรายการ ตามที่ระบุไว้ในรายงานดัชนี AI ประจำปี 2024 ของมหาวิทยาลัยสแตนฟอร์ด “ต้นทุนการฝึกอบรมที่เพิ่มขึ้นทำให้มหาวิทยาลัยต่างๆ (ซึ่งเดิมเป็นศูนย์กลางของการวิจัย AI) ไม่สามารถพัฒนาแบบจำลองพื้นฐานที่ล้ำสมัยของตนเองได้อย่างมีประสิทธิภาพ” เพื่อทำความเข้าใจต้นทุน แซม อัลท์แมน กล่าวถึงต้นทุนการฝึกอบรมของ GPT-4 มีมูลค่า 100 ล้านดอลลาร์สหรัฐ และอาจไม่รวมรายจ่ายฝ่ายทุน ส่วนรายจ่ายฝ่ายทุนของ Meta เพิ่มขึ้น 2.1 พันล้านดอลลาร์สหรัฐเมื่อเทียบเป็นรายปี (ไตรมาส 2 ปี 2567 เทียบกับไตรมาส 2 ปี 2566) ส่วนใหญ่มาจากการฝึกอบรมและการฝึกอบรม AI การลงทุนในเซิร์ฟเวอร์ ศูนย์ข้อมูล และโครงสร้างพื้นฐานเครือข่ายที่เกี่ยวข้องกับโมเดล ดังนั้น แม้ว่าผู้ร่วมให้ข้อมูลในชุมชนของ LLaMa อาจมีความสามารถด้านเทคนิคในการมีส่วนร่วมและทำซ้ำเกี่ยวกับสถาปัตยกรรมโมเดลพื้นฐาน แต่พวกเขายังขาดหนทางที่จะทำเช่นนั้น

โดยสรุป แตกต่างจากโครงการซอฟต์แวร์โอเพ่นซอร์สแบบดั้งเดิมซึ่งต้องการเพียงผู้มีส่วนร่วมเท่านั้นที่สละเวลา ผู้มีส่วนร่วมในโครงการ AI แบบโอเพ่นซอร์สจะต้องสละเวลาและต้นทุนจำนวนมากในรูปแบบของการคำนวณและข้อมูล การใช้ความปรารถนาดีและอาสาสมัครเพื่อจูงใจฝ่ายต่างๆ ให้เพียงพอในการจัดหาทรัพยากรเหล่านี้นั้นไม่สมจริง พวกเขาต้องการแรงจูงใจเพิ่มเติม บางทีตัวอย่างที่แย้งได้ดีที่สุดต่อคุณธรรมของความปรารถนาดีและการเป็นอาสาสมัครในการพัฒนา AI แบบโอเพ่นซอร์สก็คือความสำเร็จของ LLM BLOOM แบบโอเพ่นซอร์สพารามิเตอร์ 176B ซึ่งเกี่ยวข้องกับนักวิจัยอาสาสมัคร 1,000 คนจากกว่า 70 ประเทศและสถาบันมากกว่า 250 แห่ง แม้ว่านี่จะเป็นความสำเร็จที่น่าประทับใจอย่างแน่นอน (สิ่งหนึ่งที่ฉันสนับสนุนอย่างเต็มที่) การประสานงานการฝึกอบรมครั้งหนึ่งใช้เวลาหนึ่งปีและได้รับเงินทุน 3 ล้านยูโรจากหน่วยงานวิจัยของฝรั่งเศส (และค่าใช้จ่ายนั้นไม่รวมเงินทุนสำหรับการใช้จ่ายด้านทุนสำหรับซูเปอร์คอมพิวเตอร์ ฝึกโมเดลนี้ ซึ่งหนึ่งในนั้นมีให้บริการสำหรับสถาบันในฝรั่งเศสแล้ว) ขั้นตอนการประสานงานและการพึ่งพาทุนสนับสนุนใหม่เพื่อทำซ้ำใน BLOOM นั้นยุ่งยากและเป็นระบบราชการเกินกว่าจะเข้ากับจังหวะของห้องปฏิบัติการเทคโนโลยีขนาดใหญ่ แม้ว่า BLOOM เปิดตัวจะเป็นเวลากว่าสองปีแล้ว แต่ฉันไม่รู้ว่าทางกลุ่มได้ผลิตโมเดลต่อยอดออกมาหรือไม่

เพื่อให้ AI แบบโอเพ่นซอร์สเป็นไปได้ เราจำเป็นต้องจูงใจผู้ให้บริการทรัพยากรให้มีส่วนร่วมในการคำนวณและข้อมูลของตน โดยไม่ต้องให้ผู้มีส่วนร่วมโอเพ่นซอร์สต้องเสียค่าใช้จ่าย

เหตุใด Crypto จึงสามารถแก้ปัญหาทรัพยากรของ AI แบบโอเพ่นซอร์สได้

ความก้าวหน้าของ Crypto คือการใช้ประโยชน์จากความเป็นเจ้าของเพื่อทำให้โครงการซอฟต์แวร์โอเพ่นซอร์สที่มีราคาแพงทรัพยากรเป็นไปได้ Crypto แก้ปัญหาทรัพยากรที่มีอยู่ใน AI โอเพ่นซอร์สโดยการสร้างแรงจูงใจให้กับผู้ให้บริการทรัพยากรเก็งกำไรที่มีศักยภาพในเครือข่าย แทนที่จะกำหนดให้ผู้มีส่วนร่วมโอเพ่นซอร์สจ่ายค่าใช้จ่ายล่วงหน้าเพื่อจัดหาทรัพยากรเหล่านี้

เพื่อพิสูจน์เรื่องนี้ ไม่ต้องมองไปไกลกว่าโครงการ Bitcoin ดั้งเดิม Bitcoin เป็นโครงการซอฟต์แวร์โอเพ่นซอร์ส รหัสที่รันนั้นเปิดโดยสมบูรณ์และเป็นอยู่ตั้งแต่วันที่เริ่มโครงการ แต่โค้ดนั้นไม่ใช่สูตรลับ ไม่มีประโยชน์มากนักในการดาวน์โหลดและใช้งานซอฟต์แวร์โหนด Bitcoin เพื่อสร้างบล็อกเชนที่มีเฉพาะในคอมพิวเตอร์ของคุณเท่านั้น ซอฟต์แวร์นี้จะมีประโยชน์เฉพาะเมื่อการคำนวณจำนวนบล็อกที่ขุดได้มีขนาดใหญ่พอที่จะเกินพลังการคำนวณของผู้มีส่วนร่วมรายเดียว ด้วยวิธีนี้เท่านั้นที่สามารถสร้างมูลค่าเพิ่มของซอฟต์แวร์ได้: การรักษาบัญชีแยกประเภทที่ไม่มีใครควบคุม เช่นเดียวกับ Foundation Open Source AI Bitcoin เป็นตัวแทนของโครงการซอฟต์แวร์โอเพ่นซอร์สที่ต้องใช้ทรัพยากรที่เกินความสามารถของผู้มีส่วนร่วมรายเดียว พวกเขาอาจต้องการคอมพิวเตอร์นี้ด้วยเหตุผลที่แตกต่างกัน — Bitcoin เพื่อป้องกันการงัดแงะเครือข่าย และ Foundation AI เพื่อวนซ้ำโมเดล — แต่ประเด็นที่กว้างกว่านั้นก็คือ พวกเขาทั้งสองต้องการทรัพยากรที่เกินกว่าความต้องการของผู้ร่วมให้ข้อมูลเพียงคนเดียว เพื่อทำหน้าที่เป็นซอฟต์แวร์โอเพ่นซอร์สที่ทำงานได้ โครงการ.

เคล็ดลับมหัศจรรย์ที่ Bitcoin หรือเครือข่ายเข้ารหัสลับใดๆ ใช้เพื่อจูงใจให้ผู้เข้าร่วมบริจาคทรัพยากรให้กับโครงการซอฟต์แวร์โอเพ่นซอร์ส คือการมอบความเป็นเจ้าของเครือข่ายในรูปแบบของโทเค็น ดังที่ Jesse เขียนไว้ในรายงานการก่อตั้ง Variant เมื่อปี 2020 ความเป็นเจ้าของจะจูงใจให้ผู้ให้บริการทรัพยากรบริจาคทรัพยากรให้กับโปรเจ็กต์เพื่อแลกกับศักยภาพของเครือข่าย สิ่งนี้คล้ายกับวิธีการใช้ Sweat Equity ในการเปิดตัวบริษัทที่เพิ่งเริ่มก่อตั้ง โดยจ่ายเงินให้กับพนักงานยุคแรกๆ (เช่น ผู้ก่อตั้ง) ผ่านการเป็นเจ้าของธุรกิจเป็นหลัก สตาร์ทอัพสามารถเอาชนะปัญหาสตาร์ทอัพได้ด้วยการเข้าถึงแรงงานที่อาจไม่สามารถจ่ายได้ Crypto ขยายแนวคิดเรื่องความเสมอภาคให้กับผู้ให้บริการทรัพยากร ไม่ใช่แค่ผู้ที่สละเวลาเท่านั้น ด้วยเหตุนี้ Variant จึงมุ่งเน้นไปที่การลงทุนในโครงการที่ใช้ประโยชน์จากการเป็นเจ้าของเพื่อสร้างเอฟเฟกต์เครือข่าย เช่น Uniswap, Morpho และ World

หากเราต้องการทำให้ AI แบบโอเพ่นซอร์สเป็นไปได้ การเป็นเจ้าของผ่าน crypto จะเป็นวิธีแก้ปัญหาทรัพยากรที่ AI เผชิญอยู่ นักวิจัยมีอิสระที่จะสนับสนุนแนวคิดการออกแบบโมเดลของตนให้กับโครงการโอเพ่นซอร์ส เนื่องจากทรัพยากรที่จำเป็นในการดำเนินการตามแนวคิดของตนนั้นจะได้รับจากผู้ให้บริการคอมพิวเตอร์และข้อมูลเพื่อแลกกับการเป็นเจ้าของโครงการ แทนที่จะกำหนดให้นักวิจัยเหล่านี้ต้องจ่ายค่าธรรมเนียมที่สูงเกินไป ค่าใช้จ่ายล่วงหน้า . การเป็นเจ้าของอาจมีรูปแบบที่แตกต่างกันมากมายใน AI โอเพ่นซอร์ส แต่สิ่งหนึ่งที่ฉันตื่นเต้นมากที่สุดคือการเป็นเจ้าของโมเดลต่างๆ เอง เช่นเดียวกับแนวทางที่เสนอโดย Pluralis

Pluralis เรียกแนวทางนี้ว่าโมเดลโปรโตคอล ซึ่งผู้ให้บริการคอมพิวเตอร์สามารถสนับสนุนทรัพยากรการประมวลผลเพื่อฝึกฝนโมเดลโอเพ่นซอร์สที่เฉพาะเจาะจง และรับสิทธิ์เป็นเจ้าของรายได้จากการอนุมานในอนาคตจากโมเดลนั้น เนื่องจากการเป็นเจ้าของเป็นของรุ่นใดรุ่นหนึ่ง และมูลค่าของการเป็นเจ้าของขึ้นอยู่กับรายได้จากการอนุมาน ผู้ให้บริการคอมพิวเตอร์จึงมีแรงจูงใจในการเลือกรุ่นที่ดีที่สุด แทนที่จะโกงการฝึกอบรม (เนื่องจากการให้การฝึกอบรมที่ไร้ประโยชน์จะลดมูลค่าที่คาดหวังของรายได้จากการอนุมานในอนาคต) . คำถามก็กลายเป็น: จะบังคับใช้ความเป็นเจ้าของใน Pluralis ได้อย่างไรหากจำเป็นต้องส่งน้ำหนักไปยังผู้ให้บริการคอมพิวเตอร์เพื่อการฝึกอบรม คำตอบก็คือ โมเดลที่ขนานกันนั้นใช้เพื่อกระจายชิ้นส่วนโมเดลให้กับคนงาน ทำให้สามารถใช้ประโยชน์จากคุณสมบัติหลักของโครงข่ายประสาทเทียมได้ กล่าวคือ สามารถมีส่วนร่วมในการฝึกฝนโมเดลที่ใหญ่ขึ้นในขณะที่มองเห็นเพียงเศษเสี้ยวของน้ำหนักทั้งหมดเท่านั้น ดังนั้น จึงมั่นใจได้ว่าความสมบูรณ์จะสมบูรณ์ ชุดตุ้มน้ำหนักยังคงไม่สามารถแยกออกได้ และเนื่องจากโมเดลต่างๆ จำนวนมากได้รับการฝึกฝนบน Pluralis ผู้ฝึกสอนจึงจะมีชุดตุ้มน้ำหนักที่แตกต่างกันมากมาย ทำให้เป็นเรื่องยากมากที่จะสร้างโมเดลขึ้นมาใหม่ นี่คือแนวคิดหลักของโมเดลโปรโตคอล: สามารถฝึกได้และสามารถใช้ได้ แต่ไม่สามารถแยกออกจากโปรโตคอลได้ (โดยไม่ต้องใช้พลังการประมวลผลมากเกินกว่าที่จำเป็นในการฝึกโมเดลตั้งแต่เริ่มต้น) สิ่งนี้แก้ไขข้อกังวลที่มักถูกวิพากษ์วิจารณ์เกี่ยวกับ AI แบบโอเพ่นซอร์ส กล่าวคือ คู่แข่ง AI แบบปิดจะจัดสรรผลงานของโครงการแบบเปิด

ทำไม Crypto+ Open Source = AI ที่ดีกว่า

ฉันเริ่มบทความนี้โดยอธิบายปัญหาของการควบคุม Big Tech เพื่อแสดงให้เห็นว่าเหตุใด AI แบบปิดจึงไม่ดีจากมุมมองเชิงบรรทัดฐาน แต่ในโลกที่ประสบการณ์ออนไลน์ของเราเป็นอันตรายถึงชีวิต ฉันเกรงว่านี่อาจไม่มีความหมายอะไรสำหรับผู้อ่านส่วนใหญ่ ดังนั้นในท้ายที่สุด ฉันอยากจะให้เหตุผลสองประการว่าทำไม AI แบบโอเพ่นซอร์สที่ขับเคลื่อนโดย crypto จะนำไปสู่ปัญญาประดิษฐ์ที่ดีขึ้น

ประการแรก การรวมกันของ Crypto และ AI แบบโอเพ่นซอร์สจะช่วยให้เราไปถึงระดับถัดไปของโมเดลพื้นฐาน เนื่องจากจะประสานทรัพยากรมากกว่า AI แบบปิด การวิจัยในปัจจุบันของเราแสดงให้เห็นว่าทรัพยากรที่มากขึ้นในรูปแบบของการคำนวณและข้อมูลหมายถึงแบบจำลองที่ดีขึ้น ซึ่งเป็นสาเหตุที่โดยทั่วไปแล้วแบบจำลองพื้นฐานจะมีขนาดใหญ่ขึ้นเรื่อยๆ Bitcoin แสดงให้เราเห็นว่าซอฟต์แวร์โอเพ่นซอร์สบวกกับการเข้ารหัสใดบ้างที่สามารถปลดล็อกได้ในแง่ของพลังการประมวลผล เป็นเครือข่ายคอมพิวเตอร์ที่ใหญ่ที่สุดและทรงพลังที่สุดในโลก ซึ่งมีขนาดใหญ่กว่าระบบคลาวด์ของบริษัทเทคโนโลยีรายใหญ่ การเข้ารหัสเปลี่ยนการแข่งขันแบบแยกเดี่ยวให้เป็นการแข่งขันแบบร่วมมือกัน ผู้ให้บริการทรัพยากรได้รับการจูงใจให้สนับสนุนทรัพยากรของตนเพื่อแก้ไขปัญหาโดยรวม แทนที่จะสะสมทรัพยากรไว้เพื่อแก้ไขปัญหานั้นทีละรายการ (และซ้ำซ้อน) AI แบบโอเพ่นซอร์สที่ใช้การเข้ารหัสจะสามารถใช้ประโยชน์จากการประมวลผลและข้อมูลโดยรวมของโลก เพื่อสร้างขนาดแบบจำลองที่เกินกว่าจะเป็นไปได้ด้วย AI แบบปิด บริษัทต่างๆ เช่น Hyperbolic ได้แสดงให้เห็นถึงพลังของการใช้ประโยชน์จากทรัพยากรการประมวลผลโดยรวม ซึ่งช่วยให้ใครก็ตามสามารถเช่า GPU ได้ในราคาที่ต่ำกว่าในตลาดเปิดของตน

ประการที่สอง การรวม Crypto และ AI แบบโอเพ่นซอร์สจะขับเคลื่อนนวัตกรรมมากขึ้น เนื่องจากหากเราสามารถเอาชนะปัญหาด้านทรัพยากรได้ เราก็สามารถกลับไปสู่ธรรมชาติของการวิจัยการเรียนรู้ของเครื่องแบบโอเพ่นซอร์สที่มีการทำซ้ำสูงและสร้างสรรค์ได้ ก่อนที่จะมีการเปิดตัว LLM ขั้นพื้นฐานเมื่อเร็วๆ นี้ นักวิจัยด้านการเรียนรู้ของเครื่องได้เผยแพร่โมเดลและพิมพ์เขียวของตนต่อสาธารณะเพื่อการจำลองแบบมานานหลายทศวรรษ โดยทั่วไป โมเดลเหล่านี้จะใช้ชุดข้อมูลเปิดที่จำกัดมากกว่าและมีข้อกำหนดด้านการคำนวณที่สามารถจัดการได้ ซึ่งหมายความว่าใครๆ ก็สามารถทำซ้ำได้ ด้วยการทำซ้ำนี้ทำให้เรามีความคืบหน้าในการสร้างแบบจำลองตามลำดับ เช่น RNN, LSTM และกลไกความสนใจ ซึ่งทำให้สถาปัตยกรรมโมเดล "Transformer" ที่ LLM พื้นฐานในปัจจุบันอาศัยเป็นไปได้ แต่ด้วยการเปิดตัว GPT-3 (ซึ่งทำให้แนวโน้มของโอเพ่นซอร์ส GPT-2 กลับกัน) และความสำเร็จอันยิ่งใหญ่ของ ChatGPT ทั้งหมดนี้เปลี่ยนไป นั่นเป็นเพราะ OpenAI ได้พิสูจน์แล้วว่าหากคุณทุ่มการคำนวณและข้อมูลเพียงพอในโมเดลขนาดใหญ่ คุณสามารถสร้าง LLM ที่ดูเหมือนจะเข้าใจภาษามนุษย์ได้ สิ่งนี้สร้างปัญหาด้านทรัพยากรที่ทำให้การวิจัยทางวิชาการไม่สามารถจ่ายได้ในราคาที่สูง และทำให้ห้องปฏิบัติการของบริษัทเทคโนโลยีขนาดใหญ่ต้องหยุดเผยแพร่สถาปัตยกรรมแบบจำลองต่อสาธารณะเป็นส่วนใหญ่เพื่อรักษาความได้เปรียบทางการแข่งขัน สถานะปัจจุบันของการพึ่งพาห้องปฏิบัติการแต่ละแห่งเป็นหลักจะจำกัดความสามารถของเราในการก้าวข้ามขอบเขตของเทคโนโลยีที่ล้ำสมัย AI แบบโอเพ่นซอร์สที่เปิดใช้งานโดยการเข้ารหัสจะหมายความว่านักวิจัยจะสามารถดำเนินการตามกระบวนการทำซ้ำนี้กับโมเดลที่ล้ำสมัยได้อีกครั้งเพื่อค้นหา "หม้อแปลงตัวถัดไป"

ความคิดเห็น

ความคิดเห็นทั้งหมด

Recommended for you