Гарчиг[Нуух][Үзүүлэх]
Тухайн үеийн том мэдрэлийн сүлжээ болох GPT-3-ийг 2020 оны XNUMX-р сард нийтэлсэн Нээлттэй байна, Элон Маск, Сэм Алтман нарын хамтран үүсгэн байгуулсан хиймэл оюун ухааны стартап. GPT-3 нь өмнөх үеийн GPT-175-ийн 1,5 тэрбум параметртэй харьцуулахад 2 тэрбум параметртэй хамгийн сүүлийн үеийн хэлний загвар юм.
GPT-3 нь өмнө нь 17 тэрбум параметр бүхий хамгийн том мэдрэлийн сүлжээний дээд амжилтыг эзэмшиж байсан Microsoft-ын NLG Turing загвараас (Turing Natural Language Generation) давсан.
Хэлний загварыг магтаж, шүүмжилж, бүр нягталж үзсэн; Энэ нь бас шинэ, сонирхолтой хэрэглээг бий болгосон. Одоо OpenAI-ийн дараагийн хэвлэл болох GPT-4 гэсэн мэдээлэл байна хэлний загвар, үнэхээр удахгүй ирэх болно.
Хэрэв та GPT-4-ийн талаар илүү ихийг мэдэхийг хүсвэл зөв сайт дээр ирлээ. Бид энэ нийтлэлд GPT-4-ийн параметрүүдийг, бусад загваруудтай харьцуулах зэргийг нарийвчлан авч үзэх болно.
Тэгэхээр GPT-4 гэж юу вэ?
GPT-4-ийн хамрах хүрээг ойлгохын тулд эхлээд GPT-3-ийг ойлгох хэрэгтэй. GPT-3 (Generative Pre-trained Transformer, гурав дахь үе) нь бие даасан контент үүсгэх хэрэгсэл юм.
Хэрэглэгчид а-д өгөгдөл оруулна машин суралцах Энэ загвар нь дараа нь хариуд нь их хэмжээний холбогдох бичвэр гаргах боломжтой гэж OpenAI-ийн үзэж байгаагаар. GPT-4 нь хэд хэдэн удаа буудсан нөхцөлд олон ажлыг гүйцэтгэхэд илүү сайн байх болно машин суралцах - үр дүнг хүмүүст илүү ойртуулах.
GPT-3-ыг бүтээхэд хэдэн зуун сая фунт стерлинг шаардагдах боловч GPT-4 нь цар хүрээний хувьд таван зуу дахин их байх тул илүү их зардал гарах болно гэж таамаглаж байна. Үүнийг хэтийн төлөвт оруулахын тулд,
GPT-4 нь тархины синапстай адил олон шинж чанартай байж болно. GPT-4 нь GPT-3-тай ижил аргуудыг голчлон ашиглах бөгөөд ингэснээр парадигмын үсрэлт гэхээсээ илүү GPT-4 нь GPT-3-ын одоогийн хийж байгаа зүйлийг өргөжүүлэх болно, гэхдээ илүү их дүгнэлт хийх чадвартай.
GPT-3 нь хэрэглэгчдэд практик зорилгоор байгалийн хэлийг оруулах боломжийг олгосон боловч сайн үр дүнд хүргэх шуурхай аргачлалыг зохион бүтээхэд тодорхой хэмжээний мэдлэг шаардлагатай хэвээр байв. GPT-4 нь хэрэглэгчдийн зорилгыг урьдчилан таамаглахад илүү сайн байх болно.
GPT-4 параметрүүд ямар байх вэ?
Хамгийн их хүлээгдэж буй хиймэл оюун ухааны дэвшилтүүдийн нэг хэдий ч GPT-4-ийн талаар юу ч мэдэгдээгүй: энэ нь ямар харагдах, ямар шинж чанартай байх, ямар хүч чадалтай байх вэ.
Өнгөрсөн жил Алтман асуулт хариултыг хийж, OpenAI-ийн GPT-4-ийн талаарх амбицын талаар цөөн хэдэн мэдээллийг илчилсэн. Алтманы хэлснээр энэ нь GPT-3-аас томгүй байх болно. GPT-4 нь хамгийн өргөн хэрэглэгддэг байх магадлал багатай хэлний загвар. Хэдийгээр загвар нь өмнөх үеийнхтэй харьцуулахад асар том байх болно мэдрэлийн сүлжээ, түүний хэмжээ нь ялгах шинж чанар биш байх болно. GPT-3 болон Gopher бол хамгийн үнэмшилтэй нэр дэвшигчид юм (175B-280B).
Nvidia болон Microsoft-ын Megatron-Turing NLG нар дээд амжилтыг эзэмшиж байна хамгийн нягт мэдрэлийн сүлжээ 530B-ийн параметрүүд нь GPT-3-аас гурав дахин их байсан - саяхан хүртэл Google-ийн PaLM үүнийг 540B-д авч байсан. Гайхалтай нь цөөн хэдэн загвар нь MT-NLG-ээс илүү гарсан.
Эрчим хүчний хуулийн холболтын дагуу OpenAI-ийн Жаред Каплан болон түүний хамтрагчид 2020 онд төсвийн өсөлтийг боловсруулахад ихэвчлэн параметрийн тоог нэмэгдүүлэхэд зарцуулсан бол гүйцэтгэл хамгийн их сайжирна гэж тодорхойлсон. Google, Nvidia, Microsoft, OpenAI, DeepMind болон бусад хэлний загварчлалын компаниуд дүрэм журмыг дуулгавартай дагаж мөрдсөн.
Альтман тэд цаашид асар том загвар бүтээхэд анхаарлаа хандуулахаа больсон, харин жижиг загваруудын гүйцэтгэлийг нэмэгдүүлэхэд анхаарлаа хандуулж байгаагаа илэрхийлэв.
OpenAI судлаачид масштабын таамаглалыг анхлан дэмжигчид байсан ч урьд өмнө нь нээгээгүй нэмэлт замууд нь илүү сайн загварт хүргэж болзошгүйг олж мэдсэн байж магадгүй юм. Эдгээр шалтгааны улмаас GPT-4 нь GPT-3-аас хамаагүй том биш юм.
OpenAI нь өгөгдөл, алгоритм, параметржуулалт, зэрэгцүүлэх зэрэг бусад тал дээр илүү их анхаарал хандуулах бөгөөд эдгээр нь илүү хурдан үр өгөөжийг өгөх боломжтой болно. 100T параметртэй загвар юу хийж чадахыг бид хүлээх хэрэгтэй болно.
Гол оноо:
- Загварын хэмжээ: GPT-4 нь GPT-3-аас том байх боловч тийм ч их биш (MT-NLG 530B ба PaLM 540B). Загварын хэмжээ нь онцгүй байх болно.
- Оновчтой байдал: GPT-4 нь GPT-3-аас илүү их нөөц ашиглах болно. Энэ нь параметржуулалт (хамгийн оновчтой гиперпараметрүүд) болон масштабын аргуудын (сургалтын токенуудын тоо нь загварын хэмжээнээс дутахгүй чухал) шинэ оновчтой байдлын ойлголтуудыг хэрэгжүүлэх болно.
- Олон талт байдал: GPT-4 нь зөвхөн мессеж илгээх, хүлээн авах боломжтой (мультимодал биш). OpenAI нь олон төрлийн загварт шилжихээсээ өмнө хэлний загваруудыг хязгаарт хүргэхийг эрмэлздэг ДАЛЛЕ 2, энэ нь эцэстээ unimodal системийг давах болно гэж тэдний таамаглаж байна.
- Сийрэг байдал: GPT-4 нь өмнөх GPT-2 ба GPT-3 шиг нягт загвар байх болно (бүх параметрүүд нь өгөгдсөн оролтыг боловсруулахад ашиглагдах болно). Ирээдүйд сийрэгжилт илүү чухал болно.
- шугам: GPT-4 нь GPT-3-аас илүү бидэнд ойртох болно. Хүний оролцоотойгоор бүтээгдсэн InstructGPT-ээс сурсан зүйлээ оруулах болно. Гэсэн хэдий ч AI нэгдэл нь хол зайд байгаа тул хүчин чармайлтыг хэтрүүлэхийн оронд анхааралтай үнэлэх хэрэгтэй.
Дүгнэлт
Хиймэл ерөнхий оюун ухаан. Энэ бол том зорилго боловч OpenAI хөгжүүлэгчид түүнд хүрэхийн тулд ажиллаж байна. AGI-ийн зорилго нь тухайн хүний хийж чадах аливаа үйл ажиллагааг ойлгож, хийх чадвартай загвар өмсөгч эсвэл "агент"-ыг бий болгох явдал юм.
GPT-4 нь энэ зорилгодоо хүрэх дараагийн алхам байж магадгүй бөгөөд энэ нь шинжлэх ухааны уран зөгнөлт киноных шиг сонсогддог. AGI-д хүрэх нь хэр бодитой вэ гэж та гайхаж магадгүй юм.
Google-ийн Инженерийн захирал Рэй Курцвейлийн хэлснээр бид 2029 он гэхэд энэ чухал үеийг давах болно. Үүнийг анхаарч, AGI (хиймэл ерөнхий оюун ухаан) руу ойртох тусам GPT-4 болон энэ загварын үр дагаврыг нарийвчлан авч үзье.
хариу үлдээх