Tabl Cynnwys[Cuddio][Dangos]
Cyhoeddwyd GPT-3, rhwydwaith niwral mawr y foment, ym mis Mai 2020 erbyn OpenAI, y cychwyniad AI a gyd-sefydlwyd gan Elon Musk a Sam Altman. Mae GPT-3 yn fodel iaith blaengar gyda 175 biliwn o baramedrau o'i gymharu â 1,5 biliwn o baramedrau yn ei ragflaenydd GPT-2.
Perfformiodd GPT-3 yn well na model NLG Turing Microsoft (Turing Natural Language Generation), a oedd wedi dal y record yn flaenorol ar gyfer y rhwydwaith niwral mwyaf gyda 17 biliwn o baramedrau.
Mae’r model iaith wedi’i ganmol, ei feirniadu, a hyd yn oed ei graffu; mae hefyd wedi silio defnyddiau newydd a diddorol. Ac yn awr mae adroddiadau bod GPT-4, y rhifyn nesaf o'r OpenAI model iaith, yn wir yn dod yn fuan.
Rydych chi wedi cyrraedd y wefan gywir os ydych chi am ddysgu mwy am y GPT-4. Byddwn yn edrych ar y GPT-4 yn fanwl yn yr erthygl hon, gan gwmpasu ei baramedrau, sut mae'n cymharu â modelau eraill, a mwy.
Felly, beth yw GPT-4?
Er mwyn deall cwmpas GPT-4, rhaid inni ddeall GPT-3 yn gyntaf, ei ragflaenydd. Offeryn cynhyrchu cynnwys ymreolaethol yw GPT-3 (Trawsnewidydd Cyn-hyfforddedig Cynhyrchiol, trydydd cenhedlaeth).
Mae defnyddwyr yn mewnbynnu data i a dysgu peiriant model, a all wedyn gynhyrchu symiau enfawr o ysgrifennu perthnasol mewn ymateb, yn ôl OpenAI. Bydd GPT-4 yn sylweddol well am amldasgio mewn amodau ychydig o ergydion - math o dysgu peiriant – dod â’r canlyniadau hyd yn oed yn agosach at rai bodau dynol.
Mae GPT-3 yn costio cannoedd o filiynau o bunnoedd i'w adeiladu, ond rhagwelir y bydd GPT-4 yn costio llawer mwy oherwydd bydd bum can gwaith yn fwy o ran maint. I roi hyn mewn persbectif,
Gall fod gan GPT-4 gymaint o nodweddion â synapsau yn yr ymennydd. Bydd GPT-4 yn defnyddio'r un dulliau â GPT-3 yn bennaf, felly yn hytrach na bod yn naid baradig, bydd GPT-4 yn ehangu ar yr hyn y mae GPT-3 yn ei gyflawni ar hyn o bryd - ond gyda gallu casglu llawer mwy.
Roedd GPT-3 yn caniatáu i ddefnyddwyr fynd i mewn i iaith naturiol at ddibenion ymarferol, ond roedd angen rhywfaint o arbenigedd o hyd i ddylunio anogwr a fyddai'n arwain at ganlyniadau da. Bydd GPT-4 yn sylweddol well am ragweld bwriadau defnyddwyr.
Beth fydd y paramedrau GPT-4?
Er ei fod yn un o'r datblygiadau AI mwyaf poblogaidd, ni wyddys dim am GPT-4: sut olwg fydd arno, pa nodweddion fydd ganddo, a pha bwerau a fydd ganddo.
Y llynedd, gwnaeth Altman sesiwn holi-ac-ateb a datgelodd ychydig o fanylion am uchelgeisiau OpenAI ar gyfer GPT-4. Ni fyddai’n fwy na GPT-3, yn ôl Altman. Mae'n annhebygol mai GPT-4 yw'r un a ddefnyddir fwyaf model iaith. Er y bydd y model yn enfawr o'i gymharu â chenedlaethau blaenorol o rhwydweithiau nefol, nid ei faint fydd ei nodwedd wahaniaethol. GPT-3 a Gopher yw'r ymgeiswyr mwyaf credadwy (175B-280B).
Daliodd Nvidia a Megatron-Turing NLG Microsoft y record ar gyfer y rhwydwaith niwral dwysaf paramedrau yn 530B – deirgwaith yn fwy na GPT-3 – tan yn ddiweddar pan gymerodd PaLM Google ef ar 540B. Yn syndod, perfformiodd cyfres o fodelau llai yn well na'r MT-NLG.
Yn ôl cysylltiad cyfraith pŵer, penderfynodd Jared Kaplan OpenAI a chydweithwyr yn 2020, wrth brosesu codiadau cyllidebol yn cael eu gwario'n bennaf ar gynyddu nifer y paramedrau, bod perfformiad yn gwella fwyaf. Dilynodd Google, Nvidia, Microsoft, OpenAI, DeepMind, a chwmnïau modelu iaith eraill y rheoliadau yn ufudd.
Nododd Altman nad oeddent bellach yn canolbwyntio ar adeiladu modelau enfawr, ond yn hytrach ar wneud y gorau o berfformiad modelau llai.
Roedd ymchwilwyr OpenAI yn gynigwyr cynnar i'r ddamcaniaeth raddio, ond efallai eu bod wedi darganfod y gallai llwybrau ychwanegol, heb eu darganfod yn flaenorol, arwain at fodelau uwchraddol. Ni fydd GPT-4 yn sylweddol fwy na GPT-3 am y rhesymau hyn.
Bydd OpenAI yn rhoi mwy o ffocws ar agweddau eraill, megis data, algorithmau, paramedroli, ac aliniad, sydd â'r potensial i gynhyrchu buddion sylweddol yn gyflymach. Bydd yn rhaid i ni aros i weld beth all model gyda pharamedrau 100T ei wneud.
Pwyntiau Allweddol:
- Maint y model: Bydd y GPT-4 yn fwy na'r GPT-3, ond nid o lawer (MT-NLG 530B a PaLM 540B). Bydd maint y model yn anhygoel.
- Optimality: Bydd GPT-4 yn defnyddio mwy o adnoddau na GPT-3. Bydd yn gweithredu mewnwelediadau optimaidd newydd i baramedroli (hyperparameters optimaidd) a dulliau graddio (mae nifer y tocynnau hyfforddi yr un mor bwysig â maint y model).
- Amlfoddoldeb: Bydd y GPT-4 ond yn gallu anfon a derbyn negeseuon testun (nid amlfodd). Mae OpenAI yn ceisio gwthio modelau iaith i'w terfynau cyn trosglwyddo i fodelau amlfodd fel DALL 2, y maent yn rhagweld yn y pen draw yn rhagori ar systemau unimodal.
- teneurwydd: Bydd GPT-4, fel ei ragflaenwyr GPT-2 a GPT-3, yn fodel trwchus (bydd yr holl baramedrau'n cael eu defnyddio i brosesu unrhyw fewnbwn penodol). Yn y dyfodol, bydd teneurwydd poblogaeth yn dod yn bwysicach.
- Aliniad: Bydd GPT-4 yn dod yn agosach atom na GPT-3. Bydd yn rhoi'r hyn y mae wedi'i ddysgu gan InstructGPT, a ddatblygwyd gyda mewnbwn dynol. Er hynny, mae cydgyfeiriant AI ymhell i ffwrdd, a dylid asesu ymdrechion yn ofalus yn hytrach na'u gorliwio.
Casgliad
Deallusrwydd Cyffredinol Artiffisial. Mae'n amcan mawr, ond mae datblygwyr OpenAI yn gweithio i'w gyflawni. Nod AGI yw creu model neu “asiant” sy'n gallu deall a gwneud unrhyw weithgaredd y gall person.
Efallai mai GPT-4 fydd y cam nesaf i gyflawni'r nod hwn, ac mae'n swnio fel rhywbeth allan o ffilm ffuglen wyddonol. Gallech fod yn meddwl tybed pa mor realistig yw cyrraedd AGI.
Byddwn yn cyrraedd y garreg filltir hon erbyn 2029, yn ôl Ray Kurzweil, Cyfarwyddwr Peirianneg Google. Gyda hyn mewn golwg, gadewch i ni edrych yn ddyfnach ar GPT-4 a goblygiadau'r model hwn wrth i ni ddod yn nes at AGI (Cudd-wybodaeth Gyffredinol Artiffisial).
Gadael ymateb