Obsah[Skryť][Šou]
GPT-3, veľká neurónová sieť súčasnosti, bola zverejnená v máji 2020 OpenAI, startup AI, ktorý spoluzaložili Elon Musk a Sam Altman. GPT-3 je špičkový jazykový model so 175 miliardami parametrov v porovnaní s 1,5 miliardami parametrov v jeho predchodcovi GPT-2.
GPT-3 prekonala NLG Turingov model od Microsoftu (Turing Natural Language Generation), ktorý predtým držal rekord najväčšej neurónovej siete so 17 miliardami parametrov.
Jazykový model bol chválený, kritizovaný a dokonca skúmaný; priniesol aj nové a zaujímavé využitie. A teraz sa objavili správy, že GPT-4, ďalšie vydanie OpenAI jazykový model, naozaj príde čoskoro.
Ak sa chcete dozvedieť viac o GPT-4, ste na správnej stránke. V tomto článku sa pozrieme na GPT-4 do hĺbky, pokryjeme jeho parametre, porovnanie s inými modelmi a ďalšie.
Takže, čo je GPT-4?
Aby sme pochopili rozsah GPT-4, musíme najprv pochopiť GPT-3, jeho predchodcu. GPT-3 (Generative Pre-trained Transformer, tretia generácia) je autonómny nástroj na vytváranie obsahu.
Používatelia zadávajú údaje do a strojové učenie Model, ktorý môže následne podľa OpenAI produkovať obrovské množstvo relevantného písania. GPT-4 bude výrazne lepší v multitaskingu v podmienkach s malým počtom záberov strojové učenie – ešte viac priblížiť výsledky ľuďom.
Stavba GPT-3 stojí stovky miliónov libier, ale predpokladá sa, že GPT-4 bude stáť podstatne viac, pretože bude päťstokrát väčší. Aby som to uviedol na správnu mieru,
GPT-4 môže mať toľko charakteristík ako synapsie v mozgu. GPT-4 bude využívať hlavne rovnaké metódy ako GPT-3, takže namiesto toho, aby išlo o skok v paradigme, GPT-4 rozšíri to, čo GPT-3 v súčasnosti dosahuje – ale s výrazne väčšou schopnosťou odvodzovania.
GPT-3 umožňovalo používateľom zadávať prirodzený jazyk na praktické účely, ale stále potrebovali určité znalosti na navrhnutie výzvy, ktorá by priniesla dobré výsledky. GPT-4 bude výrazne lepšie predpovedať zámery používateľov.
Aké budú parametre GPT-4?
Napriek tomu, že ide o jeden z najočakávanejších pokrokov AI, o GPT-4 nie je nič známe: ako bude vyzerať, aké bude mať vlastnosti a aké bude mať schopnosti.
Minulý rok urobil Altman otázku a odpoveď a prezradil niekoľko detailov o ambíciách OpenAI pre GPT-4. Podľa Altmana by to nebolo väčšie ako GPT-3. GPT-4 pravdepodobne nebude najpoužívanejším jazykový model. Aj keď model bude v porovnaní s predchádzajúcimi generáciami obrovský neurálne siete, jeho veľkosť nebude jeho rozlišovacím znakom. GPT-3 a Gopher sú najpravdepodobnejšími kandidátmi (175B-280B).
Nvidia a Megatron-Turing NLG od Microsoftu držali rekord najhustejšia neurónová sieť parametre na 530B – trojnásobok oproti GPT-3 – až donedávna, keď to PaLM od Googlu bral na 540B. Prekvapivo množstvo menších modelov prekonalo MT-NLG.
Jared Kaplan a kolegovia z OpenAI v roku 2020 zistili, že keď sa zvýšenie rozpočtu na spracovanie minie najmä na zvýšenie počtu parametrov, výkon sa zlepší najviac. Google, Nvidia, Microsoft, OpenAI, DeepMind a ďalšie jazykové modelovacie spoločnosti poslušne dodržiavali nariadenia.
Altman naznačil, že sa už nesústreďujú na konštrukciu masívnych modelov, ale skôr na maximalizáciu výkonu menších modelov.
Výskumníci OpenAI boli prvými zástancami hypotézy škálovania, ale možno zistili, že ďalšie, predtým neobjavené cesty môžu viesť k lepším modelom. GPT-4 nebude z týchto dôvodov výrazne väčší ako GPT-3.
OpenAI bude klásť väčší dôraz na iné aspekty, ako sú dáta, algoritmy, parametrizácia a zarovnanie, ktoré majú potenciál rýchlejšie priniesť významné výhody. Čo dokáže model s parametrami 100T, si budeme musieť počkať.
Kľúčové body:
- Veľkosť modelu: GPT-4 bude väčší ako GPT-3, ale nie o veľa (MT-NLG 530B a PaLM 540B). Veľkosť modelu bude neprehliadnuteľná.
- Optimalita: GPT-4 bude využívať viac zdrojov ako GPT-3. Implementuje nové poznatky o optimálnosti do parametrizácie (optimálne hyperparametre) a metód škálovania (počet trénovacích tokenov je rovnako dôležitý ako veľkosť modelu).
- Multimodalita: GPT-4 bude môcť iba odosielať a prijímať textové správy (nie multimodálne). OpenAI sa snaží posunúť jazykové modely na ich limity pred prechodom na multimodálne modely, ako napr DOSKA 2, o ktorom predpovedajú, že nakoniec prekoná unimodálne systémy.
- Sparity: GPT-4, rovnako ako jeho predchodcovia GPT-2 a GPT-3, bude hustý model (všetky parametre sa použijú na spracovanie akéhokoľvek daného vstupu). V budúcnosti bude vzácnosť čoraz dôležitejšia.
- zarovnanie: GPT-4 sa k nám priblíži bližšie ako GPT-3. Uvedie to, čo sa naučil od InstructGPT, ktorý bol vyvinutý s ľudským vstupom. Konvergencia AI je však ešte ďaleko a úsilie by sa malo skôr starostlivo posúdiť, než preháňať.
záver
Umelá všeobecná inteligencia. Je to veľký cieľ, ale vývojári OpenAI pracujú na jeho dosiahnutí. Cieľom AGI je vytvoriť model alebo „agenta“ schopného pochopiť a vykonať akúkoľvek činnosť, ktorú človek dokáže.
GPT-4 môže byť ďalším krokom k dosiahnutiu tohto cieľa a znie to ako niečo zo sci-fi filmu. Mohli by ste sa čudovať, aké realistické je dosiahnuť AGI.
Podľa Raya Kurzweila, riaditeľa inžinierstva spoločnosti Google, dosiahneme tento míľnik do roku 2029. S ohľadom na túto skutočnosť sa pozrime hlbšie na GPT-4 a dôsledky tohto modelu, keď sa priblížime k AGI (Artificial General Intelligence).
Nechaj odpoveď