فهرست[پټ][ښکاره]
GPT-3، د اوس مهال لوی عصبي شبکه، د می په 2020 کې خپره شوه OpenAIد AI پیل کول د ایلون مسک او سیم الټمن لخوا په ګډه تاسیس شوی. GPT-3 د 175 ملیارد پیرامیټرو سره د 1,5 ملیارد پیرامیټرو سره د مخکیني GPT-2 په پرتله د ژبې یو عصري ماډل دی.
GPT-3 د مایکروسافټ NLG تورینګ ماډل (Turing Natural Language Generation) څخه مخکې شو، کوم چې مخکې د 17 ملیارد پیرامیټونو سره د لوی عصبي شبکې ریکارډ درلود.
د ژبې ماډل ستایل شوی، انتقاد شوی او حتی څیړل شوی؛ دا نوي او زړه راښکونکي کارونې هم رامینځته کړي. او اوس داسې راپورونه شتون لري چې GPT-4، د OpenAI راتلونکی نسخه د ژبې ماډل، واقعیا به ډیر ژر راشي.
تاسو سم سایټ ته رسیدلی یاست که تاسو غواړئ د GPT-4 په اړه نور معلومات زده کړئ. موږ به په دې مقاله کې د GPT-4 ژوره وګورو، د هغې پیرامیټونه پوښښ، دا څنګه د نورو ماډلونو سره پرتله کوي، او نور.
نو، GPT-4 څه شی دی؟
د GPT-4 د اندازې د پوهیدو لپاره، موږ باید لومړی د GPT-3، د هغې مخکینۍ پوهه وکړو. GPT-3 (د تولید دمخه روزل شوی ټرانسفارمر، دریم نسل) د مینځپانګې تولید کولو خپلواکه وسیله ده.
کاروونکي په دې کې ډاټا داخلوي ماشین زده کړه ماډل، چې وروسته کولی شي په ځواب کې د اړونده لیکنو لوی مقدار تولید کړي، د OpenAI په وینا. GPT-4 به په څو شاټ شرایطو کې د ملټي ټاسک کولو کې د پام وړ ښه وي - یو ډول ماشین زده کړه - پایلې د انسانانو سره حتی نږدې راوړي.
GPT-3 د جوړولو لپاره په سلګونو ملیون پونډه لګښت لري، مګر د GPT-4 اټکل کیږي چې د پام وړ ډیر لګښت ولري ځکه چې دا به په پیمانه کې پنځه سوه ځله لوی وي. د دې په نظر کې نیولو لپاره،
GPT-4 ممکن په دماغ کې د synapses په څیر ډیری ځانګړتیاوې ولري. GPT-4 به په عمده توګه د GPT-3 په څیر ورته میتودونه کاروي، په دې توګه د مثالي لیپ کیدو پر ځای، GPT-4 به هغه څه ته پراختیا ورکړي چې GPT-3 اوس مهال ترسره کوي - مګر د پام وړ لوی اټکل وړتیا سره.
GPT-3 کاروونکو ته اجازه ورکړه چې د عملي موخو لپاره طبیعي ژبې ته ننوځي، مګر دا لاهم یو څه تخصص ته اړتیا لري ترڅو یو سمدستي ډیزاین کړي چې ښه پایلې ولري. GPT-4 به د کاروونکو د ارادې وړاندوینې کې د پام وړ ښه وي.
د GPT-4 پیرامیټونه به څه وي؟
سره له دې چې یو له خورا پراخه انتظار شوي AI پرمختګونو څخه دی ، د GPT-4 په اړه هیڅ نه پوهیږي: دا به څه ډول ښکاري ، کوم ځانګړتیاوې به ولري ، او کوم واکونه به ولري.
تیر کال، Altman یوه پوښتنه او ځواب ورکړ او د GPT-4 لپاره د OpenAI د هیلو په اړه یو څو توضیحات افشا کړل. دا به د GPT-3 څخه لوی نه وي، د Altman په وینا. GPT-4 امکان نلري چې په پراخه کچه کارول کیږي د ژبې ماډل. که څه هم ماډل به د تیرو نسلونو په پرتله خورا لوی وي نوریال شبکې، د هغې اندازه به د دې توپیر وړ ځانګړتیا نه وي. GPT-3 او ګوفر تر ټولو د پام وړ نوماندان دي (175B-280B).
Nvidia او د مایکروسافټ میګاټرون - ټورینګ NLG د دې لپاره ریکارډ درلود تر ټولو سخت عصبي شبکه پیرامیټونه په 530B کې - د GPT-3 څخه درې ځله - تر دې وروستیو پورې کله چې د ګوګل PaLM دا په 540B کې اخیستی. په حیرانتیا سره، یو شمیر لږ ماډلونه د MT-NLG څخه ښه کار کوي.
د بریښنا قانون پیوستون له مخې، د OpenAI Jared Kaplan او همکارانو په 2020 کې پریکړه وکړه چې کله چې د پروسس بودیجه ډیریدل د پیرامیټونو شمیر زیاتولو لپاره مصرف کیږي، فعالیت خورا ښه کیږي. ګوګل، Nvidia، مایکروسافټ، OpenAI، DeepMind، او د ژبې ماډل کولو نورو شرکتونو په اطاعت سره مقررات تعقیب کړل.
Altman اشاره وکړه چې دوی نور د لوی ماډلونو په جوړولو تمرکز نه کوي، بلکې د کوچنیو ماډلونو فعالیت اعظمي کولو باندې تمرکز کوي.
د OpenAI څیړونکي د اندازه کولو فرضیې لومړني پلويان وو، مګر دوی ممکن موندلي وي چې اضافي، پخوا نه کشف شوي لارې ممکن د غوره ماډلونو لامل شي. GPT-4 به د دې دلیلونو لپاره د GPT-3 څخه د پام وړ لوی نه وي.
OpenAI به په نورو اړخونو ډیر تمرکز وکړي، لکه ډیټا، الګوریتم، پیرامیټریزیشن، او سمون، کوم چې د پام وړ ګټې په چټکۍ سره ترلاسه کولو احتمال لري. موږ باید انتظار وکړو او وګورو چې د 100T پیرامیټونو سره ماډل څه کولی شي.
مهم ټکي:
- د ماډل اندازه: GPT-4 به د GPT-3 څخه لوی وي، مګر ډیر نه (MT-NLG 530B او PaLM 540B). د ماډل اندازه به د پام وړ نه وي.
- غوره والی: GPT-4 به د GPT-3 په پرتله ډیرې سرچینې وکاروي. دا به د پیرامیټیزیشن (غوره هایپر پارامیټرونو) او اندازه کولو میتودونو کې د غوره غوره بصیرت پلي کړي (د روزنې توکیو شمیر د ماډل اندازې په څیر مهم دی).
- څو موډلیت: GPT-4 به یوازې د دې وړتیا ولري چې متن پیغامونه واستوي او ترلاسه کړي (ملټي موډل نه). OpenAI هڅه کوي چې د ملټي موډل ماډلونو ته د لیږد دمخه د ژبې ماډلونه د دوی محدودیتونو ته واړوي ډیلي 2، کوم چې دوی وړاندوینه کوي په نهایت کې به د غیر ماډل سیسټمونو څخه تیریږي.
- سپینوالی: GPT-4، لکه د خپلو مخکینیو GPT-2 او GPT-3 په څیر، به یو ګړندی ماډل وي (ټول پیرامیټونه به د هر ورکړل شوي ان پټ پروسس کولو لپاره کارول کیږي). په راتلونکي کې، سپیریت به ډیر مهم شي.
- د سکیچ: GPT-4 به موږ ته د GPT-3 په پرتله ډیر نږدې وي. دا به هغه څه واچوي چې دا یې د InstructGPT څخه زده کړي، کوم چې د انسان انډول سره رامینځته شوی. بیا هم، د AI همغږي یوه اوږده لاره ده، او هڅې باید د مبالغه کولو پر ځای په دقت سره ارزول شي.
پایله
مصنوعي عمومي استخبارات. دا یو لوی هدف دی، مګر د OpenAI پراختیا کونکي د دې ترلاسه کولو لپاره کار کوي. د AGI هدف دا دی چې یو ماډل یا "اجنټ" رامینځته کړي چې د هر هغه فعالیت پوهیدو او ترسره کولو وړ وي چې یو شخص یې کولی شي.
GPT-4 ممکن د دې هدف په ترلاسه کولو کې بل ګام وي، او دا د ساینسي افسانې فلم څخه یو څه ښکاري. تاسو شاید حیران اوسئ چې د AGI ترلاسه کول څومره ریښتیني دي.
د ګوګل د انجینرۍ رییس رې کورزویل په وینا، موږ به تر 2029 پورې دا مرحلې ته ورسیږو. د دې په پام کې نیولو سره، راځئ چې د GPT-4 او د دې ماډل اغیزې ته ژوره کتنه وکړو ځکه چې موږ AGI (مصنوعي عمومي استخباراتو) ته نږدې کیږو.
یو ځواب ورکړئ ووځي