کی میز کے مندرجات[چھپائیں][دکھائیں]
GPT-3، اس وقت کا بڑا نیورل نیٹ ورک، مئی 2020 میں شائع ہوا تھا۔ اوپنائی، AI اسٹارٹ اپ ایلون مسک اور سیم آلٹمین نے مشترکہ طور پر قائم کیا۔ GPT-3 ایک جدید لینگویج ماڈل ہے جس میں 175 بلین پیرامیٹرز ہیں جبکہ اس کے پیشرو GPT-1,5 میں 2 بلین پیرامیٹرز ہیں۔
GPT-3 نے مائیکروسافٹ کے NLG ٹورنگ ماڈل (ٹورنگ نیچرل لینگویج جنریشن) کو پیچھے چھوڑ دیا، جس نے پہلے 17 بلین پیرامیٹرز کے ساتھ سب سے بڑے نیورل نیٹ ورک کا ریکارڈ اپنے نام کیا تھا۔
زبان کے ماڈل کی تعریف کی گئی ہے، تنقید کی گئی ہے، اور یہاں تک کہ جانچ پڑتال کی گئی ہے؛ اس نے نئے اور دلچسپ استعمالات کو بھی جنم دیا ہے۔ اور اب اطلاعات ہیں کہ GPT-4، OpenAI کا اگلا ایڈیشن زبان ماڈل، واقعی جلد ہی آ جائے گا.
اگر آپ GPT-4 کے بارے میں مزید جاننا چاہتے ہیں تو آپ صحیح سائٹ پر پہنچے ہیں۔ ہم اس مضمون میں GPT-4 کو گہرائی سے دیکھیں گے، اس کے پیرامیٹرز کا احاطہ کریں گے، یہ دوسرے ماڈلز سے کیسے موازنہ کرتا ہے، وغیرہ۔
تو، GPT-4 کیا ہے؟
GPT-4 کے دائرہ کار کو سمجھنے کے لیے، ہمیں پہلے GPT-3 کو سمجھنا چاہیے، جو اس کا پیش خیمہ ہے۔ GPT-3 (جنریٹو پری ٹرینڈ ٹرانسفارمر، تھرڈ جنریشن) ایک خود مختار مواد پیدا کرنے والا ٹول ہے۔
صارفین ایک میں ڈیٹا داخل کرتے ہیں۔ مشین لرننگ ماڈل، جو بعد میں OpenAI کے مطابق، جواب میں متعلقہ تحریر کی بڑی مقدار پیدا کر سکتا ہے۔ GPT-4 چند شاٹ کنڈیشنز میں ملٹی ٹاسکنگ میں نمایاں طور پر بہتر ہو گا - ایک قسم مشین لرننگ - نتائج کو انسانوں کے قریب لانا۔
GPT-3 کی تعمیر میں لاکھوں پاؤنڈ کی لاگت آتی ہے، لیکن GPT-4 کی لاگت نمایاں طور پر زیادہ ہونے کی پیش گوئی کی گئی ہے کیونکہ یہ پیمانے پر پانچ سو گنا زیادہ ہوگا۔ اس کو تناظر میں رکھنے کے لیے،
GPT-4 میں دماغ میں Synapses جتنی خصوصیات ہو سکتی ہیں۔ GPT-4 بنیادی طور پر وہی طریقے استعمال کرے گا جیسے GPT-3، اس طرح ایک پیراڈائم لیپ ہونے کے بجائے، GPT-4 اس پر پھیلے گا جو GPT-3 فی الحال پورا کرتا ہے — لیکن نمایاں طور پر زیادہ استنباطی صلاحیت کے ساتھ۔
GPT-3 نے صارفین کو عملی مقاصد کے لیے فطری زبان میں داخل ہونے کی اجازت دی، لیکن اس کے باوجود اسے فوری طور پر ڈیزائن کرنے کے لیے کچھ مہارت درکار ہے جس کے اچھے نتائج برآمد ہوں۔ GPT-4 صارفین کے ارادوں کی پیش گوئی کرنے میں نمایاں طور پر بہتر ہوگا۔
GPT-4 پیرامیٹرز کیا ہوں گے؟
سب سے زیادہ انتظار کی جانے والی AI پیشرفت میں سے ایک ہونے کے باوجود، GPT-4 کے بارے میں کچھ معلوم نہیں ہے: یہ کیسا نظر آئے گا، اس کی خصوصیات کیا ہوں گی، اور اس میں کیا اختیارات ہوں گے۔
پچھلے سال، Altman نے ایک سوال و جواب کیا اور GPT-4 کے لیے OpenAI کے عزائم کے بارے میں چند تفصیلات کا انکشاف کیا۔ آلٹ مین کے مطابق یہ GPT-3 سے بڑا نہیں ہوگا۔ GPT-4 کا سب سے زیادہ استعمال ہونے کا امکان نہیں ہے۔ زبان ماڈل. اگرچہ ماڈل کی پچھلی نسلوں کے مقابلے میں بہت بڑا ہوگا۔ نیند نیٹ ورک، اس کا سائز اس کی امتیازی خصوصیت نہیں ہوگا۔ GPT-3 اور گوفر سب سے زیادہ قابل اعتماد امیدوار ہیں (175B-280B)۔
Nvidia اور Microsoft کے Megatron-Turing NLG کے پاس یہ ریکارڈ ہے۔ سب سے گھنا عصبی نیٹ ورک 530B پر پیرامیٹرز - GPT-3 سے تین گنا - جب تک کہ گوگل کے PaLM نے اسے 540B پر لے لیا۔ حیرت انگیز طور پر، بہت سے کم ماڈلز نے MT-NLG کو پیچھے چھوڑ دیا۔
پاور لا کنکشن کے مطابق، OpenAI کے Jared Kaplan اور ساتھیوں نے 2020 میں طے کیا کہ جب پروسیسنگ بجٹ میں اضافہ زیادہ تر پیرامیٹرز کی تعداد بڑھانے پر خرچ ہوتا ہے، کارکردگی سب سے زیادہ بہتر ہوتی ہے۔ گوگل، نیوڈیا، مائیکروسافٹ، اوپن اے آئی، ڈیپ مائنڈ، اور دیگر لینگویج ماڈلنگ کمپنیوں نے فرمانبرداری کے ساتھ ضوابط کی پیروی کی۔
آلٹمین نے اشارہ کیا کہ وہ اب بڑے ماڈلز بنانے پر توجہ نہیں دے رہے ہیں، بلکہ چھوٹے ماڈلز کی کارکردگی کو زیادہ سے زیادہ کرنے پر توجہ دے رہے ہیں۔
اوپن اے آئی کے محققین اسکیلنگ مفروضے کے ابتدائی حامی تھے، لیکن انھوں نے یہ دریافت کیا ہو گا کہ اضافی، پہلے دریافت نہ ہونے والے راستے اعلیٰ نمونوں کی طرف لے جا سکتے ہیں۔ GPT-4 ان وجوہات کی بنا پر GPT-3 سے نمایاں طور پر بڑا نہیں ہوگا۔
OpenAI دوسرے پہلوؤں پر زیادہ توجہ دے گا، جیسے کہ ڈیٹا، الگورتھم، پیرامیٹرائزیشن، اور الائنمنٹ، جس میں زیادہ تیزی سے اہم فوائد حاصل کرنے کی صلاحیت ہے۔ ہمیں انتظار کرنا پڑے گا اور دیکھنا پڑے گا کہ 100T پیرامیٹرز والا ماڈل کیا کر سکتا ہے۔
اہم نکات:
- ماڈل کا سائز: GPT-4 GPT-3 سے بڑا ہوگا، لیکن زیادہ نہیں (MT-NLG 530B اور PaLM 540B)۔ ماڈل کا سائز ناقابل ذکر ہوگا۔
- بہترینیت: GPT-4 GPT-3 سے زیادہ وسائل استعمال کرے گا۔ یہ پیرامیٹرائزیشن (زیادہ سے زیادہ ہائپر پیرامیٹر) اور اسکیلنگ کے طریقوں میں نئی بہترین بصیرت کو نافذ کرے گا (ٹریننگ ٹوکنز کی تعداد ماڈل سائز کی طرح اہم ہے)۔
- کثیر المثالیت: GPT-4 صرف ٹیکسٹ پیغامات بھیجنے اور وصول کرنے کے قابل ہو گا (ملٹی موڈل نہیں)۔ اوپن اے آئی ملٹی موڈل ماڈلز میں منتقل ہونے سے پہلے زبان کے ماڈلز کو ان کی حدود تک پہنچانا چاہتا ہے۔ ڈیل 2، جس کی وہ پیشن گوئی کرتے ہیں کہ آخر کار غیر متزلزل نظاموں کو پیچھے چھوڑ دے گا۔
- sparity: GPT-4، اپنے پیشرو GPT-2 اور GPT-3 کی طرح، ایک گھنا ماڈل ہوگا (تمام پیرامیٹرز کسی بھی ان پٹ پر کارروائی کرنے کے لیے استعمال میں ہوں گے)۔ مستقبل میں، sparsity زیادہ اہم ہو جائے گا.
- سیدھ: GPT-4 ہم سے GPT-3 سے زیادہ قریب سے رابطہ کرے گا۔ یہ انسٹرکٹ جی پی ٹی سے جو سیکھا ہے اسے ڈالے گا، جسے انسانی ان پٹ کے ساتھ تیار کیا گیا تھا۔ پھر بھی، AI کنورجنسنس بہت دور ہے، اور کوششوں کو مبالغہ آرائی کے بجائے احتیاط سے جانچنا چاہیے۔
نتیجہ
مصنوعی جنرل انٹیلی جنس. یہ ایک بڑا مقصد ہے، لیکن OpenAI کے ڈویلپر اسے حاصل کرنے کے لیے کام کر رہے ہیں۔ AGI کا مقصد ایک ماڈل یا "ایجنٹ" بنانا ہے جو کسی بھی سرگرمی کو سمجھنے اور کرنے کے قابل ہو جو ایک شخص کر سکتا ہے۔
GPT-4 اس مقصد کو حاصل کرنے کا اگلا قدم ہو سکتا ہے، اور یہ کسی سائنس فکشن فلم کی طرح لگتا ہے۔ آپ سوچ رہے ہوں گے کہ AGI حاصل کرنا کتنا حقیقت پسندانہ ہے۔
گوگل کے ڈائریکٹر آف انجینئرنگ رے کرزویل کے مطابق، ہم 2029 تک یہ سنگ میل عبور کر لیں گے۔ اس کو ذہن میں رکھتے ہوئے، آئیے GPT-4 اور اس ماڈل کے اثرات پر ایک گہرائی سے نظر ڈالتے ہیں جیسا کہ ہم AGI (مصنوعی جنرل انٹیلی جنس) کے قریب آتے ہیں۔
جواب دیجئے