اڄ اسان قدرتي ٻولي پروسيسنگ جي شعبي ۾ هڪ انقلاب جو شاهد آهيون. ۽، اها پڪ آهي ته مصنوعي ذهانت کان سواء ڪو به مستقبل ناهي. اسان اڳ ۾ ئي مختلف AI "اسسٽنٽ" استعمال ڪري رهيا آهيون.
Chatbots اسان جي ڪيس ۾ بهترين مثال آهن. اهي رابطي جي نئين دور جي نمائندگي ڪن ٿا. پر، ڇا انهن کي خاص ڪري ٿو؟
موجوده چيٽ بوٽس قدرتي ٻولي جي پڇا ڳاڇا کي سمجهي ۽ جواب ڏئي سگھن ٿا ساڳئي درستگي ۽ تفصيل سان انساني ماهرن وانگر. اهو عمل ۾ وڃڻ واري ميڪانيزم بابت سکڻ لاءِ دلچسپ آهي.
بڪ اپ ڪريو ۽ اچو ته ان جي پويان ٽيڪنالاجي دريافت ڪريو.
ٽيڪنيڪي ۾ داخل ٿيڻ
AI Transformers هن علائقي ۾ هڪ اهم لفظ آهي. اھي جھڙا آھن نظرياتي نيٽ ورڪ جن قدرتي ٻولي پروسيسنگ ۾ انقلاب آڻي ڇڏيو آهي. حقيقت ۾، AI ٽرانسفارمرز ۽ نيورل نيٽ ورڪ جي وچ ۾ ڪافي ڊيزائن جي برابر آهن.
ٻئي پروسيسنگ يونٽن جي ڪيترن ئي تہن مان ٺهيل آهن جيڪي ان پٽ ڊيٽا کي اڳڪٿين ۾ تبديل ڪرڻ لاءِ حسابن جو هڪ سلسلو انجام ڏين ٿا. هن پوسٽ ۾، اسان ڏسنداسين AI ٽرانسفارمرز جي طاقت ۽ ڪيئن اهي اسان جي چوڌاري دنيا کي تبديل ڪري رهيا آهن.
قدرتي ٻولي پروسيسنگ جي صلاحيت
اچو ته بنيادي ڳالهين سان شروع ڪريون. اسان اهو تقريبا هر هنڌ ٻڌندا آهيون. پر، ڇا واقعي قدرتي ٻولي پروسيسنگ آهي؟
جو هڪ حصو آهي مصنوعي انٽيلي جنس جيڪو قدرتي ٻولي جي استعمال ذريعي انسانن ۽ مشينن جي رابطي تي ڌيان ڏئي ٿو. مقصد اهو آهي ته ڪمپيوٽرن کي انساني ٻولي سمجهڻ، تفسير ڪرڻ ۽ پيدا ڪرڻ جي اجازت ڏيڻ هڪ بامعني ۽ مستند انداز ۾.
تقرير جي سڃاڻپ، ٻولي ترجمو، جذبي تجزيه، ۽ متن جو خلاصو NLP ايپليڪيشنن جا سڀ مثال آھن. روايتي NLP ماڊل، ٻئي طرف، هڪ جملي ۾ لفظن جي وچ ۾ پيچيده لنڪس کي سمجهڻ لاء جدوجهد ڪئي آهي. اهو ڪيترن ئي NLP ڪمن ۾ درستگي جي اعلي سطح کي ناممڪن بڻائي ڇڏيو.
اهو آهي جڏهن AI ٽرانسفارمر تصوير ۾ داخل ٿيو. خود ڌيان ڏيڻ واري عمل سان، ٽرانسفارمر جملي ۾ لفظن جي وچ ۾ ڊگھي مدت جي انحصار ۽ لنڪ کي رڪارڊ ڪري سگھن ٿا. اهو طريقو ماڊل کي ان پٽ جي ترتيب جي مختلف حصن ۾ شرڪت ڪرڻ جي قابل بنائي ٿو. تنهن ڪري، اهو هڪ جملي ۾ هر لفظ جي مفهوم ۽ مفهوم کي سمجهي سگهي ٿو.
ڇا صحيح طور تي ٽرانسفارمر ماڊل آهن
هڪ AI ٽرانسفارمر آهي تمام گهڻي سکيا فن تعمير جيڪا معلومات جي مختلف قسمن کي سمجهي ۽ پروسيس ڪري ٿي. اهو طئي ڪرڻ ۾ بهتر آهي ته معلومات جا ڪيترائي بٽ هڪ ٻئي سان ڪيئن تعلق رکن ٿا، جهڙوڪ هڪ جملي ۾ مختلف لفظ ڪيئن جڙيل آهن يا هڪ تصوير جا مختلف حصا ڪيئن گڏ ٿين ٿا.
اهو ڪم ڪري ٿو معلومات کي ورهائڻ سان ٿورڙي بٽ ۾ ۽ پوءِ انهن سڀني حصن کي هڪ ڀيرو ڏسڻ سان. اهو ڄڻ ته ڪيترائي ننڍڙا روبوٽ ڊيٽا کي سمجهڻ لاءِ تعاون ڪري رهيا آهن. اڳيون، هڪ دفعو اهو سڀ ڪجهه ڄاڻي ٿو، اهو جواب يا پيداوار مهيا ڪرڻ لاء سڀني اجزاء کي ٻيهر گڏ ڪري ٿو.
AI ٽرانسفارمر انتهائي قيمتي آهن. اهي مختلف معلومات جي وچ ۾ حوالن ۽ ڊگهي مدت جي لنڪ کي سمجهي سگهن ٿا. اهو ڪمن لاءِ نازڪ آهي جهڙوڪ ٻولي ترجمو، اختصار، ۽ سوال جواب ڏيڻ. تنهن ڪري، اهي دماغ آهن تمام گهڻيون دلچسپ شيون جيڪي AI حاصل ڪري سگهن ٿيون!
ڌيان توهان سڀني جي ضرورت آهي
ذيلي عنوان "توجه توهان سڀني جي ضرورت آهي" هڪ 2017 اشاعت ڏانهن اشارو ڪيو آهي جيڪو ٽرانسفارمر ماڊل پيش ڪيو. اهو قدرتي ٻولي پروسيسنگ (NLP) جي نظم و ضبط ۾ انقلاب ڪيو.
هن تحقيق جي ليکڪن جو چوڻ آهي ته ٽرانسفارمر ماڊل جي خود ڌيان ڏيڻ واري ميڪانيزم ايتري مضبوط هئي ته هو روايتي بار بار جو ڪردار ادا ڪري سگهي. convolutional neural نيٽ ورڪ NLP ڪمن لاءِ استعمال ڪيو ويو.
خود ڌيان ڇا آهي صحيح طور تي؟
اهو هڪ طريقو آهي جيڪو ماڊل کي اجازت ڏئي ٿو ته مختلف ان پٽ جي ترتيب واري حصن تي ڌيان ڏئي جڏهن اڳڪٿيون پيدا ڪري ٿي.
ٻين لفظن ۾، خود توجهه ماڊل کي قابل بنائي ٿو ته هر عنصر لاءِ ڌيان اسڪينڊل جو هڪ سيٽ ڳڻڻ لاءِ ٻين سڀني اجزاء بابت، ماڊل کي اجازت ڏئي ٿو ته هر ان پٽ عنصر جي اهميت کي توازن ڪري.
هڪ ٽرانسفارمر تي ٻڌل طريقي سان، خود توجه هن ريت هلندي آهي:
ان پٽ sequence پهريون ڀيرو ویکٹر جي هڪ سيريز ۾ شامل ڪيو ويو آهي، هر هڪ تسلسل ميمبر لاءِ.
ترتيب ۾ هر عنصر لاءِ، ماڊل ویکٹر جا ٽي سيٽ ٺاهي ٿو: سوال ویکٹر، ڪيئي ویکٹر، ۽ قدر ویکٹر.
پڇا ڳاڇا ویکٹر سڀني اهم ویکٹرن سان مقابلو ڪيو ويندو آهي، ۽ هڪجهڙائي هڪ ڊٽ پراڊڪٽ استعمال ڪندي حساب ڪيو ويندو آهي.
ڌيان جو اسڪور جنهن جو نتيجو هڪ softmax فنڪشن استعمال ڪندي عام ڪيو ويو آهي، جيڪو وزن جو هڪ سيٽ ٺاهي ٿو جيڪو ترتيب ۾ هر ٽڪرا جي لاڳاپي اهميت کي ظاهر ڪري ٿو.
حتمي پيداوار جي نمائندگي ٺاهڻ لاء، قدر ویکٹر کي توجه جي وزن سان ضرب ڪيو ويندو آهي ۽ جمع ڪيو ويندو آهي.
ٽرانسفارمر تي ٻڌل ماڊلز، جيڪي خود توجه استعمال ڪن ٿا، ڪاميابيءَ سان ڊگھي رينج جي رشتن کي پڪڙي سگھن ٿا ان پٽ sequences ۾ فڪسڊ ڊگھائي ڪنٽينيڪٽ ونڊوز تي انحصار ڪرڻ کانسواءِ، انھن کي خاص طور تي قدرتي ٻولي پروسيسنگ ايپليڪيشنن لاءِ مفيد بڻائي ٿو.
مثال
فرض ڪريو اسان وٽ ڇھ ٽوڪن انپٽ تسلسل آھي: ”ٻلي چت تي ويھي. هر ٽوڪن کي ویکٹر طور پيش ڪري سگهجي ٿو، ۽ ان پٽ جي ترتيب کي هن ريت ڏسي سگهجي ٿو:
اڳيون، هر ٽوڪن لاءِ، اسان ویکٹر جا ٽي سيٽ ٺاهينداسين: پڇا ڳاڇا ویکٹر، ڪيئي ویکٹر، ۽ ويل ويڪٽر. ايمبيڊڊ ٽوڪن ویکٹر کي ٽن سکيل وزن جي ميٽرس سان ضرب ڪيو ويندو آهي انهن ويڪٽرن کي حاصل ڪرڻ لاءِ.
پهرين ٽوڪن لاءِ ”The“، مثال طور، سوال، ڪي، ۽ قدر ویکٹر هوندا:
سوال ویکٹر: [0.4، -0.2، 0.1]
ڪي ویکٹر: [0.2، 0.1، 0.5]
قدر ویکٹر: [0.1, 0.2, 0.3]
ان پٽ جي ترتيب ۾ ٽوڪن جي هر هڪ جوڙي جي وچ ۾ توجه جا اسڪور خود ڌيان ڏيڻ واري ميڪانيزم جي حساب سان ڪيا ويندا آهن. مثال طور، ٽوڪن 1 ۽ 2 جي وچ ۾ ڌيان جو سکور "The" حساب ڪيو ويندو ڊٽ پراڊڪٽ جي طور تي انهن جي سوال ۽ اهم ویکٹر:
Attention score = dot_product (Token 1 جو سوال ویکٹر، Token 2 جو Key vector)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
اهي ڌيان جا اسڪور هر ٽوڪن جي لاڳاپي کي ترتيب ۾ ٻين ڏانهن ڏيکارين ٿا.
آخر ۾، هر ٽوڪن لاءِ، پيداوار جي نمائندگي ٺاهي ويندي آهي هڪ وزني رقم کڻي ويل ويڪٽرز جي، وزن سان گڏ، ڌيان جي اسڪور جي حساب سان. پهرين ٽوڪن "The" لاءِ ٻاھر نڪرندڙ نمائندگي، مثال طور، ھوندو:
ٽوڪن 1 لاءِ آئوٽ پُٽ ویکٹر = (ٽوڪن 1 سان توجه ڏيڻ جو اسڪور) * ٽوڪن 2 لاءِ ويليو ویکٹر
+ (ٽوڪن 3 سان توجه جو اسڪور) * ٽوڪن 3 لاءِ ويليو ویکٹر
+ (ٽوڪن 4 سان توجه جو اسڪور) * ٽوڪن 4 لاءِ ويليو ویکٹر
+ (ٽوڪن 5 سان توجه جو اسڪور) * ٽوڪن 5 لاءِ ويليو ویکٹر
+ (ٽوڪن 6 سان توجه جو اسڪور) * ٽوڪن 6 لاءِ ويليو ویکٹر
= (0.31 * [0.1، 0.2، 0.3]) + (0.25 * [0.2، -0.1، 0.7]) + (0.08 * [0.3، 0.5، -0.1]) + (0.14 * [0.1، 0.3، -0.2] ) + (0.22 * [0.6، -0.3، 0.4])
= [0.2669، 0.1533، 0.2715]
خود ڌيان ڏيڻ جي نتيجي ۾، ٽرانسفارمر تي ٻڌل ماڊل ان پٽ جي ترتيب جي مختلف حصن ۾ شرڪت ڪرڻ جو انتخاب ڪري سگھي ٿو جڏهن آئوٽ پُٽ ترتيب ٺاهيندي.
درخواستون توهان جي سوچ کان وڌيڪ آهن
انهن جي موافقت ۽ NLP ڪمن جي وسيع رينج کي سنڀالڻ جي صلاحيت جي ڪري، جهڙوڪ مشين ترجمو، جذبي جو تجزيو، متن جو خلاصو، ۽ وڌيڪ، AI ٽرانسفارمرز تازو سالن ۾ مقبوليت ۾ وڌي ويا آهن.
AI ٽرانسفارمرز مختلف ڊومينز ۾ استعمال ڪيا ويا آهن، جن ۾ تصوير جي سڃاڻپ، سفارش واري نظام، ۽ اڃا تائين دوا جي دريافت، کلاسک ٻولي تي ٻڌل ايپليڪيشنن کان علاوه.
AI ٽرانسفارمر لڳ ڀڳ لامحدود استعمال آهن ڇو ته اهي ڪيترن ئي مسئلن جي علائقن ۽ ڊيٽا جي قسمن جي مطابق ٿي سگهن ٿيون. AI ٽرانسفارمرز، پيچيده ڊيٽا جي ترتيبن جو تجزيو ڪرڻ ۽ ڊگھي مدت جي رشتن کي پڪڙڻ جي صلاحيت سان، ايندڙ سالن ۾ AI ايپليڪيشنن جي ترقي ۾ هڪ اهم ڊرائيونگ عنصر مقرر ڪيا ويا آهن.
ٻين نيورل نيٽورڪ آرڪيٽيڪچرز سان مقابلو
جيئن اهي ان پٽ جي ترتيبن جو تجزيو ڪري سگھن ٿا ۽ متن ۾ ڊگھي رينج جي رشتن کي سمجھن ٿا، AI ٽرانسفارمر خاص طور تي قدرتي ٻولي پروسيسنگ لاءِ مناسب آھن جڏھن ٻين نيورل نيٽ ورڪ ايپليڪيشنن جي مقابلي ۾.
ڪجهه نيورل نيٽورڪ آرڪيٽيڪچر، جهڙوڪ ڪنوولوشنل نيورل نيٽ ورڪ (CNNs) ۽ بار بار نيورل نيٽ ورڪ (RNNs)، ٻئي طرف، انهن ڪمن لاءِ بهتر موزون آهن جن ۾ ٺهيل ان پٽ جي پروسيسنگ شامل آهي، جهڙوڪ تصويرون يا ٽائيم سيريز ڊيٽا.
مستقبل روشن نظر اچي رهيو آهي
AI ٽرانسفارمرز جو مستقبل روشن نظر اچي ٿو. جاري مطالعي جو ھڪڙو علائقو ترقي يافته وڌيڪ طاقتور ماڊلز جي ترقي آھي جيڪو وڌندڙ پيچيده ڪمن کي سنڀالڻ جي قابل آھي.
ان کان علاوه، AI ٽرانسفارمرز کي ٻين AI ٽيڪنالاجي سان ڳنڍڻ جي ڪوشش ڪئي پئي وڃي، جهڙوڪ قابليت جي تعليموڌيڪ ترقي يافته فيصلا ڪرڻ جي صلاحيت مهيا ڪرڻ لاء.
هر صنعت ڪوشش ڪري رهي آهي AI جي صلاحيت کي استعمال ڪرڻ لاءِ جدت کي هلائڻ ۽ مقابلي واري برتري حاصل ڪرڻ لاءِ. تنهن ڪري، AI ٽرانسفارمرز کي ترقي يافته طور تي مختلف ايپليڪيشنن ۾ شامل ٿيڻ جو امڪان آهي، بشمول صحت جي سار سنڀار، فنانس، ۽ ٻيا.
AI ٽرانسفارمر ٽيڪنالاجي ۾ مسلسل سڌارن سان ۽ انهن مضبوط AI اوزارن جي صلاحيت سان انقلاب آڻڻ جي طريقي سان انسان جي عمل ۽ ٻولي کي سمجهڻ، مستقبل روشن نظر اچي ٿو.
جواب ڇڏي وڃو