نشهد اليوم ثورة في مجال معالجة اللغة الطبيعية. ومن المؤكد أنه لا مستقبل بدون الذكاء الاصطناعي. نحن نستخدم بالفعل "مساعدين" مختلفين للذكاء الاصطناعي.
روبوتات المحادثة هي أفضل الأمثلة في حالتنا. إنهم يمثلون حقبة جديدة من الاتصالات. ولكن ، ما الذي يجعلها مميزة للغاية؟
يمكن لروبوتات الدردشة الحالية فهم والإجابة على استفسارات اللغة الطبيعية بنفس الدقة والتفاصيل مثل الخبراء البشريين. من المثير معرفة الآليات التي تدخل في العملية.
اربط حزام الأمان ودعنا نكتشف التكنولوجيا الكامنة وراءه.
الغوص في التكنولوجيا
محولات الذكاء الاصطناعي هي كلمة رئيسية رئيسية في هذا المجال. إنهم مثل الشبكات العصبية التي أحدثت ثورة في معالجة اللغة الطبيعية. في الواقع ، هناك أوجه تشابه كبيرة في التصميم بين محولات الذكاء الاصطناعي والشبكات العصبية.
يتكون كلاهما من عدة طبقات من وحدات المعالجة التي تقوم بإجراء سلسلة من العمليات الحسابية لتحويل بيانات الإدخال إلى تنبؤات كمخرجات. في هذا المنشور ، سنلقي نظرة على قوة محولات الذكاء الاصطناعي وكيف تغير العالم من حولنا.
إمكانات معالجة اللغة الطبيعية
هيا لنبدأ مع الأساسيات. نسمعها في كل مكان تقريبًا. ولكن ، ما هي بالضبط معالجة اللغة الطبيعية؟
إنه جزء من الذكاء الاصطناعي التي تركز على تفاعل البشر والآلات من خلال استخدام اللغة الطبيعية. الهدف هو السماح لأجهزة الكمبيوتر بإدراك اللغة البشرية وتفسيرها وإنتاجها بطريقة هادفة وحقيقية.
التعرف على الكلام ، ترجمة اللغة ، تحليل المشاعر، وتلخيص النص كلها أمثلة لتطبيقات البرمجة اللغوية العصبية. من ناحية أخرى ، كافحت نماذج البرمجة اللغوية العصبية التقليدية لفهم الروابط المعقدة بين الكلمات في العبارة. هذا جعل المستويات العالية من الدقة في العديد من مهام البرمجة اللغوية العصبية أمرًا مستحيلًا.
هذا عندما تدخل محولات AI الصورة. من خلال عملية الانتباه الذاتي ، يمكن للمحولات تسجيل التبعيات طويلة المدى والروابط بين الكلمات في العبارة. تمكن هذه الطريقة النموذج من اختيار حضور أقسام مختلفة من تسلسل الإدخال. لذلك ، يمكنه فهم سياق ومعنى كل كلمة في عبارة.
ما هي نماذج المحولات بالضبط
محول الذكاء الاصطناعي هو ملف التعلم العميق الهندسة المعمارية التي تفهم وتعالج أنواعًا مختلفة من المعلومات. إنه يتفوق في تحديد كيفية ارتباط أجزاء متعددة من المعلومات ببعضها البعض ، مثل كيفية ارتباط الكلمات المختلفة في عبارة ما أو كيفية ملائمة أقسام مختلفة من الصورة معًا.
إنه يعمل عن طريق تقسيم المعلومات إلى أجزاء صغيرة ثم النظر إلى كل هذه المكونات مرة واحدة. يبدو الأمر كما لو أن العديد من الروبوتات الصغيرة تتعاون لفهم البيانات. بعد ذلك ، بمجرد أن يعرف كل شيء ، فإنه يعيد تجميع كل المكونات لتقديم استجابة أو ناتج.
محولات الذكاء الاصطناعي ذات قيمة عالية للغاية. يمكنهم فهم السياق والروابط طويلة المدى بين المعلومات المتنوعة. هذا أمر بالغ الأهمية لمهام مثل ترجمة اللغة والتلخيص والإجابة على الأسئلة. لذلك ، فهم العقل المدبر وراء الكثير من الأشياء المثيرة للاهتمام التي يمكن للذكاء الاصطناعي إنجازها!
الاهتمام هو كل ما تحتاجه
يشير العنوان الفرعي "الاهتمام هو كل ما تحتاجه" إلى منشور عام 2017 الذي اقترح نموذج المحولات. لقد أحدث ثورة في تخصص معالجة اللغة الطبيعية (NLP).
ذكر مؤلفو هذا البحث أن آلية الانتباه الذاتي لنموذج المحول كانت قوية بما يكفي لتأخذ دور التكرار التقليدي و الشبكات العصبية التلافيفية تستخدم لمهام البرمجة اللغوية العصبية.
ما هو الاهتمام الذاتي بالضبط؟
إنها طريقة تسمح للنموذج بالتركيز على مقاطع تسلسل الإدخال المختلفة عند إنتاج التنبؤات.
بمعنى آخر ، يمكّن الانتباه الذاتي النموذج من حساب مجموعة من درجات الانتباه لكل عنصر فيما يتعلق بجميع المكونات الأخرى ، مما يسمح للنموذج بموازنة أهمية كل عنصر من عناصر الإدخال.
في النهج القائم على المحولات ، يعمل الاهتمام الذاتي على النحو التالي:
يتم تضمين تسلسل الإدخال أولاً في سلسلة من المتجهات ، واحدة لكل عضو تسلسل.
لكل عنصر في التسلسل ، يُنشئ النموذج ثلاث مجموعات من المتجهات: متجه الاستعلام ، ومتجه المفتاح ، ومتجه القيمة.
تتم مقارنة متجه الاستعلام بجميع المتجهات الرئيسية ، ويتم حساب أوجه التشابه باستخدام حاصل الضرب النقطي.
يتم تسوية درجات الانتباه الناتجة باستخدام دالة softmax ، والتي تولد مجموعة من الأوزان تشير إلى الأهمية النسبية لكل قطعة في التسلسل.
لإنشاء تمثيل الإخراج النهائي ، يتم ضرب متجهات القيمة بأوزان الانتباه ويتم تجميعها.
قد تنجح النماذج المستندة إلى المحولات ، والتي تستخدم الانتباه الذاتي ، في التقاط علاقات طويلة المدى في تسلسل الإدخال دون الاعتماد على نوافذ السياق ذات الطول الثابت ، مما يجعلها مفيدة بشكل خاص لتطبيقات معالجة اللغة الطبيعية.
مثال
افترض أن لدينا تسلسل إدخال مكون من ستة رموز: "جلست القطة على السجادة". يمكن تمثيل كل رمز كمتجه ، ويمكن رؤية تسلسل الإدخال على النحو التالي:
بعد ذلك ، لكل رمز مميز ، سنقوم ببناء ثلاث مجموعات من المتجهات: متجه الاستعلام ، ناقل المفتاح ، ومتجه القيمة. يتم ضرب متجه الرمز المميز في ثلاث مصفوفات وزن مكتسبة للحصول على هذه المتجهات.
بالنسبة إلى الرمز المميز الأول "The ،" على سبيل المثال ، سيكون متجه الاستعلام والمفتاح والقيمة:
متجه الاستعلام: [0.4، -0.2، 0.1]
المتجه الرئيسي: [0.2 ، 0.1 ، 0.5]
متجه القيمة: [0.1 ، 0.2 ، 0.3]
يتم حساب درجات الانتباه بين كل زوج من الرموز المميزة في تسلسل الإدخال بواسطة آلية الانتباه الذاتي. على سبيل المثال ، سيتم حساب درجة الانتباه بين الرمزين 1 و 2 "The" على أنه المنتج النقطي لاستعلامهم والمتجهات الرئيسية:
درجة الانتباه = dot_product (متجه الاستعلام للرمز 1 ، المتجه الرئيسي للرمز 2)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
تُظهر درجات الانتباه هذه الأهمية النسبية لكل رمز مميز في التسلسل للآخرين.
أخيرًا ، لكل رمز مميز ، يتم إنشاء تمثيل الإخراج بأخذ مجموع مرجح لمتجهات القيمة ، مع الأوزان التي تحددها درجات الانتباه. تمثيل الإخراج للرمز المميز الأول "The" ، على سبيل المثال ، سيكون:
متجه الإخراج للرمز 1 = (درجة الانتباه مع الرمز 1) * متجه القيمة للرمز 2
+ (درجة الانتباه مع الرمز 3) * متجه القيمة للرمز 3
+ (درجة الانتباه مع الرمز 4) * متجه القيمة للرمز 4
+ (درجة الانتباه مع الرمز 5) * متجه القيمة للرمز 5
+ (درجة الانتباه مع الرمز 6) * متجه القيمة للرمز 6
= (0.31 * [0.1 ، 0.2 ، 0.3]) + (0.25 * [0.2 ، -0.1 ، 0.7]) + (0.08 * [0.3 ، 0.5 ، -0.1]) + (0.14 * [0.1 ، 0.3 ، -0.2] ) + (0.22 * [0.6، -0.3، 0.4])
= [0.2669 ، 0.1533 ، 0.2715]
نتيجة للانتباه الذاتي ، يمكن للنموذج القائم على المحول اختيار حضور أقسام مختلفة من تسلسل الإدخال عند إنشاء تسلسل الإخراج.
التطبيقات أكثر مما تعتقد
نظرًا لقدرتها على التكيف والقدرة على التعامل مع مجموعة واسعة من مهام البرمجة اللغوية العصبية ، مثل الترجمة الآلية ، وتحليل المشاعر ، وتلخيص النص ، وأكثر من ذلك ، نمت محولات الذكاء الاصطناعي في السنوات الأخيرة.
تم استخدام محولات الذكاء الاصطناعي في مجموعة متنوعة من المجالات ، بما في ذلك التعرف على الصور وأنظمة التوصية وحتى اكتشاف الأدوية ، بالإضافة إلى التطبيقات القائمة على اللغة الكلاسيكية.
تتمتع محولات الذكاء الاصطناعي باستخدامات غير محدودة تقريبًا حيث يمكن تخصيصها للعديد من مجالات المشاكل وأنواع البيانات. من المقرر أن تكون محولات الذكاء الاصطناعي ، بقدرتها على تحليل تسلسل البيانات المعقدة والتقاط العلاقات طويلة الأمد ، عاملاً محفزًا مهمًا في تطوير تطبيقات الذكاء الاصطناعي في السنوات القادمة.
مقارنة مع بنى الشبكات العصبية الأخرى
نظرًا لأنها تستطيع تحليل تسلسل الإدخال وفهم العلاقات طويلة المدى في النص ، فإن محولات الذكاء الاصطناعي مناسبة بشكل خاص لمعالجة اللغة الطبيعية عند مقارنتها بتطبيقات الشبكة العصبية الأخرى.
من ناحية أخرى ، تعد بعض هياكل الشبكات العصبية ، مثل الشبكات العصبية التلافيفية (CNN) والشبكات العصبية المتكررة (RNN) ، أكثر ملاءمة للمهام التي تتضمن معالجة المدخلات المنظمة ، مثل الصور أو بيانات السلاسل الزمنية.
المستقبل يبدو لامعا
يبدو مستقبل محولات الذكاء الاصطناعي مشرقًا. أحد مجالات الدراسة الجارية هو تطوير نماذج أكثر قوة بشكل تدريجي قادرة على التعامل مع المهام المعقدة بشكل متزايد.
علاوة على ذلك ، تُبذل محاولات لربط محولات الذكاء الاصطناعي بتقنيات الذكاء الاصطناعي الأخرى ، مثل تعزيز التعلم، لتوفير قدرات صنع القرار الأكثر تقدمًا.
تحاول كل صناعة استخدام إمكانات الذكاء الاصطناعي لدفع الابتكار وتحقيق ميزة تنافسية. لذلك ، من المرجح أن يتم دمج محولات الذكاء الاصطناعي بشكل تدريجي في مجموعة متنوعة من التطبيقات ، بما في ذلك الرعاية الصحية والتمويل وغيرها.
مع التحسينات المستمرة في تكنولوجيا محولات الذكاء الاصطناعي وإمكانية أن تُحدث أدوات الذكاء الاصطناعي القوية هذه ثورة في طريقة معالجة البشر وفهمهم للغة ، يبدو المستقبل مشرقًا.
اترك تعليق