הייַנט מיר זענען וויטנאַסט אַ רעוואָלוציע אין די געגנט פון נאַטירלעך שפּראַך פּראַסעסינג. און עס איז זיכער אַז עס איז קיין צוקונפֿט אָן קינסטלעך סייכל. מיר נוצן שוין פאַרשידן אַי "אַססיסטאַנץ".
טשאַטבאָץ זענען די בעסטער ביישפילן אין אונדזער פאַל. זיי פאָרשטעלן די נייַע תקופה פון קאָמוניקאַציע. אָבער, וואָס מאכט זיי אַזוי ספּעציעל?
קראַנט טשאַטבאָץ קענען באַגרייַפן און ענטפֿערן נאַטירלעך שפּראַך ינקוועריז מיט דער זעלביקער פּינטלעכקייַט און דעטאַל ווי מענטשלעך עקספּערץ. עס איז יקסייטינג צו לערנען וועגן די מעקאַניזאַמז וואָס גיין אין דעם פּראָצעס.
בלעכע זיך און לאָזן אונדז אַנטדעקן די טעכנאָלאָגיע הינטער עס.
גיין צו די טעכנאָלאָגיע
AI טראַנספאָרמערס איז אַ הויפּט קיווערד אין דעם געגנט. זיי זענען ווי נוראַל נעטוואָרקס וואָס האָבן רעוואַלושאַנייזד נאַטירלעך שפּראַך פּראַסעסינג. אין פאַקט, עס זענען היפּש פּלאַן פּאַראַלאַלז צווישן אַי טראַנספאָרמערס און נעוראַל נעטוואָרקס.
ביידע זענען קאַמפּרייזד פון עטלעכע לייַערס פון פּראַסעסינג וניץ וואָס דורכפירן אַ סעריע פון חשבונות צו גער אַרייַנשרייַב דאַטן אין פֿאָרויסזאָגן ווי רעזולטאַט. אין דעם פּאָסטן, מיר וועלן קוקן אין די מאַכט פון אַי טראַנספאָרמערס און ווי זיי טוישן די וועלט אַרום אונדז.
די פּאָטענציעל פון נאַטירלעך שפּראַך פּראַסעסינג
זאל ס אָנהייבן מיט די באַסיקס. מיר הערן עס כּמעט אומעטום. אָבער, וואָס פּונקט איז נאַטירלעך שפּראַך פּראַסעסינג?
עס איז אַ אָפּשניט פון קינסטלעך סייכל וואָס פאָוקיסיז אויף די ינטעראַקשאַן פון יומאַנז און מאשינען דורך די נוצן פון נאַטירלעך שפּראַך. דער ציל איז צו לאָזן קאָמפּיוטערס צו זע, ינטערפּריט און פּראָדוצירן מענטש שפּראַך אין אַ מינינגפאַל און עכט שטייגער.
רעדע דערקענונג, שפּראַך איבערזעצונג, סענטימענט אַנאַליסיס, און טעקסט סאַמעריזיישאַן זענען אַלע ביישפילן פון NLP אַפּלאַקיישאַנז. טראַדיציאָנעל NLP מאָדעלס, אויף די אנדערע האַנט, האָבן סטראַגאַלד צו אָנכאַפּן די קאָמפּלעקס פֿאַרבינדונגען צווישן ווערטער אין אַ פראַזע. דאָס האָט געמאכט די הויך אַקיעראַסי אין פילע NLP טאַסקס אוממעגלעך.
דאָס איז ווען אַי טראַנספאָרמערס אַרייַן די בילד. דורך אַ זיך-ופמערקזאַמקייט פּראָצעס, טראַנספאָרמערס קענען רעקאָרדירן לאַנג-טערמין דיפּענדאַנסיז און פֿאַרבינדונגען צווישן ווערטער אין אַ פראַזע. דעם אופֿן ינייבאַלז די מאָדעל צו קלייַבן צו אָנטייל נעמען אין פאַרשידן סעקשאַנז פון די אַרייַנשרייַב סיקוואַנס. אַזוי, עס קענען באַגרייַפן דעם קאָנטעקסט און טייַטש פון יעדער וואָרט אין אַ פראַזע.
וואָס פּונקט זענען טראַנספאָרמערס מאָדעלס
אַן אַי טראַנספאָרמער איז אַ טיף לערנען אַרקאַטעקטשער וואָס פארשטייט און פּראַסעסאַז פאַרשידן טייפּס פון אינפֿאָרמאַציע. עס יקסעלז אין דיטערמאַנינג ווי קייפל ביטן פון אינפֿאָרמאַציע פאַרבינדן צו איינער דעם אנדערן, אַזאַ ווי ווי פאַרשידענע ווערטער אין אַ פראַזע זענען לינגקט אָדער ווי פאַרשידענע סעקשאַנז פון אַ בילד פּאַסיק צוזאַמען.
עס אַרבעט דורך ספּליטינג אַראָפּ אינפֿאָרמאַציע אין קליין ביטן און דערנאָך קוק אין אַלע די קאַמפּאָונאַנץ אין אַמאָל. עס איז ווי פילע קליין ראָובאַץ קאָואַפּערייט צו פֿאַרשטיין די דאַטן. דערנאָך, אַמאָל עס ווייסט אַלץ, עס ריאַסעמבאַלז אַלע די קאַמפּאָונאַנץ צו צושטעלן אַ ענטפער אָדער רעזולטאַט.
אַי טראַנספאָרמערס זענען גאָר ווערטפול. זיי קענען אָנכאַפּן דעם קאָנטעקסט און לאַנג-טערמין פֿאַרבינדונגען צווישן דייווערס אינפֿאָרמאַציע. דאָס איז קריטיש פֿאַר טאַסקס ווי שפּראַך איבערזעצונג, סאַמעריזיישאַן און ענטפֿערן שאלות. אַזוי, זיי זענען די סייכל הינטער אַ פּלאַץ פון די טשיקאַווע טינגז וואָס אַי קענען דערגרייכן!
ופמערקזאַמקייט איז אַלע איר דאַרפֿן
דער סאַבטייטאַל "אכטונג איז אַלע איר דאַרפֿן" רעפערס צו אַ 2017 ויסגאַבע וואָס פארגעלייגט די טראַנספאָרמער מאָדעל. עס רעוואַלושאַנייזד די דיסציפּלין פון נאַטירלעך שפּראַך פּראַסעסינג (NLP).
די מחברים פון דעם פאָרשונג סטייטיד אַז די זעלבסט-ופמערקזאַמקייט מעקאַניזאַם פון די טראַנספאָרמער מאָדעל איז שטאַרק גענוג צו נעמען די ראָלע פון די קאַנווענשאַנאַל ריקעראַנט און קאָנוואָלוטיאָנאַל נעוראַל נעטוואָרקס געניצט פֿאַר NLP טאַסקס.
וואָס איז זיך-אכטונג פּונקט?
דאָס איז אַ מעטאָד וואָס אַלאַוז די מאָדעל צו קאַנסאַנטרייט אויף פאַרשידן אַרייַנשרייַב סיקוואַנס סעגמאַנץ ווען פּראַדוסינג פֿאָרויסזאָגן.
אין אנדערע ווערטער, זיך-ופמערקזאַמקייט ינייבאַלז די מאָדעל צו רעכענען אַ סכום פון ופמערקזאַמקייט סקאָרז פֿאַר יעדער עלעמענט וועגן אַלע אנדערע קאַמפּאָונאַנץ, אַלאַוינג די מאָדעל צו באַלאַנסירן די באַטייַט פון יעדער אַרייַנשרייַב עלעמענט.
אין אַ טראַנספאָרמער-באזירט צוגאַנג, זיך-ופמערקזאַמקייט אַפּערייץ ווי גייט:
דער אַרייַנשרייַב סיקוואַנס איז ערשטער עמבעדיד אין אַ סעריע פון וועקטאָרס, איינער פֿאַר יעדער סיקוואַנס מיטגליד.
פֿאַר יעדער עלעמענט אין די סיקוואַנס, דער מאָדעל קריייץ דרייַ שטעלט פון וועקטאָרס: די אָנפֿרעג וועקטאָר, דער שליסל וועקטאָר, און די ווערט וועקטאָר.
די אָנפֿרעג וועקטאָר איז קאַמפּערד מיט אַלע די שליסל וועקטאָרס, און די סימאַלעראַטיז זענען קאַלקיאַלייטיד מיט אַ פּונקט פּראָדוקט.
די ופמערקזאַמקייט סקאָרז אַז רעזולטאַט איז נאָרמאַלייזד מיט אַ סאָפטמאַקס פונקציע, וואָס דזשענערייץ אַ סכום פון ווייץ וואָס ינדיקייץ די קאָרעוו באַטייַט פון יעדער שטיק אין די סיקוואַנס.
צו מאַכן די לעצט רעזולטאַט פאַרטרעטונג, די ווערט וועקטאָרס זענען געמערט דורך די ופמערקזאַמקייט ווייץ און סאַמד.
טראַנספאָרמער-באזירט מאָדעלס, וואָס נוצן זיך-ופמערקזאַמקייט, קענען הצלחה כאַפּן לאַנג-קייט באַציונגען אין אַרייַנשרייַב סיקוואַנסיז אָן דיפּענדינג אויף פאַרפעסטיקט-לענג קאָנטעקסט פֿענצטער, מאכן זיי דער הויפּט נוציק פֿאַר נאַטירלעך שפּראַך פּראַסעסינג אַפּלאַקיישאַנז.
בייַשפּיל
יבערנעמען מיר האָבן אַ זעקס-סימען אַרייַנשרייַב סיקוואַנס: "די קאַץ געזעסן אויף די מאַטע." יעדער סימען קען זיין רעפּריזענטיד ווי אַ וועקטאָר, און די אַרייַנשרייַב סיקוואַנס קענען זיין געזען ווי גייט:
ווייַטער, פֿאַר יעדער סימען, מיר וואָלט בויען דריי שטעלט פון וועקטאָרס: די אָנפֿרעג וועקטאָר, דער שליסל וועקטאָר, און די ווערט וועקטאָר. די עמבעדיד סימען וועקטאָר איז געמערט מיט דריי געלערנט וואָג מאַטריץ צו געבן די וועקטאָרס.
פֿאַר דער ערשטער סימען "די," פֿאַר בייַשפּיל, די אָנפֿרעג, שליסל, און ווערט וועקטאָרס וואָלט זיין:
אָנפֿרעג וועקטאָר: [0.4, -0.2, 0.1]
שליסל וועקטאָר: [0.2, 0.1, 0.5]
ווערט וועקטאָר: [0.1, 0.2, 0.3]
די ופמערקזאַמקייט סקאָרז צווישן יעדער פּאָר פון טאָקענס אין די אַרייַנשרייַב סיקוואַנס זענען קאַמפּיוטאַד דורך די זיך-ופמערקזאַמקייט מעקאַניזאַם. פֿאַר בייַשפּיל, די ופמערקזאַמקייט כעזשבן צווישן טאָקענס 1 און 2 "די" וואָלט זיין קאַלקיאַלייטיד ווי די פּונקט פּראָדוקט פון זייער אָנפֿרעג און שליסל וועקטאָרס:
ופמערקזאַמקייט כעזשבן = dot_product(קווערי וועקטאָר פון טאָקען 1, שליסל וועקטאָר פון טאָקען 2)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= קסנומקס
די ופמערקזאַמקייט סקאָרז ווייַזן די קאָרעוו שייכות פון יעדער סימען אין די סיקוואַנס צו די אנדערע.
לעסאָף, פֿאַר יעדער סימען, די רעזולטאַט פאַרטרעטונג איז באשאפן דורך גענומען אַ ווייטיד סאַכאַקל פון די ווערט וועקטאָרס, מיט די ווייץ באשלאסן דורך די ופמערקזאַמקייט סקאָרז. דער רעזולטאַט פאַרטרעטונג פֿאַר דער ערשטער סימען "די," פֿאַר בייַשפּיל, וואָלט זיין:
רעזולטאַט וועקטאָר פֿאַר טאָקען 1 = (אכטונג כעזשבן מיט טאָקען 1) * ווערט וועקטאָר פֿאַר טאָקען 2
+ (ופמערקזאַמקייט כעזשבן מיט טאָקען 3) * ווערט וועקטאָר פֿאַר טאָקען 3
+ (ופמערקזאַמקייט כעזשבן מיט טאָקען 4) * ווערט וועקטאָר פֿאַר טאָקען 4
+ (ופמערקזאַמקייט כעזשבן מיט טאָקען 5) * ווערט וועקטאָר פֿאַר טאָקען 5
+ (ופמערקזאַמקייט כעזשבן מיט טאָקען 6) * ווערט וועקטאָר פֿאַר טאָקען 6
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
ווי אַ רעזולטאַט פון זיך-ופמערקזאַמקייט, די טראַנספאָרמער-באזירט מאָדעל קענען קלייַבן צו אָנטייל נעמען אין פאַרשידענע סעקשאַנז פון די אַרייַנשרייַב סיקוואַנס ווען קריייטינג די רעזולטאַט סיקוואַנס.
אַפּפּליקאַטיאָנס זענען מער ווי איר טראַכטן
ווייַל פון זייער אַדאַפּטאַבילאַטי און פיייקייט צו שעפּן אַ ברייט קייט פון NLP טאַסקס, אַזאַ ווי מאַשין איבערזעצונג, סענטימענט אַנאַליסיס, טעקסט סאַמעריזיישאַן, און מער, אַי טראַנספאָרמערס האָבן געוואקסן אין פּאָפּולאַריטעט אין די לעצטע יאָרן.
אַי טראַנספאָרמערס האָבן שוין געניצט אין אַ פאַרשיידנקייַט פון דאָומיינז, אַרייַנגערעכנט בילד דערקענונג, רעקאָמענדאַציע סיסטעמען און אפילו מעדיצין ופדעקונג, אין אַדישאַן צו קלאַסיש שפּראַך-באזירט אַפּלאַקיישאַנז.
אַי טראַנספאָרמערס האָבן כּמעט לימאַטלאַס ניצט זינט זיי קענען זיין טיילערד צו פילע פּראָבלעם געביטן און דאַטן מינים. AI טראַנספאָרמערס, מיט זייער פיייקייט צו אַנאַלייז קאָמפּליצירט דאַטן סיקוואַנסיז און כאַפּן לאַנג-טערמין באציונגען, זענען באַשטימט צו זיין אַ באַטייטיק דרייווינג פאַקטאָר אין דער אַנטוויקלונג פון אַי אַפּלאַקיישאַנז אין די ווייַטער יאָרן.
פאַרגלייַך מיט אנדערע נעוראַל נעטוואָרק אַרקאַטעקטשערז
ווי זיי קענען פונאַנדערקלייַבן אַרייַנשרייַב סיקוואַנסיז און אָנכאַפּן לאַנג-קייט באַציונגען אין טעקסט, אַי טראַנספאָרמערס זענען דער הויפּט געזונט סוטאַד פֿאַר נאַטירלעך שפּראַך פּראַסעסינג ווען קאַמפּערד מיט אנדערע נוראַל נעץ אַפּלאַקיישאַנז.
עטלעכע נעוראַל נעץ אַרקאַטעקטשערז, אַזאַ ווי קאַנוואַלושאַנאַל נעוראַל נעטוואָרקס (CNNs) און ריקעראַנט נעוראַל נעטוואָרקס (RNNs), אויף די אנדערע האַנט, זענען בעסער פּאַסיק פֿאַר טאַסקס מיט די פּראַסעסינג פון סטראַקטשערד אַרייַנשרייַב, אַזאַ ווי בילדער אָדער צייט סעריע דאַטן.
די צוקונפֿט איז קוקן העל
די צוקונפֿט פון אַי טראַנספאָרמערס מיינט ליכטיק. איין שטח פון די אָנגאָינג לערנען איז די אַנטוויקלונג פון פּראַגרעסיוולי מער שטאַרק מאָדעלס וואָס קענען פירן ינקריסינגלי קאָמפּליצירט טאַסקס.
דערצו, פּרווון זענען געמאכט צו פאַרבינדן אַי טראַנספאָרמערס מיט אנדערע אַי טעקנאַלאַדזשיז, אַזאַ ווי ריינפאָרסינג לערנען, צו צושטעלן מער אַוואַנסירטע באַשלוס-מאכן קייפּאַבילאַטיז.
יעדער אינדוסטריע איז טריינג צו נוצן די פּאָטענציעל פון אַי צו פאָר כידעש און דערגרייכן אַ קאַמפּעטיטיוו ברעג. אַזוי, אַי טראַנספאָרמערס זענען מסתּמא פּראַגרעסיוו ינקאָרפּערייטיד אין אַ פאַרשיידנקייַט פון אַפּלאַקיישאַנז, אַרייַנגערעכנט כעלטקער, פינאַנצן און אנדערע.
מיט פארבליבן ימפּרווומאַנץ אין אַי טראַנספאָרמער טעכנאָלאָגיע און די פּאָטענציעל פֿאַר די שטאַרק אַי מכשירים צו רעוואַלושאַנייז די וועג פון מענטשן פּראַסעסינג און באַגרייַפן שפּראַך, די צוקונפֿט מיינט ליכטיק.
לאָזן אַ ענטפֿערן