נאַטירלעך שפּראַך פּראַסעסינג (NLP) האט פארוואנדלען ווי מיר האַנדלען מיט מאשינען. איצט, אונדזער אַפּפּס און ווייכווארג קענען פּראָצעס און באַגרייַפן מענטש שפּראַך.
ווי אַ דיסציפּלין פון קינסטלעך סייכל, NLP פאָוקיסיז אויף נאַטירלעך שפּראַך ינטעראַקשאַן צווישן קאָמפּיוטערס און מענטשן.
עס העלפּס מאשינען צו אַנאַלייז, באַגרייַפן און סינטאַסייז מענטש שפּראַך, עפן אַ שעפע פון אַפּלאַקיישאַנז אַזאַ ווי רעדע דערקענונג, מאַשין איבערזעצונג, סענטימענט אַנאַליסיס, און טשאַטבאָץ.
עס האט געמאכט ריזיק אַנטוויקלונג אין די לעצטע יאָרן, אַלאַוינג מאשינען צו ניט בלויז באַגרייַפן שפּראַך אָבער אויך נוצן עס קריייטיוולי און אַפּראָופּרייטלי.
אין דעם אַרטיקל, מיר וועלן קאָנטראָלירן די פאַרשידענע NLP שפּראַך מאָדעלס. אַזוי, נאָכגיין צוזאמען און לאָזן אונדז לערנען וועגן די מאָדעלס!
1. בערט
BERT (ביידירעקטיאָנאַל ענקאָדער רעפּרעסענטאַטיאָנס פון טראַנספאָרמערס) איז אַ קאַטינג-ברעג נאַטירלעך שפּראַך פּראַסעסינג (NLP) שפּראַך מאָדעל. עס איז געווען באשאפן אין 2018 דורך g און איז באזירט אויף די טראַנספאָרמער אַרקאַטעקטשער, אַ נעוראַל נעץ געבויט צו טייַטשן סאַקווענטשאַל אַרייַנשרייַב.
BERT איז אַ פאַר-טריינד שפּראַך מאָדעל, וואָס מיטל אַז עס איז טריינד אויף מאַסיוו וואַליומז פון טעקסט דאַטן צו דערקענען נאַטירלעך שפּראַך פּאַטערנז און סטרוקטור.
BERT איז אַ ביידירעקטיאָנאַל מאָדעל, וואָס מיטל אַז עס קענען אָנכאַפּן דעם קאָנטעקסט און טייַטש פון ווערטער דיפּענדינג אויף ביידע זייער פריערדיקן און ווייַטערדיק פראַסעס, מאכן עס מער געראָטן צו פֿאַרשטיין די טייַטש פון קאָמפּליצירט זאצן.
וויאזוי ארבייט עס?
ונסופּערוויסעד לערנען איז געניצט צו באַן BERT אויף מאַסיוו אַמאַונץ פון טעקסט דאַטן. BERT גיינז די פיייקייט צו דעטעקט פעלנדיק ווערטער אין אַ זאַץ אָדער צו קאַטאַגערייז זאצן בעשאַס טריינינג.
מיט דער הילף פון דעם טריינינג, BERT קענען פּראָדוצירן הויך-קוואַליטעט עמבעדינגז וואָס קענען זיין געווענדט צו אַ פאַרשיידנקייַט פון NLP טאַסקס, אַרייַנגערעכנט סענטימענט אַנאַליסיס, טעקסט קאַטאַגעריזיישאַן, קשיא ענטפֿערן, און מער.
אַדדיטיאָנאַללי, BERT קענען זיין ימפּרוווד אויף אַ ספּעציפיש פּרויעקט דורך ניצן אַ קלענערער דאַטאַסעט צו פאָקוס אויף דעם אַרבעט ספּאַסיפיקלי.
ווו איז בערט געניצט?
BERT איז אָפט געניצט אין אַ ברייט קייט פון פאָלקס NLP אַפּלאַקיישאַנז. גוגל, פֿאַר בייַשפּיל, האט געוויינט עס צו פאַרגרעסערן די אַקיעראַסי פון זייַן זוכן מאָטאָר רעזולטאַטן, בשעת Facebook האט געוויינט עס צו פֿאַרבעסערן זייַן רעקאָמענדאַציע אַלגערידאַמז.
BERT איז אויך געניצט אין טשאַטבאָט סענטימענט אַנאַליסיס, מאַשין איבערזעצונג און נאַטירלעך שפּראַך קאַמפּרעשאַן.
אין דערצו, BERT איז געווען אָנגעשטעלט אין עטלעכע אַקאַדעמיק פאָרשונג צייטונגען צו פֿאַרבעסערן די פאָרשטעלונג פון NLP מאָדעלס אויף פאַרשידן טאַסקס. קוילעלדיק, BERT איז געווארן אַ ינדיספּענסאַבאַל געצייַג פֿאַר NLP אַקאַדעמיקס און פּראַקטישנערז, און זיין השפּעה אויף די דיסציפּלין איז פּראַדזשעקטאַד צו פאַרגרעסערן ווייַטער.
2. ראָבערטאַ
RobERTa (Rabustly Optimized BERT Approach) איז אַ שפּראַך מאָדעל פֿאַר נאַטירלעך שפּראַך פּראַסעסינג באפרייט דורך Facebook AI אין 2019. עס איז אַ ימפּרוווד ווערסיע פון BERT אַימעד צו באַקומען עטלעכע פון די אָריגינעל BERT מאָדעל ס דראָבאַקס.
ראָבערטאַ איז טריינד אין אַ שטייגער ענלעך צו BERT, מיט די ויסנעם אַז ראָבערטאַ ניצט מער טריינינג דאַטן און ימפּרוווז די טריינינג פּראָצעס צו באַקומען העכער פאָרשטעלונג.
Roberta, ווי BERT, איז אַ פאַר-טריינד שפּראַך מאָדעל וואָס קען זיין פיין-טונד צו דערגרייכן הויך אַקיעראַסי אין אַ געגעבן אַרבעט.
וויאזוי ארבייט עס?
Roberta ניצט אַ זיך-סופּערווייזד לערנען סטראַטעגיע צו באַן אויף אַ גרויס קוואַנטיטי פון טעקסט דאַטן. עס לערנז צו פאָרויסזאָגן פעלנדיק ווערטער אין זאצן און קאַטאַגערייז פראַסעס אין פאַרשידענע גרופּעס בעשאַס טריינינג.
ראָבערטאַ אויך ניצט עטלעכע סאַפיסטאַקייטיד טריינינג אַפּראָוטשיז, אַזאַ ווי דינאַמיש מאַסקינג, צו פאַרגרעסערן די קאַפּאַציטעט פון די מאָדעל צו דזשענערייט צו נייַע דאַטן.
דערצו, צו פאַרגרעסערן זיין אַקיעראַסי, ראָבערטאַ לעוועראַגעס אַ וואַסט קוואַנטיטי פון דאַטן פֿון עטלעכע קוואלן, אַרייַנגערעכנט וויקיפּעדיע, קאָממאָן קריכן און בוקקאָרפּוס.
ווו קענען מיר נוצן Roberta?
ראָבערטאַ איז אָפט געניצט פֿאַר סענטימענט אַנאַליסיס, טעקסט קאַטאַגעריזיישאַן, געהייסן ענטיטי לעגיטימאַציע, מאַשין איבערזעצונג, און קשיא ענטפֿערן.
עס קענען זיין געוויינט צו עקסטראַקט באַטייַטיק ינסייץ פון אַנסטראַקטשערד טעקסט דאַטן אַזאַ ווי געזעלשאַפטלעך מעדיע, קאָנסומער באריכטן, נייַעס אַרטיקלען און אנדערע קוואלן.
ראָבערטאַ איז געניצט אין מער ספּעציפיש אַפּלאַקיישאַנז, אַזאַ ווי דאָקומענט סאַמעריזיישאַן, טעקסט שאַפונג און רעדע דערקענונג, אין אַדישאַן צו די קאַנווענשאַנאַל NLP טאַסקס. עס איז אויך געניצט צו פֿאַרבעסערן טשאַטבאָץ, ווירטואַל אַסיסטאַנץ און די אַקיעראַסי פון אנדערע קאַנווערסיישאַנאַל אַי סיסטעמען.
3. OpenAI's GPT-3
GPT-3 (גענעראַטיווע פאַר-טריינד טראַנספאָרמער 3) איז אַן OpenAI שפּראַך מאָדעל וואָס דזשענערייץ מענטש-ווי שרייבן ניצן טיף לערנען טעקניקס. GPT-3 איז איינער פון די ביגאַסט שפּראַך מאָדעלס טאָמיד קאַנסטראַקטאַד, מיט 175 ביליאָן פּאַראַמעטערס.
דער מאָדעל איז טריינד אויף אַ ברייט קייט פון טעקסט דאַטן, אַרייַנגערעכנט ביכער, צייטונגען און וועב זייַטלעך, און עס קענען איצט שאַפֿן אינהאַלט אויף פאַרשידן טעמעס.
וויאזוי ארבייט עס?
GPT-3 דזשענערייץ טעקסט מיט אַן אַנסופּערווייזד לערנען צוגאַנג. דאָס ימפּלייז אַז דער מאָדעל איז נישט בעקיוון געלערנט צו ויספירן קיין באַזונדער אַרבעט, אָבער אַנשטאָט לערנט צו שאַפֿן טעקסט דורך נאָוטיסינג פּאַטערנז אין ריזיק וואַליומז פון טעקסט דאַטן.
דורך טריינינג עס אויף קלענערער טאַסק-ספּעציפיש דאַטאַסעץ, דער מאָדעל קען זיין פיין-טונד פֿאַר ספּעציפיש טאַסקס ווי טעקסט קאַמפּלישאַן אָדער סענטימענט אַנאַליסיס.
געביטן פון באַניץ
GPT-3 האט עטלעכע אַפּלאַקיישאַנז אין די פעלד פון נאַטירלעך שפּראַך פּראַסעסינג. טעקסט קאַמפּלישאַן, שפּראַך איבערזעצונג, סענטימענט אַנאַליסיס און אנדערע אַפּלאַקיישאַנז זענען מעגלעך מיט דעם מאָדעל. GPT-3 איז אויך געניצט צו שאַפֿן פּאָעזיע, נייַעס און קאָמפּיוטער קאָד.
איינער פון די מערסט פּאָטענציעל GPT-3 אַפּלאַקיישאַנז איז די שאַפונג פון טשאַטבאָץ און ווירטואַל אַסיסטאַנץ. ווייַל דער מאָדעל קענען שאַפֿן מענטש-ווי טעקסט, עס איז העכסט סוטאַד פֿאַר קאַנווערסיישאַנאַל אַפּלאַקיישאַנז.
GPT-3 איז אויך געניצט צו דזשענערייט טיילערד אינהאַלט פֿאַר וועבסיטעס און געזעלשאַפטלעך מידיאַ פּלאַטפאָרמס, ווי געזונט ווי צו הילף אין דאַטן אַנאַליסיס און פאָרשונג.
4. גפּט-4
GPT-4 איז די מערסט פריש און סאַפיסטאַקייטיד שפּראַך מאָדעל אין OpenAI's GPT סעריע. מיט אַן אַמייזינג 10 פּאַראַמעטערס, עס איז פּרעדיקטעד צו אַוטפּערפאָרם און אַוטפּערפאָרם זיין פאָרויסגייער, GPT-3, און ווערן איינער פון די וועלט 'ס מערסט שטאַרק אַי מאָדעלס.
וויאזוי ארבייט עס?
GPT-4 דזשענערייץ נאַטירלעך שפּראַך טעקסט מיט סאַפיסטאַקייטיד טיף לערנען אַלגערידאַמז. עס איז טריינד אויף אַ וואַסט טעקסט דאַטן שטעלן וואָס כולל ביכער, דזשערנאַלז און וועב זייַטלעך, אַלאַוינג עס צו שאַפֿן אינהאַלט אויף אַ ברייט קייט פון טעמעס.
דערצו, דורך טריינינג עס אויף קלענערער טאַסק-ספּעציפיש דאַטאַסעץ, GPT-4 קען זיין פיין-טונד פֿאַר ספּעציפיש טאַסקס אַזאַ ווי קשיא ענטפֿערן אָדער סאַמעריזיישאַן.
געביטן פון באַניץ
ווייַל פון זיין ריזיק גרייס און העכער קייפּאַבילאַטיז, GPT-4 אָפפערס אַ ברייט פאַרשיידנקייַט פון אַפּלאַקיישאַנז.
איינער פון די מערסט פּראַמאַסינג ניצט איז אין נאַטירלעך שפּראַך פּראַסעסינג, ווו עס קען זיין געוויינט אַנטוויקלען טשאַטבאָץ, ווירטועל אַסיסטאַנץ, און שפּראַך איבערזעצונג סיסטעמען וואָס זענען ביכולת צו פּראָדוצירן נאַטירלעך שפּראַך ענטפֿערס וואָס זענען כּמעט ינדיסטינגגווישאַבאַל פון די געשאפן דורך מענטשן.
GPT-4 קען אויך זיין געוויינט אין בילדונג.
דער באַגריף קען זיין גענוצט צו אַנטוויקלען ינטעליגענט טוטאָרינג סיסטעמען וואָס קענען אַדאַפּט זיך צו אַ תּלמיד ס לערנען סטיל און צושטעלן ינדיווידזשואַלייזד באַמערקונגען און הילף. דאָס קען העלפֿן צו פֿאַרבעסערן די קוואַליטעט פון בילדונג און מאַכן לערנען מער צוטריטלעך פֿאַר אַלעמען.
5. קסלנעט
XLNet איז אַן ינאַווייטיוו שפּראַך מאָדעל באשאפן אין 2019 דורך Carnegie Mellon אוניווערסיטעט און Google אַי ריסערטשערז. זיין אַרקאַטעקטשער איז באזירט אויף טראַנספאָרמער אַרקאַטעקטשער, וואָס איז אויך געניצט אין BERT און אנדערע שפּראַך מאָדעלס.
XLNet, אויף די אנדערע האַנט, גיט אַ רעוואלוציאנער פאַר-טריינינג סטראַטעגיע וואָס ינייבאַלז עס צו העכערן אנדערע מאָדעלס אויף אַ פאַרשיידנקייַט פון נאַטירלעך שפּראַך פּראַסעסינג טאַסקס.
וויאזוי ארבייט עס?
XLNet איז באשאפן מיט אַן אַוטאָ-רעגרעסיוו שפּראַך מאָדעלינג צוגאַנג, וואָס כולל פּרידיקטינג די ווייַטער וואָרט אין אַ טעקסט סיקוואַנס באזירט אויף די פּריסידינג אָנעס.
XLNet, אויף די אנדערע האַנט, אַדאַפּץ אַ ביידירעקטיאָנאַל אופֿן וואָס יוואַליוייץ אַלע פּאָטענציעל פּערמיוטיישאַנז פון די ווערטער אין אַ פראַזע, ווי קעגן צו אנדערע שפּראַך מאָדעלס וואָס נוצן אַ לינקס-צו-רעכט אָדער רעכט-צו-לינקס צוגאַנג. דאָס ינייבאַלז עס צו כאַפּן לאַנג-טערמין וואָרט באציונגען און מאַכן מער פּינטלעך פֿאָרויסזאָגן.
XLNet קאַמביינז סאַפיסטאַקייטיד טעקניקס אַזאַ ווי קאָרעוו פּאָסיטיאָנאַל קאָדירונג און אַ אָפּשניט-מדרגה ריקעראַנס מעקאַניזאַם אין אַדישאַן צו זיין רעוואלוציאנער פאַר-טריינינג סטראַטעגיע.
די סטראַטעגיעס ביישטייערן צו די קוילעלדיק פאָרשטעלונג פון די מאָדעל און געבן עס צו שעפּן אַ ברייט קייט פון נאַטירלעך שפּראַך פּראַסעסינג טאַסקס, אַזאַ ווי שפּראַך איבערזעצונג, סענטימענט אַנאַליסיס און נאָמען ענטיטי לעגיטימאַציע.
אַרעאַס פון באַניץ פֿאַר XLNet
די סאַפיסטאַקייטיד פֿעיִקייטן און אַדאַפּטאַבילאַטי פון XLNet מאַכן עס אַן עפעקטיוו געצייַג פֿאַר אַ ברייט קייט פון נאַטירלעך שפּראַך פּראַסעסינג אַפּלאַקיישאַנז, אַרייַנגערעכנט טשאַטבאָץ און ווירטואַל אַסיסטאַנץ, שפּראַך איבערזעצונג און סענטימענט אַנאַליסיס.
זיין אָנגאָינג אַנטוויקלונג און ינקאָרפּעריישאַן מיט ווייכווארג און אַפּפּס וועט כּמעט זיכער רעזולטאַט אין אפילו מער פאַסאַנייטינג קאַסעס אין דער צוקונפֿט.
6. עלעקטרע
ELECTRA איז אַ נאַטירלעך שפּראַך פּראַסעסינג מאָדעל באשאפן דורך Google ריסערטשערז. עס שטייט פֿאַר "עפעקטיוולי לערנען אַ ענקאָדער וואָס קלאַסאַפייז טאָקען ריפּלייסמאַנץ אַקיעראַטלי" און איז באַרימט פֿאַר זייַן יקסעפּשאַנאַל אַקיעראַסי און גיכקייַט.
וויאזוי ארבייט עס?
ELECTRA אַרבעט דורך ריפּלייסינג אַ טייל פון טעקסט סיקוואַנס טאָקענס מיט געשאפן טאָקענס. דער ציל פון די מאָדעל איז צו פאָרויסזאָגן רעכט צי יעדער פאַרבייַט סימען איז לאַדזשיטאַמאַט אָדער אַ פאָרדזשערי. ELECTRA לערנט צו קראָם קאָנטעקסטואַל אַסאָוסייישאַנז צווישן ווערטער אין אַ טעקסט סיקוואַנס מער יפישאַנטלי ווי אַ רעזולטאַט.
דערצו, ווייַל ELECTRA קריייץ פאַלש טאָקענס אלא ווי מאַסקינג פאַקטיש אָנעס, עס קען נוצן באטייטיק ביגער טריינינג שטעלט און טריינינג פּיריאַדז אָן יקספּיריאַנסט די זעלבע אָוווערפיט קאַנסערנז ווי נאָרמאַל מאַסקט שפּראַך מאָדעלס.
געביטן פון באַניץ
ELECTRA קענען אויך זיין געוויינט פֿאַר סענטימענט אַנאַליסיס, וואָס ינטיילז די עמאָציאָנעל טאָן פון אַ טעקסט.
מיט זיין פיייקייט צו לערנען פון ביידע מאַסקט און אַנמאַסקט טעקסט, ELECTRA קען זיין געוויינט צו שאַפֿן מער פּינטלעך סענטימענט אַנאַליסיס מאָדעלס וואָס קענען בעסער פֿאַרשטיין לינגגוויסטיק סאַטאַלטיז און צושטעלן מער מינינגפאַל ינסייץ.
7. ט 5
T5, אָדער טעקסט-צו-טעקסט אַריבערפירן טראַנספאָרמער, איז אַ Google אַי שפּראַך טראַנספאָרמער-באזירט שפּראַך מאָדעל. עס איז בדעה צו ויספירן פאַרשידענע נאַטירלעך שפּראַך פּראַסעסינג טאַסקס דורך פלעקסאַבאַל איבערזעצן אַרייַנשרייַב טעקסט צו רעזולטאַט טעקסט.
וויאזוי ארבייט עס?
T5 איז געבויט אויף די טראַנספאָרמער אַרקאַטעקטשער און איז טריינד מיט אַנסערווייזד לערנען אויף אַ וואַסט קוואַנטיטי פון טעקסט דאַטן. T5, ניט ענלעך פריערדיקן שפּראַך מאָדעלס, איז טריינד אויף אַ פאַרשיידנקייַט פון טאַסקס, אַרייַנגערעכנט שפּראַך קאַמפּריכענשאַן, קשיא ענטפֿערן, סאַמעריזיישאַן און איבערזעצונג.
דאָס ינייבאַלז T5 צו טאָן פילע דזשאָבס דורך פיין-טונינג די מאָדעל אויף ווייניקער אַרבעט-ספּעציפיש אַרייַנשרייַב.
ווו ניצט T5?
T5 האט עטלעכע פּאָטענציעל אַפּלאַקיישאַנז אין נאַטירלעך שפּראַך פּראַסעסינג. עס קען זיין גענוצט צו שאַפֿן טשאַטבאָץ, ווירטואַל אַסיסטאַנץ און אנדערע קאַנווערסיישאַנאַל אַי סיסטעמען וואָס קענען פֿאַרשטיין און ריספּאַנד צו נאַטירלעך שפּראַך אַרייַנשרייַב. T5 קען אויך זיין געניצט פֿאַר אַקטיוויטעטן אַזאַ ווי שפּראַך איבערזעצונג, סאַמעריזיישאַן און טעקסט קאַמפּלישאַן.
T5 איז געווען צוגעשטעלט אָפֿן-מקור דורך Google און איז וויידלי עמברייסט דורך די NLP קהל פֿאַר אַ פאַרשיידנקייַט פון אַפּלאַקיישאַנז אַזאַ ווי טעקסט קאַטאַגעריזיישאַן, קשיא ענטפֿערן און מאַשין איבערזעצונג.
8. פּאַלם
פּאַלם (פּאַטהווייַס שפּראַך מאָדעל) איז אַ אַוואַנסירטע שפּראַך מאָדעל באשאפן דורך Google אַי שפּראַך. עס איז בדעה צו פֿאַרבעסערן די פאָרשטעלונג פון נאַטירלעך שפּראַך פּראַסעסינג מאָדעלס צו מקיים די גראָוינג פאָדערונג פֿאַר מער קאָמפּליצירט שפּראַך טאַסקס.
וויאזוי ארבייט עס?
ענלעך צו פילע אנדערע פאָלקס שפּראַך מאָדעלס ווי BERT און GPT, פּאַלם איז אַ טראַנספאָרמער-באזירט מאָדעל. אָבער, זייַן פּלאַן און טריינינג מעטאַדאַלאַדזשי שטעלן עס באַזונדער פון אנדערע מאָדעלס.
צו פֿאַרבעסערן פאָרשטעלונג און גענעראַליזיישאַן סקילז, פּאַלם איז טריינד מיט אַ מאַלטי-אַרבעט לערנען פּאַראַדיגם וואָס אַלאַוז די מאָדעל צו לערנען סיימאַלטייניאַסלי פון פילע טשאַלאַנדזשיז.
ווו טאָן מיר נוצן פּאַלם?
פּאַלם קענען ווערן גענוצט פֿאַר אַ פאַרשיידנקייַט פון NLP טאַסקס, ספּעציעל יענע וואָס רופן פֿאַר טיף קאַמפּריכענשאַן פון נאַטירלעך שפּראַך. עס איז נוציק פֿאַר סענטימענט אַנאַליסיס, ענטפֿערן פֿראגן, שפּראַך מאָדעלינג, מאַשין איבערזעצונג און פילע אנדערע זאכן.
צו פֿאַרבעסערן די שפּראַך פּראַסעסינג סקילז פון פאַרשידענע מגילה און מכשירים ווי טשאַטבאָץ, ווירטואַל אַסיסטאַנץ און קול דערקענונג סיסטעמען, עס קענען אויך זיין מוסיף אין זיי.
קוילעלדיק, PaLM איז אַ פּראַמאַסינג טעכנאָלאָגיע מיט אַ ברייט קייט פון מעגלעך אַפּלאַקיישאַנז רעכט צו זיין פיייקייט צו פאַרגרעסערן שפּראַך פּראַסעסינג קייפּאַבילאַטיז.
סאָף
צום סוף, נאַטירלעך שפּראַך פּראַסעסינג (NLP) האט פארוואנדלען די וועג מיר דינגען מיט טעכנאָלאָגיע, אַלאַוינג אונדז צו רעדן מיט מאשינען אין אַ מער מענטש-ווי שטייגער.
NLP איז געווארן מער פּינטלעך און עפעקטיוו ווי אלץ פריער ווייַל פון די לעצטע ברייקטרוז אין מאַשין וויסן, נאָוטאַבלי אין די קאַנסטראַקשאַן פון גרויס-וואָג שפּראַך מאָדעלס אַזאַ ווי GPT-4, Roberta, XLNet, ELECTRA און PaLM.
ווען NLP אַדוואַנסיז, מיר קען דערוואַרטן צו זען ינקריסינגלי מער שטאַרק און סאַפיסטאַקייטיד שפּראַך מאָדעלס, מיט די פּאָטענציעל צו יבערמאַכן ווי מיר פאַרבינדן מיט טעכנאָלאָגיע, יבערגעבן מיט איין אנדערן און פֿאַרשטיין די קאַמפּלעקסיטי פון מענטש שפּראַך.
לאָזן אַ ענטפֿערן