צי האָט איר וויסן אַז קאָמפּיוטערס קענען פּראָדוצירן טעקסטן וואָס זענען כּמעט יידעניקאַל צו וואָס מענטשן קענען שרייַבן?
דאַנק צו אַדוואַנטידזשיז אין אַי, מיר זענען וויטנאַסינג אַ כוואַליע אין גרויס שפּראַך מאָדעלס.
איצט, זיי אַרבעטן אויף אַן אַנפּרעסידענטיד וואָג!
מיר קענען נוצן די מאָדעלס אין אַ פאַרשיידנקייַט פון טשיקאַווע קאַסעס. אין דעם אַרטיקל, מיר וועלן קוקן אין עטלעכע פון די יקסייטינג אַפּלאַקיישאַנז פון גרויס שפּראַך מאָדעלס.
וואָס טאָן מיר מיינען מיט גרויס שפּראַך מאָדעלס?
גרויס שפּראַך מאָדעלס זענען אַי מאָדעלס וואָס זענען דעוועלאָפּעד צו טייַטשן און שאַפֿן מענטשלעך שפּראַך. די מאָדעלס נוצן אַוואַנסירטע מאַשין-לערנען אַפּראָוטשיז.
פֿאַר בייַשפּיל, זיי נוצן טיף לערנען צו ונטערזוכן מאַסיוו וואַליומז פון טעקסט דאַטן. און זיי פֿאַרשטיין נאַטירלעך שפּראַך פּאַטערנז און סטראַקטשערז.
די מאָדעלס זענען טריינד אויף מאַסיוו דאַטאַסעץ אַזאַ ווי ביכער, צייטונגען און וועב זייַטלעך. אַזוי זיי קענען אָנכאַפּן די ינטראַקאַסיז פון מענטש שפּראַך. אַזוי, זיי קענען מאַכן אינהאַלט וואָס איז ינדיסטינגגווישאַבאַל פון מענטש-געשריבן מאַטעריאַל.
וואָס זענען עטלעכע ביישפילן פון די שפּראַך מאָדעלס?
- גפּט-קסנומקס:דאָס איז אַ שפּאָרעוודיק שפּראַך מאָדעל באשאפן דורך OpenAI וואָס איז טויגעוודיק פון טעקסט דזשענערייטינג, ענטפֿערן פֿראגן און אַ פאַרשיידנקייַט פון אנדערע NLP טאַסקס.
- BERT: דאָס איז אַ שטאַרק שפּראַך מאָדעל באשאפן דורך גוגל וואָס קען זיין גענוצט פֿאַר עטלעכע טאַסקס, ווי קשיא ענטפֿערן און שפּראַך איבערזעצונג.
- XLNet: דער אַוואַנסירטע שפּראַך מאָדעל איז באשאפן דורך Google און Carnegie Mellon אוניווערסיטעט און ניצט אַ ראָמאַן טריינינג טעכניק צו פאַרבעסערן זיין קאַמפּריכענשאַן און פּראָדוקציע פון עכט שפּראַך.
- ראָבערטאַ: דער שפּראַך מאָדעל איז באשאפן דורך Facebook און איז באזירט אויף די BERT אַרקאַטעקטשער. עס האט דערגרייכט די העכסטן פאָרשטעלונג אין אַ פאַרשיידנקייַט פון אַפּלאַקיישאַנז מיט נאַטירלעך שפּראַך פּראַסעסינג.
- T5: טעקסט-צו-טעקסט אַריבערפירן טראַנספאָרמער איז באשאפן דורך גוגל און קען זיין טיילערד פֿאַר אַ פאַרשיידנקייַט פון צוועקן מיט נאַטירלעך שפּראַך פּראַסעסינג.
- GShard: Google האָט באשאפן אַ פונאנדערגעטיילט טריינינג פריימווערק וואָס קענען זיין גענוצט צו באַן גרויס-וואָג שפּראַך מאָדעלס.
- מעגאַטראָן: נווידיאַ ס הויך-פאָרשטעלונג שפּראַך מאָדעל טריינינג סיסטעם, וואָס קענען באַן מאָדעלס מיט אַרויף צו 8.3 ביליאָן פּאַראַמעטערס.
- אַלבערט: עס איז אַ מער עפעקטיוו און סקאַלאַבלע "לייט" ווערסיע פון BERT באשאפן דורך Google און Toyota Technological Institute אין טשיקאַגאָ.
- ELECTRA: גוגל און סטאַנפֿאָרד אוניווערסיטעט האָבן באשאפן אַ שפּראַך מאָדעל וואָס ניצט אַ נייַע פאַר-טריינינג סטראַטעגיע גערופֿן "דיסקרימינאַטיווע פאַר-טריינינג" צו בוסט זייַן פאָרשטעלונג אויף דאַונסטרים טאַסקס.
- רעפארמער: עס איז אַ Google שפּראַך מאָדעל וואָס ניצט אַ מער עפעקטיוו ופמערקזאַמקייט מעקאַניזאַם צו געבן די טריינינג פון ביגער מאָדעלס מיט פאַסטער ינפעראַנס.
אַזוי, וואָס זענען די נוצן קאַסעס פון די גרויס שפּראַך מאָדעלס?
באַטייטיק נוצן קאַסעס פון גרויס שפּראַך מאָדעלס
סענטימענט אַנאַליסיס
די מאָדעלס קענען אָפּשאַצן טעקסט און באַשליסן אויב די סענטימענט איז גוט, נעגאַטיוו אָדער נייטראַל. מערסטנס, זיי נוצן נאַטירלעך שפּראַך פּראַסעסינג און מאַשין וויסן אַפּראָוטשיז צו טאָן דאָס.
ווייַל פון זייער פיייקייט צו דערקענען דעם קאָנטעקסט און טייַטש פון ווערטער אין אַ פראַזע, מאָדעלס ווי BERT און Roberta זענען געניצט פֿאַר סענטימענט אַנאַליסיס.
סענטימענט אַנאַליסיס איז ינקריסינגלי גענוי און עפעקטיוו מיט שפּראַך מאָדעלס. מיר קענען נוצן סענטימענט אַנאַליסיס אין אַ ברייט קייט פון סעקטאָרס אַזאַ ווי פֿאַרקויף, קונה סערוויס און מער.
טשאַטבאָץ און קאַנווערסיישאַנאַל אגענטן
קאָנווערסאַטיאָנאַל אגענטן און טשאַטבאָץ ווערן פאָלקס אין אַ ברייט קייט פון אַפּלאַקיישאַנז. מיר באַקומען צו נוצן זיי אין קונה דינסט און פארקויפונג ווי געזונט ווי בילדונג און כעלטקער. גרויס שפּראַך מאָדעלס זענען די האַרץ פון די סיסטעמען.
זיי קענען טייַטשן און ריספּאַנד צו מענטש אַרייַנשרייַב אין נאַטירלעך שפּראַך. מאָדעלס אַזאַ ווי GPT-3 און BERT זענען אָפט געניצט אין טשאַטבאָץ צו שאַפֿן מער ענגיידזשינג ענטפֿערס.
די מאָדעלס זענען טריינד אויף ריזיק וואַליומז פון טעקסט דאַטן. זיי קענען פֿאַרשטיין און עמיאַלייט מענטשלעך שפּראַך פּאַטערנז און סטראַקטשערז. טשאַטבאָץ קענען באטייטיק פֿאַרבעסערן קונה באַשטעלונג.
שפּראַך איבערזעצונג
מיר קענען איבערזעצן טעקסט פון איין שפּראַך צו אנדערן מיט ויסערגעוויינלעך פּינטלעכקייַט דאַנק צו גרויס שפּראַך מאָדעלס. די מאָדעלס פֿאַרשטיין די ינטראַקאַסיז פון עטלעכע שפּראַכן. און זיי פאַרבינדן זיך צו איינער דעם אנדערן דורך טריינד אויף ריזיק וואַליומז פון מאַלטיילינגוואַל טעקסט דאַטן.
פאָלקס שפּראַך איבערזעצונג מאָדעלס אַרייַננעמען OpenAI's GPT-3, Facebook's M2M-100 און Google's Neural Machine Translation (NMT). רעכט צו דער רעוואלוציאנערע ענדערונגען געפֿירט דורך די מאָדעלס, עס איז איצט פיל סימפּלער צו ינטעראַקט מיט מענטשן איבער די וועלט.
טעקסט סאַמעריזיישאַן
טעקסט סאַמערייזינג איז דער פּראָצעס פון רידוסינג אַ לאַנג טעקסט צו אַ קיצער בשעת פּראַזערווינג די שליסל פונקטן. גרויס שפּראַך מאָדעלס קענען ונטערזוכן און באַגרייַפן די סטרוקטור פון אַ טעקסט. דאָס אַלאַוז זיי צו צושטעלן גענוי סאַמעריז, וואָס מאכט זיי זייער נוציק אין דעם פעלד.
פֿאַר טעקסט קיצער טאַסקס, מאָדעלס ווי BERT און GPT-3 האָבן שוין דיפּלויד. זיי ווייַזן בוילעט יפעקטיוונאַס אין פּראַדוסינג סאַמעריז וואָס ענקאַפּסאַלייט די הויפּט געדאנקען פון אַ דאָקומענט.
מיר קענען עקסטראַקט אינפֿאָרמאַציע פון אַ לאַנג טעקסט וואָס האט וויטאַל אַפּלאַקיישאַנז אין מעדיע, געזעץ און בילדונג.
פראגע ענטפערן
צושטעלן אַ מאַשין מיט אַ קשיא און דערוואַרטן עס צו קומען אַרויף מיט אַ צונעמען ענטפער איז באקאנט ווי קשיא ענטפֿערן אין נאַטירלעך שפּראַך פּראַסעסינג. גרויס שפּראַך מאָדעלס ווי GPT-3 און BERT זענען באשאפן מיט דעם ציל אין זינען.
די מאָדעלס ונטערזוכן די אַרייַנשרייַב אָנפֿרעג און קלייַבן די מערסט באַטייַטיק אינפֿאָרמאַציע פֿון די דאַטן.
די מאָדעלס ונטערזוכן די אַרייַנשרייַב אָנפֿרעג און קלייַבן די מערסט פּערטינאַנט דאַטן פֿון ריזיק אַמאַונץ פון אינפֿאָרמאַציע. דעם איז מעגלעך דורך ניצן סאַפיסטאַקייטיד נוראַל נעטוואָרקס.
מיט די מאַכט פון די מאָדעלס, מיר קענען אַנטוויקלען סיסטעמען פֿאַר דיסקאַווערד סאַלושאַנז צו קאָמפּליצירט ישוז. דאָס וועט פֿאַרבעסערן אונדזער פיייקייט פֿאַר לערנען און באַשלוס-מאכן.
אינהאַלט שאַפונג און טעקסט דור
גרויס שפּראַך מאָדעלס דזשענערייט הויך-קוואַליטעט, ענגיידזשינג אינהאַלט פֿאַר אַ פאַרשיידנקייַט פון סעקטאָרס. די מאָדעלס קענען קאַמפּאָוז אַרטיקלען, געזעלשאַפטלעך מידיאַ אַרטיקלען, פּראָדוקט דיסקריפּשאַנז, און מער. פֿאַר בייַשפּיל, GPT-3 איז אַ פאָלקס מאָדעל אין דעם פאַל.
עס קריייץ אינהאַלט וואָס איז שווער צו ויסטיילן פון טעקסט געשריבן דורך יומאַנז. דורך ניצן די מאָדעלס, קאָמפּאַניעס קענען שפּאָרן צייט און קאָס. זיי קענען פאַרבינדן צו זייער וילעם פיל גרינגער.
רעדע דערקענונג און רעדע-צו-טעקסט טראַנסקריפּציע
רעדע דערקענונג און רעדע-צו-טעקסט טראַנסקריפּציע ביידע נוצן גרויס שפּראַך מאָדעלס.
די מאָדעלס, ספּעציעל, זענען טריינד אויף אַודיאָ דאַטן. און, זיי נוצן אַוואַנסירטע מאַשין לערנען אַלגערידאַמז צו אַקיעראַטלי טראַנסקריבירן גערעדט ווערטער אין טעקסט. Wav2vec, דעוועלאָפּעד דורך Facebook AI, איז איין ביישפּיל פון אַ שפּראַך מאָדעל געניצט פֿאַר רעדע דערקענונג.
דער מאָדעל איז טריינד צו דערקענען און עקסטראַקט באַטייַטיק קעראַקטעריסטיקס פון אַודיאָ ינפּוץ. עס קענען זיין געוויינט פֿאַר רעדע דערקענונג אָדער אנדערע נאַטירלעך שפּראַך פּראַסעסינג טאַסקס.
קאָמפּאַניעס קענען פאַרגרעסערן די קוואַליטעט און גיכקייַט פון זייער טראַנסקריפּציע באַדינונגס בשעת לאָוערינג קאָס און פאַרגרעסערן עפעקטיווקייַט דורך אַדאַפּטינג מאַסיוו שפּראַך מאָדעלס.
ראַפּ-אַרויף, ווי טוט די צוקונפֿט קוקן ווי?
גרויס שפּראַך מאָדעלס וועט שפּילן אַ וויכטיק ראָלע אין אַ פאַרשיידנקייַט פון ינדאַסטריז. רעסעאַרטשערס און דעוועלאָפּערס זענען טריינג צו פֿאַרבעסערן די מאָדעלס צו זיין מער שטאַרק.
מיר קענען האָבן אַ ימפּרוווד קאַמפּריכענשאַן פון קאָנטעקסט און ימפּרוווד עפעקטיווקייַט און אַקיעראַסי. אויך, מיר קענען נוץ פון אַ מער ינטואַטיוו און סימלאַס באַניצער דערפאַרונג אויף פאַרשידן פּלאַטפאָרמס.
זיי קענען טוישן די וועג מיר יבערגעבן און דינגען מיט טעכנאָלאָגיע.
לאָזן אַ ענטפֿערן