טיש פון קאָנטענץ[באַהאַלטן][ווייַזן]
GPT-3, די גרויס נעוראַל נעץ פון דעם מאָמענט, איז ארויס מאי 2020 דורך OpenAI, די אַי סטאַרטאַפּ קאָ-געגרינדעט דורך עלאָן מוסק און סאַם אַלטמאַן. GPT-3 איז אַ מאָדערן שפּראַך מאָדעל מיט 175 ביליאָן פּאַראַמעטערס קאַמפּערד צו 1,5 ביליאָן פּאַראַמעטערס אין זיין פאָרויסגייער GPT-2.
GPT-3 איז העכער ווי מייקראָסאָפֿט NLG Turing מאָדעל (Turing Natural Language Generation), וואָס האט פריער געהאלטן די רעקאָרד פֿאַר די ביגאַסט נעוראַל נעץ מיט 17 ביליאָן פּאַראַמעטערס.
מען האָט געלויבט, קריטיקירט און אפילו אונטערזוכט דעם שפּראַך-מאָדעל; עס האט אויך ספּאָונד נייַ און ינטריגינג ניצט. און איצט עס זענען ריפּאָרץ אַז GPT-4, דער ווייַטער אַדישאַן פון די OpenAI שפּראַך מאָדעל, װע ט טאק ע באל ד קומע ן .
איר'ווע אנגעקומען צו די רעכט פּלאַץ אויב איר ווילן צו לערנען מער וועגן די GPT-4. מיר וועלן קוקן אין די GPT-4 אין-טיפקייַט אין דעם אַרטיקל, קאַווערינג זייַן פּאַראַמעטערס, ווי עס קאַמפּערז צו אנדערע מאָדעלס, און מער.
אַזוי, וואָס איז GPT-4?
צו פֿאַרשטיין די פאַרנעם פון GPT-4, מיר מוזן ערשטער פֿאַרשטיין GPT-3, זיין פּריקערסער. GPT-3 (גענעראַטיווע פאַר-טריינד טראַנספאָרמער, דריט דור) איז אַן אָטאַנאַמאַס אינהאַלט-דזשענערייטינג געצייַג.
יוזערז אַרייַן דאַטן אין אַ מאַשין וויסן מאָדעל, וואָס קענען דערנאָך פּראָדוצירן מאַסיוו אַמאַונץ פון באַטייַטיק שרייבן אין ענטפער, לויט OpenAI. GPT-4 וועט זיין פיל בעסער אין מולטיטאַסקינג אין ווייניק-שאָס טנאָים - אַ טיפּ פון מאַשין וויסן - ברענגען די אַוטקאַמז אפילו נעענטער צו די פון יומאַנז.
GPT-3 קאָס הונדערטער פון מיליאַנז פון פונט צו בויען, אָבער GPT-4 איז פּרעדיקטעד צו קאָסטן באטייטיק מער ווייַל עס וועט זיין פינף הונדערט מאל גרעסער אין וואָג. צו שטעלן דעם אין פּערספּעקטיוו,
GPT-4 קען האָבן ווי פילע קעראַקטעריסטיקס ווי סינאַפּסעס אין דעם מאַרך. GPT-4 וועט דער הויפּט נוצן די זעלבע מעטהאָדס ווי GPT-3, אַזוי אלא ווי אַ פּאַראַדיגם שפּרינגען, GPT-4 וועט יקספּאַנד אויף וואָס GPT-3 דערווייַל אַקאַמפּלישיז - אָבער מיט באטייטיק גרעסערע ינפעראַנס פיייקייט.
GPT-3 ערלויבט ניצערס צו אַרייַן נאַטירלעך שפּראַך פֿאַר פּראַקטיש צוועקן, אָבער עס נאָך דארף עטלעכע עקספּערטיז צו פּלאַן אַ פּינטלעך וואָס וואָלט געבן גוט רעזולטאַטן. GPT-4 וועט זיין פיל בעסער אין פּרידיקטינג די ינטענטשאַנז פון יוזערז.
וואָס וועט זיין די GPT-4 פּאַראַמעטערס?
טראָץ זיין איינער פון די מערסט וויידלי אַווייטאַד אַי אַדוואַנסיז, גאָרנישט איז באַוווסט וועגן GPT-4: ווי עס וועט קוקן ווי, וואָס קעראַקטעריסטיקס עס וועט האָבן און וואָס כוחות עס וועט האָבן.
לעצטע יאָר, אַלטמאַן האט אַ Q&A און אנטפלעקט עטלעכע דעטאַילס וועגן OpenAI ס אמביציעס פֿאַר GPT-4. עס וואָלט זיין ניט ביגער ווי GPT-3, לויט אַלטמאַן. GPT-4 איז אַנלייקלי צו זיין די מערסט וויידלי געניצט שפּראַך מאָדעל. כאָטש די מאָדעל וועט זיין ריזיק אין פאַרגלייַך מיט די פריערדיקע דורות נוראַל נעטוואָרקס, זייַן גרייס וועט נישט זיין זייַן דיסטינגגווישינג כאַראַקטעריסטיש. GPT-3 און Gopher זענען די מערסט גלייבלעך קאַנדאַדייץ (175B-280B).
Nvidia און Microsoft's Megatron-Turing NLG האָבן די רעקאָרד פֿאַר די דענסעסט נעוראַל נעץ פּאַראַמעטערס ביי 530B - דריי מאָל אַז פון GPT-3 - ביז לעצטנס ווען Google ס פּאַלם גענומען עס ביי 540B. סאַפּרייזינגלי, אַ פּלאַץ פון ווייניקערע מאָדעלס אַוטפּערפאָרמד די MT-NLG.
לויט אַ מאַכט-געזעץ פֿאַרבינדונג, OpenAI ס Jared Kaplan און קאָלעגעס באשלאסן אין 2020 אַז ווען פּראַסעסינג בודזשעט ינקריסאַז זענען מערסטנס פארבראכט אויף ינקריסינג די נומער פון פּאַראַמעטערס, די פאָרשטעלונג ימפּרוווז די גרעסטע. גוגל, נווידיאַ, מייקראָסאָפֿט, OpenAI, DeepMind און אנדערע שפּראַך מאָדעלינג קאָמפּאַניעס האָבן אָובידיאַנטלי נאכגעגאנגען די רעגיאַליישאַנז.
אַלטמאַן האָט אָנגעוויזן אַז זיי קאָנצענטרירן זיך ניט מער אויף קאַנסטראַקטינג מאַסיוו מאָדעלס, אָבער אלא אויף מאַקסאַמייזינג די פאָרשטעלונג פון קלענערער מאָדעלס.
OpenAI ריסערטשערז זענען פרי פּראַפּאָונאַנץ פון די סקיילינג כייפּאַטאַסאַס, אָבער זיי קען האָבן דיסקאַווערד אַז נאָך, ביז אַהער אַנדיסקאַווערד פּאַטס קען פירן צו העכער מאָדעלס. GPT-4 וועט נישט זיין באטייטיק גרעסער ווי GPT-3 פֿאַר די סיבות.
OpenAI וועט שטעלן אַ גרעסערע פאָקוס אויף אנדערע אַספּעקץ, אַזאַ ווי דאַטן, אַלגערידאַמז, פּאַראַמעטעריזאַטיאָן און אַליינמאַנט, וואָס האָבן די פּאָטענציעל צו געבן באַטייַטיק בענעפיץ מער געשווינד. מיר וועט האָבן צו וואַרטן און זען וואָס אַ מאָדעל מיט 100 ט פּאַראַמעטערס קענען טאָן.
Key Points:
- גרייס פון דעם מאָדעל: די GPT-4 וועט זיין ביגער ווי די GPT-3, אָבער נישט פיל (MT-NLG 530B און PaLM 540B). די גרייס פון דעם מאָדעל וועט זיין אַנרימאַרקאַבאַל.
- אָפּטימאַלאַטי: GPT-4 וועט נוצן מער רעסורסן ווי GPT-3. עס וועט ינסטרומענט נייַע אָפּטימאַליטי ינסייץ אין פּאַראַמעטעריזאַטיאָן (אָפּטימאַל כייפּערפּאַראַמאַטערז) און סקיילינג מעטהאָדס (די נומער פון טריינינג טאָקענס איז ווי וויכטיק ווי די מאָדעל גרייס).
- מולטימאָדאַליטי: די GPT-4 וועט בלויז קענען צו שיקן און באַקומען טעקסט אַרטיקלען (ניט מולטימאָדאַל). OpenAI זוכט צו שטופּן שפּראַך מאָדעלס צו זייער לימאַץ איידער יבערגאַנג צו מולטימאָדאַל מאָדעלס ווי DALLE 2, וואָס זיי פאָרויסזאָגן וועט יווענטשאַוואַלי יקסיד ונימאָדאַל סיסטעמען.
- ספּאַרקייט: GPT-4, ווי זיין פּרעדאַסעסערז GPT-2 און GPT-3, וועט זיין אַ געדיכט מאָדעל (אַלע פּאַראַמעטערס וועט זיין אין נוצן צו פּראָצעס קיין געגעבן אַרייַנשרייַב). אין דער צוקונפֿט, ספּאַרנאַס וועט ווערן מער וויכטיק.
- אַליינמאַנט: GPT-4 וועט צוגאַנג אונדז מער ענג ווי GPT-3. עס וועט שטעלן וואָס עס האט געלערנט פֿון InstructGPT, וואָס איז דעוועלאָפּעד מיט מענטשלעך אַרייַנשרייַב. נאָך, אַי קאַנווערדזשאַנס איז אַ לאַנג וועג אַוועק, און השתדלות זאָל זיין קערפאַלי אַססעססעד אלא ווי יגזאַדזשערייטיד.
סאָף
קינסטלעך אַלגעמיינע ינטעלליגענסע. דאָס איז אַ גרויס אָביעקטיוו, אָבער OpenAI דעוועלאָפּערס ארבעטן צו דערגרייכן עס. דער ציל פון AGI איז צו שאַפֿן אַ מאָדעל אָדער "אַגענט" וואָס איז ביכולת צו פֿאַרשטיין און טאָן אַלע אַקטיוויטעטן וואָס אַ מענטש קען.
GPT-4 קען זיין דער ווייַטער שריט אין דערגרייכן דעם ציל, און עס סאָונדס ווי עפּעס פֿון אַ וויסנשאַפֿט בעלעטריסטיק פֿילם. איר קען זיין וואַנדערינג ווי רעאַליסטיש עס איז צו דערגרייכן AGI.
מיר וועלן דערגרייכן דעם מיילסטאָון אין 2029, לויט Ray Kurzweil, Google ס דירעקטאָר פון אינזשעניריע. מיט דעם אין זינען, לאָזן אונדז נעמען אַ דיפּער קוק אין GPT-4 און די ראַמאַפאַקיישאַנז פון דעם מאָדעל ווען מיר באַקומען נעענטער צו AGI (אַרטיפיסיאַל אַלגעמיינע ינטעלליגענסע).
לאָזן אַ ענטפֿערן