תוכן העניינים[להתחבא][הופעה]
GPT-3, הרשת העצבית הגדולה של הרגע, פורסמה במאי 2020 על ידי OpenAI, סטארט-אפ בינה מלאכותית שהוקמה על ידי אילון מאסק וסם אלטמן. GPT-3 הוא מודל שפה חדשני עם 175 מיליארד פרמטרים לעומת 1,5 מיליארד פרמטרים בקודמו GPT-2.
GPT-3 גבר על מודל NLG Turing של מיקרוסופט (Turing Natural Language Generation), שהחזיק בעבר בשיא הרשת העצבית הגדולה ביותר עם 17 מיליארד פרמטרים.
מודל השפה זכה לשבחים, לביקורת ואף לביקורת; זה גם הוליד שימושים חדשים ומסקרנים. ועכשיו יש דיווחים ש-GPT-4, המהדורה הבאה של ה-OpenAI מודל שפה, אכן יגיע בקרוב.
הגעתם לאתר הנכון אם אתם רוצים ללמוד עוד על ה-GPT-4. נבחן את ה-GPT-4 לעומק במאמר זה, ונעסוק בפרמטרים שלו, איך הוא משתווה לדגמים אחרים ועוד.
אז מה זה GPT-4?
כדי להבין את היקף ה-GPT-4, עלינו להבין תחילה את GPT-3, המבשר שלו. GPT-3 (Generative Pre-trained Transformer, דור שלישי) הוא כלי ליצירת תוכן אוטונומי.
משתמשים מכניסים נתונים לתוך א למידת מכונה מודל, שיכול לאחר מכן לייצר כמויות אדירות של כתיבה רלוונטית בתגובה, על פי OpenAI. GPT-4 יהיה טוב משמעותית בריבוי משימות בתנאי צילום מעט - סוג של למידת מכונה - מקרב את התוצאות אפילו יותר לאלו של בני אדם.
GPT-3 עולה מאות מיליוני פאונד לבנות, אבל GPT-4 צפוי לעלות משמעותית יותר מכיוון שהוא יהיה גדול פי חמש מאות בקנה מידה. כדי לשים את זה בפרספקטיבה,
ל-GPT-4 עשויים להיות מאפיינים רבים כמו סינפסות במוח. GPT-4 ישתמש בעיקר באותן שיטות כמו GPT-3, ולכן במקום להיות קפיצת מדרגה, GPT-4 ירחיב על מה ש-GPT-3 משיג כיום - אך עם יכולת הסקת מסקנות גדולה משמעותית.
GPT-3 אפשר למשתמשים להזין שפה טבעית למטרות מעשיות, אך עדיין היה צורך במומחיות מסוימת כדי לעצב הנחיה שתניב תוצאות טובות. GPT-4 יהיה טוב יותר באופן משמעותי בניבוי כוונות המשתמשים.
מה יהיו הפרמטרים של GPT-4?
למרות היותה אחת מהתקדמות הבינה המלאכותית שהכי חיכו להן, שום דבר לא ידוע על GPT-4: איך הוא ייראה, אילו מאפיינים יהיו לו ואילו כוחות יהיו לו.
בשנה שעברה, אלטמן ערך שאלות ותשובות וחשף כמה פרטים על השאיפות של OpenAI עבור GPT-4. זה לא יהיה יותר גדול מ-GPT-3, לפי אלטמן. לא סביר להניח ש-GPT-4 יהיה הנפוץ ביותר מודל שפה. למרות שהדגם יהיה ענק בהשוואה לדורות הקודמים של רשתות עצביות, גודלו לא יהיה המאפיין המבחין שלו. GPT-3 ו-Gopher הם המועמדים הסבירים ביותר (175B-280B).
Nvidia ו-Megatron-Turing NLG של מיקרוסופט החזיקו בשיא של הרשת העצבית הצפופה ביותר פרמטרים ב-530B - פי שלושה מזה של GPT-3 - עד לאחרונה, כאשר ה-PaLM של גוגל לקח את זה ב-540B. באופן מפתיע, שורה של דגמים פחותים עלו על ה-MT-NLG.
על פי חיבור לחוק כוח, ג'ארד קפלן מ-OpenAI ועמיתיו קבעו ב-2020 שכאשר עיבוד הגדלת התקציב מושקעת בעיקר על הגדלת מספר הפרמטרים, הביצועים משתפרים ביותר. גוגל, Nvidia, Microsoft, OpenAI, DeepMind וחברות אחרות לבניית שפה פעלו על פי התקנות.
אלטמן ציינו שהם אינם מתרכזים עוד בבניית דגמים מסיביים, אלא במקסום הביצועים של דגמים קטנים יותר.
חוקרי OpenAI היו תומכים מוקדמים של השערת קנה המידה, אך ייתכן שהם גילו כי נתיבים נוספים שטרם התגלו עשויים להוביל למודלים מעולים. GPT-4 לא יהיה גדול משמעותית מ-GPT-3 מסיבות אלו.
OpenAI תתמקד יותר בהיבטים אחרים, כמו נתונים, אלגוריתמים, פרמטריזציה ויישור, שיש להם פוטנציאל להניב יתרונות משמעותיים מהר יותר. נצטרך לחכות ולראות מה דגם עם פרמטרים של 100T יכול לעשות.
נקודות מרכזיות:
- גודל הדגם: ה-GPT-4 יהיה גדול יותר מה-GPT-3, אבל לא בהרבה (MT-NLG 530B ו-PaLM 540B). גודל הדגם לא יהיה ראוי לציון.
- אופטימליות: GPT-4 ישתמש ביותר משאבים מאשר GPT-3. הוא יישם תובנות אופטימליות חדשות לגבי פרמטריזציה (פרמטרים אופטימליים) ושיטות קנה מידה (מספר אסימוני האימון חשוב לא פחות מגודל המודל).
- רב-מודאליות: ה-GPT-4 יוכל לשלוח ולקבל הודעות טקסט בלבד (לא מולטי-מודאלי). OpenAI מבקשת לדחוף מודלים של שפה לגבולותיהם לפני המעבר למודלים מולטי-מודאליים כמו לוח 2, שהם חוזים בסופו של דבר לעלות על מערכות לא מודאליות.
- דְלִילוּת: GPT-4, כמו קודמיו GPT-2 ו-GPT-3, יהיה דגם צפוף (כל הפרמטרים יהיו בשימוש לעיבוד כל קלט נתון). בעתיד, הדלילות תהפוך חשובה יותר.
- מערך: GPT-4 יתקרב אלינו יותר מ-GPT-3. זה ישים את מה שלמד מ-InstructGPT, שפותח עם קלט אנושי. ובכל זאת, התכנסות AI רחוקה, ויש להעריך את המאמצים בקפידה ולא להגזים.
סיכום
בינה כללית מלאכותית. זו מטרה גדולה, אבל מפתחי OpenAI עובדים כדי להשיג אותה. המטרה של AGI היא ליצור מודל או "סוכן" המסוגל להבין ולעשות כל פעילות שאדם יכול.
GPT-4 עשוי להיות השלב הבא בהשגת המטרה הזו, וזה נשמע כמו משהו מתוך סרט מדע בדיוני. אתה יכול לתהות עד כמה זה ריאלי להשיג AGI.
נגיע לציון הדרך הזה עד 2029, לדברי ריי קורצווייל, מנהל ההנדסה של גוגל. עם זאת בחשבון, בואו נסתכל לעומק על GPT-4 ועל ההשלכות של מודל זה ככל שאנו מתקרבים ל-AGI (בינה כללית מלאכותית).
השאירו תגובה