גוגל נשארה בעקביות בחזית המחקר בינה מלאכותית, ממנפת את משאביה העצומים ומעסיקה מספר ניכר של מהנדסים מוכשרים. עם זאת, מבחינת מודלים של שפה, המאמצים של גוגל איחרו למשחק.
כאשר ענקית הטכנולוגיה מיקרוסופט כבר נהנתה משותפות פורה עם OpenAI, לגוגל לא הייתה ברירה אלא להדביק את הפער.
בכנס Google I/O השנה הכריזה החברה על תשובתה למירוץ החימוש הגנרטיבי של AI: PaLM 2. האם הדגם החדש הזה יעמוד בביצועים לצד ה-GPT-4 של OpenAI?
מה זה PaLM 2?
גוגל מתאר PALM 2 כמודל שפה מתקדם המשתפר במודל ה-PaLM הקיים שלהם שהוכרז לראשונה בשנת 2022. בדומה למודלים של שפה אחרים, PaLM 2 מסוגל לבצע משימות יצירת טקסט שונות, כגון PaLM מסוגל לבצע מגוון רחב של משימות , כולל מענה על שאלות, תרגום טקסט, יצירת קוד, ועוד הרבה יותר.
בדיקות הראו שה-PaLM 2 כבר מציג שיפורים משמעותיים, ביצועים טובים יותר ממודל ה-PaLM תוך שימוש במספר נמוך בהרבה של פרמטרים.
PaLM 2 היא משפחת דוגמניות
כמו דגמי שפה אחרים, פרויקט PaLM 2 הוא למעשה משפחה של דגמים בטווח גודל. גוגל תספק את דגם ה-PaLM 2 בארבעה גדלים: שממית, אוטר, ביזון וחד קרן.
מגוון הגדלים מקל על פריסת PaLM 2 במקרים שימוש שונים. לדוגמה, דגם Gecko הוא קל משקל מספיק כדי שהדגם כולו יכול להתאים למכשיר נייד ואפילו לרוץ במצב לא מקוון.
מערך הדרכה של PaLM 2
אחד ההיבטים החשובים ביותר של מודל שפה מוצלח הוא מערך הדרכה. מערך ההדרכה חייב להיות מגוון מספיק כדי לאפשר למודל הבנה עמוקה של הנושא עבורו הוא מיועד.
עבור מודלים של שפה גדולה (LLMs), בדרך כלל אין נושא ספציפי שעל המודל להתאמן עליו. LLMs בנויים במקום זאת להיות מודלים לשימוש כללי שחייבים להיות מתאימים לביצוע מספר רב של משימות. מודלים אלה משתמשים במערכי נתונים טקסטואליים גדולים הלוכדים חלק גדול מהרשת, כמו גם חומרי עזר שפורסמו, ספרות ואפילו קוד מקור.
ההבדל העיקרי בין מערך ההדרכה של PaLM 2 למודלים אחרים הוא הכללת אחוז גבוה יותר של נתונים שאינם באנגלית. על פי שלהם דו"ח טכני, הרחבת מערך הנתונים כך שיכלול טקסטים שאינם אנגלים חושפת את המודל למגוון רחב יותר של שפות ותרבויות.
מודל PaLM 2 הוכשר גם על נתונים רב לשוניים מקבילים כדי לעזור למודל להשיג את היכולת לתרגם משפה אחת לאחרת. הנתונים כוללים צמדי טקסט כאשר ערך אחד הוא באנגלית והשני הוא טקסט שווה ערך בשפה אחרת.
הטבלה למעלה מציגה את התפלגות השפה של מסמכי האינטרנט הרב-לשוניים המשמשים לאימון PaLM 2.
תכונות עיקריות של PaLM 2
הנה כמה מהתחומים העיקריים שבהם PaLM 2 מצטיינת בהשוואה למודלים אחרים של שפות.
הַנמָקָה
מערך הנתונים של PaLM 2 כולל מקורות כגון מאמרים מדעיים ותוכן אינטרנט עם ביטויים מתמטיים. זה נותן למודל יכולות משופרות במתמטיקה, חשיבה בשכל הישר והיגיון.
החוקרים בדקו את יכולות החשיבה המתמטית של המודל בשאלות מתמטיקה של בית ספר תיכון ותיכון, שם הוא מציג תוצאות דומות ליכולות המתמטיקה של GPT-4.
סִמוּל
נתוני האימון של PaLM 2 מעניקים לו גם את היכולת ליצור קוד במגוון שפות תכנות. צוות PALM 2 יצר מודל PaLM 2 ספציפי לקידוד בשם PaLM 2-S* אשר הוכשר על מערך נתונים רב לשוני עתיר קוד.
לא רק שהמודל מסוגל ליצור קוד, אלא הוא גם מסוגל להתמודד עם משימות הכוללות מספר שפות. לדוגמה, אתה יכול לבקש מ-PaLM 2 ליצור פונקציית מיון של Python שמוסיפה הערות שורה אחר שורה בספרדית.
רב לשוניות
מאחר שהמודל הוכשר על מערך נתונים הכולל למעלה מ-100 שפות, PaLM 2 מראה מיומנות בהבנה, יצירה ותרגום של טקסט על פני מספר שפות.
כדי לבדוק רב לשוניות, החוקרים בדקו את המודל במבחני מיומנות שפה שונים בשפות שונות. התוצאות מראות שלא רק ש-PaLM 2 מתעלה על PaLM אלא גם השיגה ציון עובר עבור כל שפה מוערכת.
PaLM 2 גם מציג את היכולות הרב-לשוניות שלו על ידי יכולתו להבין ניבים בשפות שונות, להסביר בדיחות, לתקן שגיאות הקלדה, ואף ללמוד כיצד להמיר טקסט רשמי לצ'אט דיבורי.
PaLM 2 מניע את מוצרי Google
גוגל כבר מנצלת את ההתקדמות של PaLM 2 על ידי שילוב המודל עם מוצרים אחרים.
מְשׁוֹרֵר
היכולת של המודל להתמודד עם משימות רב-לשוניות מניעה כעת את זה של גוגל ניסוי בארד כשהיא מתרחבת ליותר מ-180 מדינות וטריטוריות.
Bard משתמש כעת גם ביכולות הקידוד של PaLM 2 כדי לסייע במשימות תכנות ופיתוח תוכנה כגון יצירת קוד ואיתור באגים בקוד.
Duet AI עבור Google Workspace
גוגל גם מתכננת להוסיף תכונות AI גנרטיביות לקבוצת האפליקציות שלה ב-Google Workspace. Gmail ו-Docs יכללו בקרוב תכונה בשם דואט AI שיעזור למשתמש לנסח את התשובות והכתיבה שלו באמצעות הנחיות.
Duet AI גם יאפשר למשתמשים ליצור תוכניות מותאמות אישית ב-Google Sheets עבור משימות ופרויקטים בהתבסס על הנחיות שניתן על ידי המשתמש.
סיכום
גוגל בוודאי מקווה לסגור את הפער בשוק של כלי שפת AI עם מודל השפה שלהם PaLM 2. בעוד שה-API של המודל עדיין לא זמין לציבור, התוצאות מהמחקר שלהם מראות שהמודל תחרותי מספיק כדי להתאים לביצועים של GPT-4.
עם בסיס המשתמשים הקיים של גוגל, יש להם ללא ספק את היתרון של התאמה מסיבית אם ה-AI שלהם ישתלב בשירותים שלהם כמו מנוע החיפוש שלהם או חבילת כלי הפרודוקטיביות שלהם.
השאירו תגובה