תוכן העניינים[להתחבא][הופעה]
מודלים של שפה גדולים הם מההתפתחויות האחרונות המרשימות ביותר בתחום תכנות השפה הטבעית ורשתות עצביות.
ה-GPT-3 של OpenAI בולט כאחד הדגמים בעלי הביצועים הטובים ביותר. לעתים קרובות אין להבחין בין הפלט של המודל לבין טקסט המגיע מבני אדם.
עם זאת, GPT-3 הוא עדיין מודל בקוד סגור. למרות שהוא חזק להפליא, ישנן מגבלות מסוימות שעלולות להפוך אותו ללא מתאים למקרי שימוש מסוימים.
במאמר זה, נעבור על כמה גדולים מודלים של שפה שיכול להתחרות בביצועים הגולמיים של GPT-3.
למה לחפש אלטרנטיבה של OpenAI GPT-3?
דגם GPT-3 של OpenAI משתמש במתקדם למידה עמוקה מודלים להפקת טקסט דמוי אדם. זהו מודל חיזוי השפה של הדור השלישי ממעבדת המחקר של OpenAI.
המודל שוחרר בתחילה כגרסת בטא סגורה לפני ש-OpenAI פתחה בסופו של דבר את ה-API לציבור בסוף 2021.
נכון לעכשיו, ל-GPT-3 יש ארבעה דגמי בסיס לבחירתך. עדה, הדגם הזול והמהיר ביותר עולה רק 0.0004$ ל-1000 אסימונים. הדגם החזק ביותר של OpenAI, Davinci, עולה $0.02 לכל 1000 אסימונים, או בערך פי 50 יקר יותר.
OpenAI גם דורש מהמפתח לעקוב אחר שלו הנחיות שימוש. המפתח יספק גם מכסת שימוש מוגבלת שניתן להגדיל לאחר אישור היישום של המפתח באמצעות תהליך בדיקה ידני.
בעוד שפלט ה-GPT-3 ידוע בזכות הפלט האיכותי שלו, הוא אינו מודל חיזוי השפה היחיד הזמין עבורך לשימוש.
בואו נעבור על כמה דגמים מתחרים שבהם תוכלו להשתמש כחלופה ל-GPT-3.
1. GPT-J
GPT-J הוא מודל שפת קוד פתוח של קבוצת Eleuther AI.
הביצועים של זריקת אפס הם בערך בדומה ל-GPT-3 והם הרבה יותר קרובים בביצועים מאשר יישומי GPT רבים אחרים.
המודל של יצירת טקסט אוטומטי של 6 מיליארד פרמטרים הוכשר על מערך נתונים המכונה "הערימה".
הערימה הוא למעשה שילוב של 22 מערכי נתונים קטנים יותר המשולבים יחד. יש לו גודל קובץ משולב של 825 GiB ונראה שיש לו דגש גדול יותר על מקורות אקדמיים ומקצועיים.
אתה יכול לבדוק את הדגם בעצמך באמצעות זה יישום אינטרנט בחינם.
הצלחתי לבדוק את הדגם עם הנחיה פשוטה. GPT-J הצליחה למנות את "הדרכים הטובות ביותר ללמוד שפה חדשה כיום".
עם זאת, הביצועים מעט נקודתיים כאשר ניסיתי לבקש ממנו להסביר מהו דגם של יצירת טקסט אוטורגרסיב.
למרות שהפלט היה הגיוני, הוא לא ממש ענה להנחיה בצורה משמעותית.
מחיר כרטיס
מכיוון ש-GPT-J הוא מודל קוד פתוח, אתה באמת יכול להפעיל מופע משלך בעצמך. על פי מאגר רשמי, הדגם מיועד לפעול על יחידת עיבוד טנזור (TPU). למרות שהיא אופטימלית, ייתכן שזו לא האפשרות המשתלמת ביותר מאז הזולה של גוגל עלות TPUs בענן בערך 4.50$ לשעה.
זה עשוי להיות פחות יקר בטווח הארוך להשתמש ב-GPU משלך או לשכור שרת GPU ייעודי באמצעות שירותים כמו Vast.ai or FluidStack.
2. יורה-1
Jurassic-1 הוא מודל שפה ששוחרר על ידי AI21 Labs, חברת AI ישראלית המתמחה ב-NLP. כמו OpenAI, הם מציעים גם API המאפשר לך לגשת למודל השפה שלהם.
אתה יכול ליצור חשבון אצלם אתר אינטרנט כדי לגשת לאפליקציית אינטרנט של מגרש משחקים כדי לבדוק את הדגם בעצמך.
הסטודיו AI21 כולל גם תכונה שבה אתה יכול לאמן ולשאול גרסאות מותאמות אישית משלך של דגמי Jurassic-1 שלהם. לפי א פוסט בבלוג הרשמי, מודלים מותאמים אישית עם חמישים דוגמאות בודדות יכולים להתעלות על הנדסה מיידית באמצעות המודל המקורי.
מחיר כרטיס
הם מציעים תמחור גמיש המבוסס על שימוש עבור כל אחד משלושת דגמי הבסיס שלהם. לדוגמה, הם גובים $0.25 עבור כל 1000 אסימונים שנוצרו על ידי המודל. בממוצע, כל אסימון הוא בערך מילה אחת או שישה תווים.
זה אומר שאתה יכול להשתמש במודל הטוב ביותר של AI21 כדי ליצור מסמך של 4000 מילים תמורת $1 בלבד. דבר אחד שאתה צריך לזכור עם זאת הוא שאתה עדיין צריך לשלם מינימום של $29 בכל חודש כדי להשתמש בדגם.
3. TextSynth
TextSynth הוא שירות אינטרנט נוסף של NLP שבו אתה יכול להשתמש כדי ליצור טקסט. בניגוד לשתי הדוגמאות הקודמות, TextSynth אינו מודל עצמאי. השירות פועל בכך שהוא נותן למשתמש גישה לדגמי שפות גדולים אחרים בקוד פתוח כמו GPT-NeoX, M2M100 ואפילו GPT-J.
מפתחים יכולים להשתמש בהם REST API לשלב את דגמי השפה ביישומים שלהם. אתה יכול לנסות לבדוק בחינם דף מגרש משחקים כדי לראות כיצד כל דגם זמין מתפקד.
מחיר כרטיס
התוכנית החינמית שלהם מעניקה לך גישה לכל דגמי השפה שלהם עם מגבלות תעריפים מסוימות. השירות מגביל כל בקשה לאורך של 200 אסימונים.
התוכנית הסטנדרטית מסירה את המגבלה על מספר האסימונים שנוצרו. מודל התמחור מבוסס על אשראי כדי למנוע הוצאות בלתי צפויות. המספר המינימלי של זיכויים לרכישה הוא $20. זיכויים שלא נוצלו אינם תקפים לאחר שנה.
המחיר של כל בקשה מבוסס על מספר הקלט והאסימונים שנוצרו. בהתבסס על הטבלה באתר הרשמי שלהם, אתה יכול לצפות לשלם בערך $0.75 עד $1.25 עבור השימוש בדגמים הזולים יותר שלהם.
סיכום
אני מקווה שמאמר זה יכול לעזור לך למצוא מודל שפה זול ויעיל שתוכל להשתמש בו בתור OpenAI GPT-3 חלופה.
מודלים של שפה גדולים הם חזקים מאוד וניתן להשתמש בהם למגוון משימות. ניתן להשתמש בהם כדי ליצור טקסט, לתרגם בין שפות ולהבין ולהגיב לשפה טבעית.
בהתבסס על המחקר שלי בחלל והבדיקות שערכתי, GPT-3 עדיין עולה על כל ביצועים אחרים מודל שפה גדול ניסיתי. עם זאת, זה עשוי להשתנות בעתיד כאשר החוקרים מפתחים ומשחררים דגמים חדשים.
חוקרים בגוגל, פייסבוק ומעבדות בינה מלאכותיות אחרות עדיין ימשיכו לעבוד על קידום ה-LMMs שלהם. בהחלט ייתכן שאחד מצוותי הבינה המלאכותית הללו ייצא עם דגם עדיף על GPT-3.
השאירו תגובה