Google-ը մշտապես մնացել է արհեստական ինտելեկտի հետազոտության առաջատար դիրքերում՝ օգտագործելով իր հսկայական ռեսուրսները և աշխատանքի ընդունելով մեծ թվով բարձրակարգ ինժեներների: Այնուամենայնիվ, լեզվի մոդելների առումով Google-ի ջանքերը ուշացան խաղի համար:
Քանի որ տեխնոլոգիական հսկան Microsoft-ն արդեն շահում է OpenAI-ի հետ արդյունավետ համագործակցությունից, Google-ին այլ ելք չուներ, քան հասնել նրան:
Այս տարվա Google I/O կոնֆերանսում ընկերությունը հայտարարեց իր պատասխանը գեներատիվ AI սպառազինությունների մրցավազքին. PaLM 2: Արդյո՞ք այս նոր մոդելը կհամապատասխանի OpenAI-ի GPT-4-ի աշխատանքին:
Ի՞նչ է PalM 2-ը:
Google-ը նկարագրում է PalM 2 որպես գերժամանակակից լեզվական մոդել, որը բարելավում է իրենց գոյություն ունեցող PaLM մոդելը, որն առաջին անգամ հայտարարվել է 2022 թվականին: Լեզվական այլ մոդելների նման, PaLM 2-ն ի վիճակի է կատարել տեքստի ստեղծման տարբեր առաջադրանքներ, ինչպիսիք են՝ PaLM-ն ունակ է առաջադրանքների լայն շրջանակի: ներառյալ հարցերին պատասխանելը, տեքստի թարգմանությունը, գեներացնող կոդը, Եւ շատ ավելին.
Փորձարկումները ցույց են տվել, որ PaLM 2-ն արդեն ցույց է տալիս զգալի բարելավումներ՝ գերազանցելով PaLM մոդելը, մինչդեռ օգտագործելով շատ ավելի քիչ թվով պարամետրեր:
PaLM 2-ը մոդելների ընտանիք է
Ինչպես մյուս լեզուների մոդելները, PaLM 2 նախագիծն իրականում մոդելների ընտանիք է, որոնք տարբերվում են չափերով: Google-ը կտրամադրի PaLM 2 մոդելը չորս չափսերով՝ Gecko, Otter, Bison և Unicorn:
Չափերի բազմազանությունը հեշտացնում է PaLM 2-ի տեղադրումը տարբեր օգտագործման դեպքերում: Օրինակ, Gecko մոդելը բավականաչափ թեթև է, որ ամբողջ մոդելը կարող է տեղավորվել շարժական սարքի մեջ և նույնիսկ աշխատել անցանց:
PaLM 2-ի ուսուցման տվյալների հավաքածու
Հաջողակ լեզվի մոդելի ամենակարևոր ասպեկտներից մեկը վերապատրաստման տվյալների բազա. Ուսուցման տվյալների շտեմարանը պետք է բավականաչափ բազմազան լինի, որպեսզի մոդելը կարողանա խորը պատկերացում կազմել այն թեմայի վերաբերյալ, որի համար նախատեսված է:
Լեզուների մեծ մոդելների համար (LLM) սովորաբար չկա հատուկ թեմա, որի վրա մոդելը պետք է վերապատրաստվի: Փոխարենը LLM-ները ստեղծվել են որպես ընդհանուր նշանակության մոդելներ, որոնք պետք է հարմար լինեն մեծ թվով առաջադրանքներ կատարելու համար: Այս մոդելները օգտագործում են մեծ տեքստային տվյալների հավաքածուներ, որոնք գրավում են համացանցի մեծ մասը, ինչպես նաև հրապարակված տեղեկատու նյութեր, գրականություն և նույնիսկ սկզբնական կոդը:
PaLM 2-ի ուսուցման տվյալների բազայի և այլ մոդելների միջև հիմնական տարբերությունը ոչ անգլերեն տվյալների ավելի մեծ տոկոսի ընդգրկումն է: Ըստ իրենց տեխնիկական հաշվետվություն, ընդլայնելով տվյալների բազան՝ ներառելով ոչ անգլերեն տեքստեր, մոդելը բացահայտում է լեզուների և մշակույթների ավելի լայն տեսականի:
PaLM 2 մոդելը նաև վերապատրաստվել է զուգահեռ բազմալեզու տվյալների վրա՝ օգնելու մոդելին ձեռք բերել մի լեզվից մյուսը թարգմանելու կարողություն: Տվյալները ներառում են տեքստերի զույգեր, որտեղ մի մուտքն անգլերեն է, իսկ մյուսը համարժեք տեքստ է մեկ այլ լեզվով:
Վերևի աղյուսակը ցույց է տալիս բազմալեզու վեբ փաստաթղթերի լեզվական բաշխվածությունը, որոնք օգտագործվում են PaLM 2-ի վերապատրաստման համար:
PaLM 2-ի հիմնական առանձնահատկությունները
Ահա որոշ հիմնական ոլորտներ, որոնցում PaLM 2-ը գերազանցում է այլ լեզուների մոդելների համեմատ:
Փաստարկ
PaLM 2-ի տվյալների հավաքածուն ներառում է այնպիսի աղբյուրներ, ինչպիսիք են գիտական հոդվածները և վեբ բովանդակությունը մաթեմատիկական արտահայտություններով: Սա մոդելին տալիս է մաթեմատիկայի, ողջախոհության տրամաբանության և տրամաբանության բարելավված կարողություններ:
Հետազոտողները փորձարկել են մոդելի մաթեմատիկական պատճառաբանելու ունակությունները դասարանի և ավագ դպրոցի մաթեմատիկայի հարցերում, որտեղ այն ցույց է տալիս համեմատելի արդյունքներ GPT-4-ի մաթեմատիկական հնարավորությունների հետ:
Կոդավորում
PaLM 2-ի ուսուցման տվյալները նաև հնարավորություն են տալիս կոդ ստեղծել ծրագրավորման տարբեր լեզուներով: PALM 2 թիմը ստեղծել է PaLM 2-ի կոդավորման հատուկ մոդել, որը կոչվում է PaLM 2-S*, որը վերապատրաստվել է բազմալեզու տվյալների բազայի վրա:
Մոդելը ոչ միայն ի վիճակի է ստեղծել կոդ, այլ նաև կարող է կարգավորել բազմաթիվ լեզուներ ներառող առաջադրանքներ: Օրինակ, դուք կարող եք խնդրել PaLM 2-ին ստեղծել Python տեսակավորման ֆունկցիա, որն ավելացնում է տող առ տող մեկնաբանություններ իսպաներենով:
Բազմալեզուություն
Քանի որ մոդելը վերապատրաստվել է տվյալների բազայի վրա, որն ընդգրկում է ավելի քան 100 լեզու, PaLM 2-ը ցույց է տալիս տեքստը տարբեր լեզուներով հասկանալու, ստեղծելու և թարգմանելու հմտություններ:
Բազմալեզվությունը ստուգելու համար հետազոտողները մոդելը փորձարկել են տարբեր լեզուներով տարբեր լեզուների իմացության թեստերի վրա: Արդյունքները ցույց են տալիս, որ ոչ միայն PaLM 2-ը գերազանցում է PaLM-ին, այլև յուրաքանչյուր գնահատված լեզվի համար ստացել է անցողիկ գնահատական:
PaLM 2-ը նաև ցույց է տալիս իր բազմալեզու հնարավորությունները տարբեր լեզուներով իդիամները հասկանալու, կատակներ բացատրելու, տառասխալները շտկելու ունակությամբ և նույնիսկ կարող է սովորել, թե ինչպես փոխակերպել պաշտոնական տեքստը խոսակցական զրույցի:
PaLM 2-ն ապահովում է Google-ի արտադրանքները
Google-ն արդեն օգտվում է PaLM 2-ի առաջխաղացումներից՝ մոդելը ինտեգրելով այլ ապրանքների հետ:
Բարդ
Մոդելի բազմալեզու առաջադրանքները լուծելու ունակությունն այժմ հզորացնում է Google-ը Բարդի փորձ քանի որ այն ընդլայնվում է ավելի քան 180 երկրներում և տարածքներում:
Բարդն այժմ նաև օգտագործում է PaLM 2-ի կոդավորման հնարավորությունները՝ աջակցելու ծրագրավորման և ծրագրային ապահովման մշակման խնդիրներին, ինչպիսիք են կոդի ստեղծումը և կոդերի վրիպազերծումը:
Duet AI Google Workspace-ի համար
Google-ը նաև նախատեսում է ավելացնել գեներատիվ արհեստական ինտելեկտի գործառույթներ իր Google Workspace հավելվածների խմբին: Gmail-ը և Փաստաթղթերը շուտով կներառեն գործառույթ, որը կոչվում է Դուետ AI որը կօգնի օգտատիրոջը ձևակերպել իր պատասխանները և գրել հրահանգների միջոցով:
Duet AI-ն նաև թույլ կտա օգտատերերին ստեղծել անհատական պլաններ Google Sheets-ում առաջադրանքների և նախագծերի համար՝ օգտատիրոջ կողմից տրված հուշումների հիման վրա:
Եզրափակում
Google-ը, անշուշտ, հուսով է փակել AI լեզվի գործիքների շուկայում առկա բացը իրենց PaLM 2 լեզվական մոդելով: Թեև մոդելի sAPI-ն դեռ հանրությանը հասանելի չէ, նրանց հետազոտության արդյունքները ցույց են տալիս, որ մոդելը բավականաչափ մրցունակ է GPT-4-ի կատարողականին համապատասխանելու համար:
Google-ի գոյություն ունեցող օգտատերերի բազայի շնորհիվ նրանք, անշուշտ, ունեն զանգվածային հարմարվողականության առավելություն, եթե նրանց AI-ն ինտեգրվի նրանց ծառայություններին, ինչպիսիք են որոնման համակարգը կամ արտադրողականության գործիքների փաթեթը:
Թողնել գրառում