Google მუდმივად რჩებოდა ხელოვნური ინტელექტის კვლევის წინა პლანზე, გამოიყენა თავისი უზარმაზარი რესურსები და დაასაქმა ტოპ-ნიჭიერი ინჟინრების მნიშვნელოვანი რაოდენობა. თუმცა, ენის მოდელების თვალსაზრისით, Google-ის მცდელობები თამაშში დაგვიანებით დასრულდა.
ტექნიკური გიგანტი მაიკროსოფტით უკვე სარგებლობდა OpenAI-სთან ნაყოფიერი პარტნიორობით, Google-ს სხვა არჩევანი არ ჰქონდა, გარდა დაეწია.
წლევანდელ Google I/O კონფერენციაზე კომპანიამ გამოაცხადა პასუხი გენერაციულ AI შეიარაღების რბოლაზე: PaLM 2. იქნება ეს ახალი მოდელი OpenAI-ს GPT-4-თან ერთად ეფექტურობით?
რა არის PalM 2?
Google აღწერს პალმ 2 როგორც უახლესი ენობრივი მოდელი, რომელიც აუმჯობესებს მათ არსებულ PaLM მოდელს, რომელიც პირველად გამოცხადდა 2022 წელს. სხვა ენობრივი მოდელების მსგავსად, PaLM 2-ს შეუძლია შეასრულოს ტექსტის გენერირების სხვადასხვა ამოცანები, როგორიცაა PaLM-ს შეუძლია ამოცანების ფართო სპექტრი. მათ შორის კითხვებზე პასუხის გაცემა, ტექსტის თარგმნა, კოდის გენერირება, და ბევრი სხვა.
ტესტებმა აჩვენა, რომ PaLM 2 უკვე ავლენს მნიშვნელოვან გაუმჯობესებას, აჯობებს PaLM მოდელს, ხოლო პარამეტრის გაცილებით ნაკლები რაოდენობის გამოყენებით.
PaLM 2 არის მოდელების ოჯახი
სხვა ენობრივი მოდელების მსგავსად, PaLM 2 პროექტი ფაქტობრივად არის მოდელების ოჯახი, რომელიც განსხვავდება ზომით. Google უზრუნველყოფს PaLM 2 მოდელს ოთხ ზომებში: გეკო, წავი, ბისონი და უნიკორნი.
ზომების მრავალფეროვნება აადვილებს PaLM 2-ის გამოყენებას სხვადასხვა გამოყენების შემთხვევაში. მაგალითად, Gecko მოდელი საკმარისად მსუბუქია, რომ მთელი მოდელი მოთავსდეს მობილურ მოწყობილობაში და ოფლაინშიც კი იმუშაოს.
PaLM 2-ის ტრენინგის მონაცემთა ნაკრები
წარმატებული ენის მოდელის ერთ-ერთი ყველაზე მნიშვნელოვანი ასპექტია სასწავლო მონაცემთა ნაკრები. ტრენინგის მონაცემთა ნაკრები საკმარისად მრავალფეროვანი უნდა იყოს, რათა მოდელს შეეძლოს ღრმად გაიგოს ის საგანი, რომლისთვისაც ის არის შექმნილი.
დიდი ენობრივი მოდელებისთვის (LLM), როგორც წესი, არ არსებობს კონკრეტული თემა, რომელზეც მოდელმა უნდა ივარჯიშოს. სანაცვლოდ, LLM-ები შექმნილია ზოგადი დანიშნულების მოდელებად, რომლებიც მორგებული უნდა იყვნენ დავალებების ფართო სპექტრის შესასრულებლად. ეს მოდელები იყენებენ დიდ ტექსტურ მონაცემთა ნაკრებებს, რომლებიც იჭერენ ინტერნეტის დიდ ნაწილს, ასევე გამოქვეყნებულ საცნობარო მასალას, ლიტერატურას და წყაროს კოდსაც კი.
ძირითადი განსხვავება PaLM 2-ის სასწავლო მონაცემთა ბაზასა და სხვა მოდელებს შორის არის არაინგლისური მონაცემების უფრო მაღალი პროცენტის ჩართვა. მათი მიხედვით ტექნიკური დასკვნა, მონაცემთა ბაზის გაფართოება არაინგლისური ტექსტების ჩათვლით, ავლენს მოდელს ენებისა და კულტურის უფრო ფართო არჩევანს.
PaLM 2 მოდელი ასევე გაწვრთნილი იყო პარალელურად მრავალენოვან მონაცემებზე, რათა დაეხმარა მოდელს დაეხმარა თარგმნოს ერთი ენიდან მეორეზე. მონაცემები მოიცავს ტექსტის წყვილებს, სადაც ერთი ჩანაწერი არის ინგლისურ ენაზე, ხოლო მეორე არის ექვივალენტური ტექსტი სხვა ენაზე.
ზემოთ მოყვანილი ცხრილი გვიჩვენებს მრავალენოვანი ვებ დოკუმენტების ენობრივ განაწილებას, რომლებიც გამოიყენება PaLM 2-ის მოსამზადებლად.
PaLM 2 ძირითადი მახასიათებლები
აქ მოცემულია რამდენიმე ძირითადი სფერო, რომლებშიც PaLM 2 გამოირჩევა სხვა ენობრივ მოდელებთან შედარებით.
მსჯელობა
PaLM 2-ის მონაცემთა ნაკრები მოიცავს ისეთ წყაროებს, როგორიცაა სამეცნიერო ნაშრომები და ვებ-კონტენტი მათემატიკური გამონათქვამებით. ეს აძლევს მოდელს გაუმჯობესებულ შესაძლებლობებს მათემატიკაში, საღი აზრის მსჯელობასა და ლოგიკაში.
მკვლევარებმა გამოსცადეს მოდელის მათემატიკური მსჯელობის შესაძლებლობები საკლასო და საშუალო სკოლის მათემატიკის კითხვებზე, სადაც ის აჩვენებს შედარებულ შედეგებს GPT-4-ის მათემატიკის შესაძლებლობებთან.
კოდირება
PaLM 2-ის სასწავლო მონაცემები ასევე აძლევს მას პროგრამირების სხვადასხვა ენაზე კოდის გენერირების შესაძლებლობას. PALM 2-ის გუნდმა შექმნა კოდირების სპეციფიკური PaLM 2 მოდელი, სახელად PaLM 2-S*, რომელიც გაწვრთნილი იყო კოდით მძიმე მრავალენოვან მონაცემთა ბაზაზე.
მოდელს არა მხოლოდ შეუძლია კოდის გენერირება, არამედ შეუძლია გაუმკლავდეს ამოცანებს, რომლებიც მოიცავს მრავალ ენას. მაგალითად, შეგიძლიათ სთხოვოთ PaLM 2-ს შექმნას პითონის დახარისხების ფუნქცია, რომელიც დაამატებს ხაზ-სტრიქონ კომენტარებს ესპანურად.
მრავალენოვნება
იმის გამო, რომ მოდელი სწავლობდა მონაცემთა ბაზაზე, რომელიც მოიცავს 100-ზე მეტ ენას, PaLM 2 აჩვენებს უნარს რამდენიმე ენაზე ტექსტის გაგებაში, გენერირებაში და თარგმნაში.
მულტილინგვურობის შესამოწმებლად მკვლევარებმა მოდელი გამოსცადეს სხვადასხვა ენის ცოდნის ტესტებზე სხვადასხვა ენაზე. შედეგები აჩვენებს, რომ არა მხოლოდ PaLM 2 აღემატება PaLM-ს, არამედ მიაღწია გამსვლელ შეფასებას ყველა შეფასებული ენისთვის.
PaLM 2 ასევე აჩვენებს თავის მრავალენოვან შესაძლებლობებს სხვადასხვა ენაზე იდიომების გაგების უნარით, ხუმრობების ახსნით, ბეჭდვითი შეცდომების გამოსწორებით და ასევე შეუძლია ისწავლოს ფორმალური ტექსტის გადაკეთება სასაუბრო ჩატში.
PaLM 2 აძლიერებს Google-ის პროდუქტებს
Google უკვე იყენებს PaLM 2-ის მიღწევებს მოდელის სხვა პროდუქტებთან ინტეგრირებით.
Bard
მოდელის უნარი გაუმკლავდეს მრავალენოვან ამოცანებს ახლა აძლიერებს Google-ს ბარდის ექსპერიმენტი რადგან ის ფართოვდება 180-ზე მეტ ქვეყანაში და ტერიტორიებზე.
ბარდი ახლა ასევე იყენებს PaLM 2-ის კოდირების შესაძლებლობებს, რათა დაეხმაროს პროგრამირებისა და პროგრამული უზრუნველყოფის შემუშავების ამოცანებს, როგორიცაა კოდის გენერირება და კოდის გამართვა.
დუეტი AI Google Workspace-ისთვის
Google ასევე გეგმავს გენერაციული AI ფუნქციების დამატებას Google Workspace აპლიკაციების ჯგუფში. Gmail და Docs მალე შეიცავენ ფუნქციას სახელწოდებით დუეტი AI რომელიც დაეხმარება მომხმარებელს შეადგინოს თავისი პასუხები და დაწეროს მოთხოვნის გამოყენებით.
Duet AI ასევე საშუალებას მისცემს მომხმარებლებს შექმნან მორგებული გეგმები Google Sheets-ში ამოცანებისა და პროექტებისთვის მომხმარებლის მიერ მიცემული მოთხოვნების საფუძველზე.
დასკვნა
Google ნამდვილად იმედოვნებს, რომ დაფარავს უფსკრული AI ენის ინსტრუმენტების ბაზარზე მათი PaLM 2 ენის მოდელით. მიუხედავად იმისა, რომ მოდელის API ჯერ არ არის საჯაროდ ხელმისაწვდომი, მათი კვლევის შედეგები აჩვენებს, რომ მოდელი საკმარისად კონკურენტუნარიანია GPT-4-ის მუშაობის შესატყვისად.
Google-ის არსებული მომხმარებელთა ბაზით, მათ რა თქმა უნდა აქვთ მასიური ადაპტაციის უპირატესობა, თუ მათი AI გახდება ინტეგრირებული მათ სერვისებში, როგორიცაა საძიებო სისტემა ან პროდუქტიულობის ინსტრუმენტების კომპლექტი.
დატოვე პასუხი