Google ยังคงอยู่ในระดับแนวหน้าของการวิจัย AI อย่างต่อเนื่อง โดยใช้ประโยชน์จากทรัพยากรที่มีอยู่มากมายและว่าจ้างวิศวกรที่มีความสามารถระดับสูงจำนวนมาก อย่างไรก็ตาม ในแง่ของรูปแบบภาษา ความพยายามของ Google ล่าช้ากว่าเกม
เมื่อ Microsoft ยักษ์ใหญ่ด้านเทคโนโลยีได้รับประโยชน์จากการเป็นหุ้นส่วนที่ประสบความสำเร็จกับ OpenAI แล้ว Google จึงไม่มีทางเลือกอื่นนอกจากต้องตามให้ทัน
ในการประชุม Google I/O ปีนี้ บริษัทได้ประกาศคำตอบสำหรับการแข่งขันสร้างอาวุธ AI: PaLM 2 โมเดลใหม่นี้จะวัดประสิทธิภาพควบคู่ไปกับ GPT-4 ของ OpenAI หรือไม่
ปาล์ม 2 คืออะไร?
Google อธิบาย ปาล์ม 2 เป็นโมเดลภาษาที่ล้ำสมัยซึ่งปรับปรุงบนโมเดล PaLM ที่มีอยู่ซึ่งประกาศครั้งแรกในปี 2022 เช่นเดียวกับโมเดลภาษาอื่นๆ PaLM 2 สามารถทำงานสร้างข้อความได้หลากหลาย เช่น PaLM มีความสามารถในงานที่หลากหลาย รวมถึงการตอบคำถาม แปลข้อความ กำลังสร้างรหัสและอื่น ๆ อีกมากมาย
การทดสอบแสดงให้เห็นว่า PaLM 2 แสดงการปรับปรุงที่สำคัญแล้ว โดยมีประสิทธิภาพดีกว่ารุ่น PaLM ในขณะที่ใช้จำนวนพารามิเตอร์ที่น้อยกว่ามาก
PaLM 2 เป็นตระกูลโมเดล
เช่นเดียวกับโมเดลภาษาอื่นๆ โครงการ PaLM 2 เป็นตระกูลโมเดลที่มีขนาดต่างๆ กัน Google จะจัดเตรียมโมเดล PaLM 2 ในสี่ขนาด ได้แก่ Gecko, Otter, Bison และ Unicorn
ขนาดที่หลากหลายทำให้ง่ายต่อการปรับใช้ PaLM 2 ในกรณีการใช้งานต่างๆ ตัวอย่างเช่น รุ่น Gecko มีน้ำหนักเบาพอที่ทั้งรุ่นจะใส่ในอุปกรณ์เคลื่อนที่และใช้งานออฟไลน์ได้
ชุดข้อมูลการฝึกอบรมของ PaLM 2
สิ่งสำคัญที่สุดประการหนึ่งของโมเดลภาษาที่ประสบความสำเร็จคือ ชุดข้อมูลการฝึกอบรม. ชุดข้อมูลการฝึกอบรมต้องมีความหลากหลายเพียงพอเพื่อให้โมเดลมีความเข้าใจอย่างลึกซึ้งเกี่ยวกับหัวข้อที่ออกแบบไว้
สำหรับโมเดลภาษาขนาดใหญ่ (LLM) โดยทั่วไปจะไม่มีหัวข้อเฉพาะที่โมเดลต้องฝึกฝน LLMs นั้นถูกสร้างขึ้นมาเพื่อเป็นโมเดลที่ใช้งานทั่วไปซึ่งต้องเหมาะสมกับการทำงานจำนวนมาก โมเดลเหล่านี้ใช้ชุดข้อมูลข้อความขนาดใหญ่ที่รวบรวมเนื้อหาส่วนใหญ่ของเว็บ ตลอดจนเอกสารอ้างอิงที่เผยแพร่ วรรณกรรม และแม้แต่ซอร์สโค้ด
ความแตกต่างที่สำคัญระหว่างชุดข้อมูลการฝึกอบรมของ PaLM 2 กับรุ่นอื่นๆ คือการรวมข้อมูลที่ไม่ใช่ภาษาอังกฤษในเปอร์เซ็นต์ที่สูงกว่า ตามที่พวกเขา รายงานทางเทคนิคการขยายชุดข้อมูลเพื่อรวมข้อความที่ไม่ใช่ภาษาอังกฤษจะทำให้โมเดลมีภาษาและวัฒนธรรมที่หลากหลายมากขึ้น
แบบจำลอง PaLM 2 ยังได้รับการฝึกอบรมเกี่ยวกับข้อมูลหลายภาษาแบบคู่ขนานเพื่อช่วยให้แบบจำลองได้รับความสามารถในการแปลจากภาษาหนึ่งไปยังอีกภาษาหนึ่ง ข้อมูลประกอบด้วยคู่ของข้อความ โดยที่รายการหนึ่งเป็นภาษาอังกฤษ และอีกรายการหนึ่งเป็นข้อความเทียบเท่าในภาษาอื่น
ตารางด้านบนแสดงการกระจายภาษาของเอกสารเว็บหลายภาษาที่ใช้ในการฝึก PaLM 2
คุณสมบัติหลักของ PaLM 2
ต่อไปนี้คือประเด็นหลักบางส่วนที่ PaLM 2 เหนือกว่าเมื่อเปรียบเทียบกับโมเดลภาษาอื่นๆ
เหตุผล
ชุดข้อมูลของ PaLM 2 ประกอบด้วยแหล่งข้อมูลต่างๆ เช่น เอกสารทางวิทยาศาสตร์และเนื้อหาเว็บที่มีนิพจน์ทางคณิตศาสตร์ สิ่งนี้ทำให้แบบจำลองมีความสามารถที่ดีขึ้นในด้านคณิตศาสตร์ การให้เหตุผลตามสามัญสำนึก และตรรกะ
นักวิจัยได้ทดสอบความสามารถในการให้เหตุผลทางคณิตศาสตร์ของแบบจำลองกับคำถามทางคณิตศาสตร์ระดับประถมศึกษาและมัธยมศึกษาตอนปลาย ซึ่งแสดงผลลัพธ์ที่เทียบเคียงได้กับความสามารถทางคณิตศาสตร์ของ GPT-4
การเข้ารหัส
ข้อมูลการฝึกอบรมของ PaLM 2 ยังให้ความสามารถในการสร้างโค้ดในภาษาการเขียนโปรแกรมที่หลากหลาย ทีม PALM 2 ได้สร้างโมเดล PaLM 2 เฉพาะด้านการเข้ารหัสที่เรียกว่า PaLM 2-S* ซึ่งได้รับการฝึกฝนในชุดข้อมูลหลายภาษาที่มีโค้ดจำนวนมาก
โมเดลนี้ไม่เพียงแต่สามารถสร้างโค้ดเท่านั้น แต่ยังสามารถจัดการงานที่เกี่ยวข้องกับหลายภาษาได้อีกด้วย ตัวอย่างเช่น คุณสามารถขอให้ PaLM 2 สร้างฟังก์ชันการเรียงลำดับ Python ที่เพิ่มความคิดเห็นแบบบรรทัดต่อบรรทัดในภาษาสเปน
พูดได้หลายภาษา
เนื่องจากโมเดลได้รับการฝึกอบรมในชุดข้อมูลที่มีมากกว่า 100 ภาษา PaLM 2 จึงแสดงความสามารถในการทำความเข้าใจ สร้าง และแปลข้อความในหลายภาษา
เพื่อทดสอบการใช้หลายภาษา นักวิจัยได้ทดสอบแบบจำลองเกี่ยวกับการทดสอบความสามารถทางภาษาต่างๆ ในภาษาต่างๆ ผลลัพธ์แสดงให้เห็นว่าไม่เพียงแต่ PaLM 2 มีประสิทธิภาพดีกว่า PaLM เท่านั้น แต่ยังได้รับคะแนนสอบผ่านสำหรับทุกภาษาที่ได้รับการประเมินอีกด้วย
PaLM 2 ยังแสดงความสามารถหลายภาษาด้วยความสามารถในการเข้าใจสำนวนในภาษาต่างๆ อธิบายเรื่องตลก แก้คำผิด และยังสามารถเรียนรู้วิธีแปลงข้อความทางการเป็นการแชทภาษาพูด
PaLM 2 ขับเคลื่อนผลิตภัณฑ์ของ Google
Google ใช้ประโยชน์จากความก้าวหน้าของ PaLM 2 อยู่แล้วโดยการรวมโมเดลเข้ากับผลิตภัณฑ์อื่นๆ
นักประพันธ์เพลง
ความสามารถของโมเดลในการจัดการงานหลายภาษากำลังขับเคลื่อน Google การทดลองกวี ขณะที่ขยายไปยังกว่า 180 ประเทศและดินแดน
ตอนนี้ Bard ยังใช้ความสามารถในการเขียนโค้ดของ PaLM 2 เพื่อช่วยในการเขียนโปรแกรมและงานพัฒนาซอฟต์แวร์ เช่น การสร้างโค้ดและการดีบักโค้ด
Duet AI สำหรับ Google Workspace
Google ยังวางแผนที่จะเพิ่มฟีเจอร์ AI กำเนิดในกลุ่มแอปพลิเคชัน Google Workspace เร็วๆ นี้ Gmail และเอกสารจะรวมคุณลักษณะที่เรียกว่า ดูเอ็ท ไอ ที่จะช่วยให้ผู้ใช้ร่างการตอบกลับและการเขียนโดยใช้ข้อความแจ้ง
Duet AI ยังอนุญาตให้ผู้ใช้สร้างแผนแบบกำหนดเองใน Google ชีตสำหรับงานและโครงการตามคำแนะนำของผู้ใช้
สรุป
Google หวังเป็นอย่างยิ่งว่าจะปิดช่องว่างในตลาดเครื่องมือภาษา AI ด้วยโมเดลภาษา PaLM 2 แม้ว่า API ของโมเดลจะยังไม่เปิดเผยต่อสาธารณะ แต่ผลลัพธ์จากการวิจัยของพวกเขาแสดงให้เห็นว่าโมเดลนั้นสามารถแข่งขันได้มากพอที่จะเทียบเคียงกับประสิทธิภาพของ GPT-4
ด้วยฐานผู้ใช้ที่มีอยู่ของ Google พวกเขามีข้อได้เปรียบในการปรับตัวขนานใหญ่อย่างแน่นอน หาก AI ของพวกเขาถูกรวมเข้ากับบริการต่างๆ เช่น เครื่องมือค้นหาหรือชุดเครื่องมือเพิ่มประสิทธิภาพการทำงาน
เขียนความเห็น