ಭಾಷೆಯ ಗುರುತಿಸುವಿಕೆ ಮತ್ತು ಪೀಳಿಗೆಗೆ ತರಬೇತಿ ಪಡೆದ ದೊಡ್ಡ ನರಮಂಡಲಗಳು ಇತ್ತೀಚಿನ ವರ್ಷಗಳಲ್ಲಿ ವಿವಿಧ ಕಾರ್ಯಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಫಲಿತಾಂಶಗಳನ್ನು ಪ್ರದರ್ಶಿಸಿವೆ. GPT-3 ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (LLMs) ಕೆಲವು-ಶಾಟ್ ಕಲಿಕೆಗಾಗಿ ಬಳಸಬಹುದೆಂದು ಸಾಬೀತುಪಡಿಸಿತು ಮತ್ತು ವ್ಯಾಪಕವಾದ ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಡೇಟಾ ಅಥವಾ ಮಾದರಿ ನಿಯತಾಂಕಗಳನ್ನು ಬದಲಾಯಿಸುವ ಅಗತ್ಯವಿಲ್ಲದೇ ಅತ್ಯುತ್ತಮ ಫಲಿತಾಂಶಗಳನ್ನು ಪಡೆಯಬಹುದು.
ಗೂಗಲ್, ಸಿಲಿಕಾನ್ ವ್ಯಾಲಿ ಟೆಕ್ ಬೆಹೆಮೊತ್, ಮುಂದಿನ ಪೀಳಿಗೆಯ AI-ಭಾಷೆಯ ಮಾದರಿಯಾಗಿ ಪ್ರಪಂಚದಾದ್ಯಂತದ ಟೆಕ್ ಉದ್ಯಮಕ್ಕೆ ಪಾಲ್ಎಮ್ ಅಥವಾ ಪಾಥ್ವೇಸ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್ ಅನ್ನು ಪರಿಚಯಿಸಿದೆ. ಗೂಗಲ್ ಹೊಸದನ್ನು ಸಂಯೋಜಿಸಿದೆ ಕೃತಕ ಬುದ್ಧಿವಂತಿಕೆ AI-ಭಾಷೆಯ ಮಾದರಿಯ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸುವ ಕಾರ್ಯತಂತ್ರದ ಗುರಿಯೊಂದಿಗೆ PALM ಗೆ ವಾಸ್ತುಶಿಲ್ಪ.
ಈ ಪೋಸ್ಟ್ನಲ್ಲಿ, ನಾವು ಪಾಮ್ ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ತರಬೇತಿ ಮಾಡಲು ಬಳಸುವ ನಿಯತಾಂಕಗಳು, ಅದು ಪರಿಹರಿಸುವ ಸಮಸ್ಯೆ ಮತ್ತು ಹೆಚ್ಚಿನದನ್ನು ಒಳಗೊಂಡಂತೆ ವಿವರವಾಗಿ ಪರಿಶೀಲಿಸುತ್ತೇವೆ.
ಏನದು Google ನ PalM ಅಲ್ಗಾರಿದಮ್?
ಪಾಥ್ವೇಸ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾದರಿ ಏನು ಪಾಲ್ಎಮ್ ನಿಂತಿದೆ. ಇದು ಪಾಥ್ವೇಸ್ ಎಐ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಬಲಪಡಿಸುವ ಸಲುವಾಗಿ ಗೂಗಲ್ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಹೊಸ ಅಲ್ಗಾರಿದಮ್ ಆಗಿದೆ. ಒಂದು ಮಿಲಿಯನ್ ವಿಭಿನ್ನ ಚಟುವಟಿಕೆಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಮಾಡುವುದು ರಚನೆಯ ಪ್ರಮುಖ ಗುರಿಯಾಗಿದೆ.
ಸಂಕೀರ್ಣ ಡೇಟಾವನ್ನು ಅರ್ಥೈಸಿಕೊಳ್ಳುವುದರಿಂದ ಹಿಡಿದು ಅನುಮಾನಾತ್ಮಕ ತಾರ್ಕಿಕತೆಯವರೆಗೆ ಎಲ್ಲವನ್ನೂ ಇವು ಒಳಗೊಂಡಿವೆ. ಭಾಷೆ ಮತ್ತು ತಾರ್ಕಿಕ ಕಾರ್ಯಗಳಲ್ಲಿ ಪ್ರಸ್ತುತ AI ಅತ್ಯಾಧುನಿಕ ಮತ್ತು ಮಾನವರನ್ನು ಮೀರಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು PalM ಹೊಂದಿದೆ.
ಇದು ಕೆಲವು-ಶಾಟ್ ಕಲಿಕೆಯನ್ನು ಒಳಗೊಂಡಿದೆ, ಇದು ಮಾನವರು ಹೊಸ ವಿಷಯಗಳನ್ನು ಹೇಗೆ ಕಲಿಯುತ್ತಾರೆ ಮತ್ತು ಹಿಂದೆಂದೂ ನೋಡಿರದ ಹೊಸ ಸವಾಲುಗಳನ್ನು ನಿಭಾಯಿಸಲು ಜ್ಞಾನದ ವೈವಿಧ್ಯಮಯ ಬಿಟ್ಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತಾರೆ, ಹೊಸ ಸವಾಲುಗಳನ್ನು ಪರಿಹರಿಸಲು ತನ್ನ ಎಲ್ಲಾ ಜ್ಞಾನವನ್ನು ಬಳಸುವ ಯಂತ್ರದ ಪ್ರಯೋಜನದೊಂದಿಗೆ; PalM ನಲ್ಲಿನ ಈ ಕೌಶಲ್ಯದ ಒಂದು ಉದಾಹರಣೆಯೆಂದರೆ ಅದು ಹಿಂದೆಂದೂ ಕೇಳಿರದ ಹಾಸ್ಯವನ್ನು ವಿವರಿಸುವ ಸಾಮರ್ಥ್ಯ.
ಭಾಷೆಯ ಗ್ರಹಿಕೆ ಮತ್ತು ರಚನೆ, ಮಲ್ಟಿಸ್ಟೆಪ್ ಅಂಕಗಣಿತದ ಕೋಡ್-ಸಂಬಂಧಿತ ಚಟುವಟಿಕೆಗಳು, ಸಾಮಾನ್ಯ-ಜ್ಞಾನದ ತಾರ್ಕಿಕತೆ, ಅನುವಾದ ಮತ್ತು ಇನ್ನೂ ಹೆಚ್ಚಿನವುಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ವಿವಿಧ ಸವಾಲಿನ ಕಾರ್ಯಗಳ ಮೇಲೆ ಪಾಲ್ಎಮ್ ಅನೇಕ ಪ್ರಗತಿ ಕೌಶಲ್ಯಗಳನ್ನು ಪ್ರದರ್ಶಿಸಿತು.
ಬಹುಭಾಷಾ NLP ಸೆಟ್ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಸಂಕೀರ್ಣ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಇದು ಪ್ರದರ್ಶಿಸಿದೆ. ಕಾರಣ ಮತ್ತು ಪರಿಣಾಮ, ಪರಿಕಲ್ಪನಾ ಸಂಯೋಜನೆಗಳು, ವಿಭಿನ್ನ ಆಟಗಳು ಮತ್ತು ಇತರ ಹಲವು ವಿಷಯಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸಲು ಪಾಲ್ಎಂ ಅನ್ನು ವಿಶ್ವಾದ್ಯಂತ ಟೆಕ್ ಮಾರುಕಟ್ಟೆ ಬಳಸಬಹುದು.
ಇದು ಬಹುಹಂತದ ತಾರ್ಕಿಕ ನಿರ್ಣಯ, ಆಳವಾದ ಭಾಷೆ, ಜಾಗತಿಕ ಜ್ಞಾನ ಮತ್ತು ಇತರ ತಂತ್ರಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಅನೇಕ ಸಂದರ್ಭಗಳಿಗೆ ಆಳವಾದ ವಿವರಣೆಯನ್ನು ಸಹ ರಚಿಸಬಹುದು.
Google palm ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಹೇಗೆ ಅಭಿವೃದ್ಧಿಪಡಿಸಿತು?
PalM ನಲ್ಲಿ Google ನ ಪ್ರಗತಿಯ ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ, ಮಾರ್ಗಗಳನ್ನು 540 ಶತಕೋಟಿ ನಿಯತಾಂಕಗಳವರೆಗೆ ಅಳೆಯಲು ನಿಗದಿಪಡಿಸಲಾಗಿದೆ. ಹಲವಾರು ಡೊಮೇನ್ಗಳಲ್ಲಿ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಮತ್ತು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಸಾಮಾನ್ಯೀಕರಿಸಬಹುದಾದ ಒಂದು ಮಾದರಿ ಎಂದು ಇದನ್ನು ಗುರುತಿಸಲಾಗಿದೆ. Google ನಲ್ಲಿನ ಮಾರ್ಗಗಳು ವೇಗವರ್ಧಕಗಳಿಗಾಗಿ ವಿತರಿಸಲಾದ ಕಂಪ್ಯೂಟಿಂಗ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಮೀಸಲಾಗಿವೆ.
ಪಾಲ್ಎಂ ಡಿಕೋಡರ್-ಮಾತ್ರ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಮಾದರಿಯಾಗಿದ್ದು, ಇದನ್ನು ಪಾಥ್ವೇಸ್ ಸಿಸ್ಟಮ್ ಬಳಸಿ ತರಬೇತಿ ನೀಡಲಾಗಿದೆ. Google ಪ್ರಕಾರ, ಹಲವಾರು ಕೆಲಸದ ಹೊರೆಗಳಲ್ಲಿ ಪಾಲ್ಎಮ್ ಅತ್ಯಾಧುನಿಕ ಕೆಲವು-ಶಾಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಸಾಧಿಸಿದೆ. ಮೊದಲ ಬಾರಿಗೆ 6144 ಚಿಪ್ಸ್ ಎಂದು ಕರೆಯಲ್ಪಡುವ ಅತಿದೊಡ್ಡ TPU-ಆಧಾರಿತ ಸಿಸ್ಟಮ್ ಕಾನ್ಫಿಗರೇಶನ್ಗೆ ತರಬೇತಿಯನ್ನು ವಿಸ್ತರಿಸಲು PaLM ಪಾಥ್ವೇಸ್ ವ್ಯವಸ್ಥೆಯನ್ನು ಬಳಸಿದೆ.
AI-ಭಾಷೆಯ ಮಾದರಿಗಾಗಿ ತರಬೇತಿ ಡೇಟಾಸೆಟ್ ಇಂಗ್ಲಿಷ್ ಮತ್ತು ಇತರ ಬಹುಭಾಷಾ ಡೇಟಾಸೆಟ್ಗಳ ಮಿಶ್ರಣದಿಂದ ಮಾಡಲ್ಪಟ್ಟಿದೆ. "ನಷ್ಟವಿಲ್ಲದ" ಶಬ್ದಕೋಶದೊಂದಿಗೆ, ಇದು ಉತ್ತಮ-ಗುಣಮಟ್ಟದ ವೆಬ್ ವಿಷಯ, ಚರ್ಚೆಗಳು, ಪುಸ್ತಕಗಳು, GitHub ಕೋಡ್, ವಿಕಿಪೀಡಿಯಾ ಮತ್ತು ಇನ್ನೂ ಹೆಚ್ಚಿನದನ್ನು ಒಳಗೊಂಡಿದೆ. ವೈಟ್ಸ್ಪೇಸ್ ಅನ್ನು ಉಳಿಸಿಕೊಳ್ಳಲು ಮತ್ತು ಶಬ್ದಕೋಶದಲ್ಲಿ ಇಲ್ಲದ ಯುನಿಕೋಡ್ ಅಕ್ಷರಗಳನ್ನು ಬೈಟ್ಗಳಾಗಿ ಒಡೆಯಲು ನಷ್ಟವಿಲ್ಲದ ಶಬ್ದಕೋಶವನ್ನು ಗುರುತಿಸಲಾಗಿದೆ.
ಪ್ರಮಾಣಿತ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಮಾದರಿಯ ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು ಸ್ವಿಗ್ಲು ಆಕ್ಟಿವೇಶನ್, ಪ್ಯಾರಲಲ್ ಲೇಯರ್ಗಳು, ರೋಪ್ ಎಂಬೆಡಿಂಗ್ಗಳು, ಹಂಚಿದ ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ ಎಂಬೆಡಿಂಗ್ಗಳು, ಬಹು-ಪ್ರಶ್ನೆ ಗಮನ, ಮತ್ತು ಯಾವುದೇ ಪಕ್ಷಪಾತಗಳು ಅಥವಾ ಶಬ್ದಕೋಶವನ್ನು ಒಳಗೊಂಡಿರುವ ಡಿಕೋಡರ್ ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು PaLM ಅನ್ನು Google ಮತ್ತು ಪಾತ್ವೇಸ್ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದೆ. ಮತ್ತೊಂದೆಡೆ, ಪಾಲ್ಎಮ್, ಗೂಗಲ್ ಮತ್ತು ಪಾಥ್ವೇಸ್ನ ಎಐ-ಭಾಷೆಯ ಮಾದರಿಗೆ ಘನ ಆಧಾರವನ್ನು ಒದಗಿಸಲು ಸಿದ್ಧವಾಗಿದೆ.
ಪಾಲ್ಎಮ್ ಅನ್ನು ತರಬೇತಿ ಮಾಡಲು ಬಳಸುವ ನಿಯತಾಂಕಗಳು
ಕಳೆದ ವರ್ಷ, ಗೂಗಲ್ ಪಾಥ್ವೇಸ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿತು, ಇದು ಸಾವಿರಾರು, ಇಲ್ಲದಿದ್ದರೆ ಮಿಲಿಯನ್ಗಟ್ಟಲೆ ಕೆಲಸಗಳನ್ನು ಮಾಡಲು ತರಬೇತಿ ನೀಡಬಹುದಾದ ಏಕೈಕ ಮಾದರಿಯಾಗಿದೆ - "ಮುಂದಿನ ಪೀಳಿಗೆಯ AI ಆರ್ಕಿಟೆಕ್ಚರ್" ಎಂದು ಹೆಸರಿಸಲಾಗಿದೆ ಏಕೆಂದರೆ ಇದು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಮಾದರಿಗಳ ಮಿತಿಗಳನ್ನು ಮಾತ್ರ ಮಾಡಲು ತರಬೇತಿ ನೀಡುತ್ತದೆ. . ಪ್ರಸ್ತುತ ಮಾದರಿಗಳ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ವಿಸ್ತರಿಸುವ ಬದಲು, ಒಂದೇ ಕೆಲಸವನ್ನು ಸಾಧಿಸಲು ಹೊಸ ಮಾದರಿಗಳನ್ನು ಹೆಚ್ಚಾಗಿ ಕೆಳಗಿನಿಂದ ನಿರ್ಮಿಸಲಾಗುತ್ತದೆ.
ಪರಿಣಾಮವಾಗಿ, ಅವರು ಹತ್ತು ಸಾವಿರ ವಿವಿಧ ಚಟುವಟಿಕೆಗಳಿಗೆ ಹತ್ತು ಸಾವಿರ ಮಾದರಿಗಳನ್ನು ರಚಿಸಿದ್ದಾರೆ. ಇದು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುವ ಮತ್ತು ಸಂಪನ್ಮೂಲ-ತೀವ್ರವಾದ ಕಾರ್ಯವಾಗಿದೆ.
ಒಂದೇ ಮಾದರಿಯು ವಿವಿಧ ಚಟುವಟಿಕೆಗಳನ್ನು ನಿಭಾಯಿಸುತ್ತದೆ ಮತ್ತು ಹೊಸ ಕಾರ್ಯಗಳನ್ನು ಹೆಚ್ಚು ತ್ವರಿತವಾಗಿ ಮತ್ತು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಕಲಿಯಲು ಪ್ರಸ್ತುತ ಪ್ರತಿಭೆಗಳನ್ನು ಸೆಳೆಯುತ್ತದೆ ಮತ್ತು ಸಂಯೋಜಿಸುತ್ತದೆ ಎಂದು Google ಪಾಥ್ವೇಸ್ ಮೂಲಕ ಸಾಬೀತುಪಡಿಸಿದೆ.
ಏಕಕಾಲದಲ್ಲಿ ದೃಷ್ಟಿ, ಭಾಷಾ ಗ್ರಹಿಕೆ ಮತ್ತು ಶ್ರವಣೇಂದ್ರಿಯ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಬಹುಮಾದರಿ ಮಾದರಿಗಳನ್ನು ಮಾರ್ಗಗಳ ಮೂಲಕ ಸಕ್ರಿಯಗೊಳಿಸಬಹುದು. ಪಾತ್ವೇಸ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್ (PaLM) ಹಲವಾರು TPU v4 ಪಾಡ್ಗಳಾದ್ಯಂತ ಒಂದೇ ಮಾದರಿಯ ತರಬೇತಿಯನ್ನು ಅದರ 540 ಶತಕೋಟಿ ಪ್ಯಾರಾಮೀಟರ್ ಮಾದರಿಗೆ ಧನ್ಯವಾದಗಳು.
ಪಾಲ್ಎಮ್, ದಟ್ಟವಾದ ಡಿಕೋಡರ್-ಮಾತ್ರ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಮಾದರಿ, ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಕೆಲಸದ ಹೊರೆಗಳಲ್ಲಿ ಅತ್ಯಾಧುನಿಕ ಕೆಲವು-ಶಾಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೀರಿಸುತ್ತದೆ. ಡೇಟಾ ಸೆಂಟರ್ ನೆಟ್ವರ್ಕ್ (DCN) ಮೂಲಕ ಲಿಂಕ್ ಮಾಡಲಾದ ಎರಡು TPU v4 ಪಾಡ್ಗಳ ಮೇಲೆ PalM ತರಬೇತಿ ನೀಡಲಾಗುತ್ತಿದೆ.
ಇದು ಮಾದರಿ ಮತ್ತು ಡೇಟಾ ಸಮಾನಾಂತರತೆಯ ಲಾಭವನ್ನು ಪಡೆಯುತ್ತದೆ. ಸಂಶೋಧಕರು 3072 TPU v4 ಪ್ರೊಸೆಸರ್ಗಳನ್ನು PaLM ಗಾಗಿ ಪ್ರತಿ ಪಾಡ್ನಲ್ಲಿ ಬಳಸಿಕೊಂಡರು, ಇವುಗಳನ್ನು 768 ಹೋಸ್ಟ್ಗಳಿಗೆ ಸಂಪರ್ಕಿಸಲಾಗಿದೆ. ಸಂಶೋಧಕರ ಪ್ರಕಾರ, ಇದು ಇನ್ನೂ ಬಹಿರಂಗಪಡಿಸಿದ ಅತಿದೊಡ್ಡ TPU ಕಾನ್ಫಿಗರೇಶನ್ ಆಗಿದೆ, ಇದು ಪೈಪ್ಲೈನ್ ಸಮಾನಾಂತರತೆಯನ್ನು ಬಳಸದೆಯೇ ತರಬೇತಿಯನ್ನು ಅಳೆಯಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
ಪೈಪ್ ಲೈನಿಂಗ್ ಎನ್ನುವುದು ಸಾಮಾನ್ಯವಾಗಿ ಪೈಪ್ಲೈನ್ ಮೂಲಕ CPU ನಿಂದ ಸೂಚನೆಗಳನ್ನು ಸಂಗ್ರಹಿಸುವ ಪ್ರಕ್ರಿಯೆಯಾಗಿದೆ. ಮಾದರಿಯ ಪದರಗಳನ್ನು ಹಂತಗಳಾಗಿ ವಿಂಗಡಿಸಲಾಗಿದೆ, ಪೈಪ್ಲೈನ್ ಮಾದರಿ ಸಮಾನಾಂತರತೆ (ಅಥವಾ ಪೈಪ್ಲೈನ್ ಸಮಾನಾಂತರತೆ) ಮೂಲಕ ಸಮಾನಾಂತರವಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದು.
ಒಂದು ಹಂತವು ಮೈಕ್ರೋ-ಬ್ಯಾಚ್ಗಾಗಿ ಫಾರ್ವರ್ಡ್ ಪಾಸ್ ಅನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದಾಗ ಸಕ್ರಿಯಗೊಳಿಸುವ ಮೆಮೊರಿಯನ್ನು ಮುಂದಿನ ಹಂತಕ್ಕೆ ಕಳುಹಿಸಲಾಗುತ್ತದೆ. ಕೆಳಗಿನ ಹಂತವು ಅದರ ಹಿಂದುಳಿದ ಪ್ರಸರಣವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದಾಗ ಗ್ರೇಡಿಯಂಟ್ಗಳನ್ನು ನಂತರ ಹಿಂದಕ್ಕೆ ಕಳುಹಿಸಲಾಗುತ್ತದೆ.
ಪಾಲ್ಎಮ್ ಬ್ರೇಕ್ಥ್ರೂ ಸಾಮರ್ಥ್ಯಗಳು
PaLM ಕಷ್ಟಕರವಾದ ಕಾರ್ಯಗಳ ಶ್ರೇಣಿಯಲ್ಲಿ ನೆಲ-ಮುರಿಯುವ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ. ಇಲ್ಲಿ ಹಲವಾರು ಉದಾಹರಣೆಗಳಿವೆ:
1. ಭಾಷೆಯ ರಚನೆ ಮತ್ತು ತಿಳುವಳಿಕೆ
ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ 29 ವಿಭಿನ್ನ NLP ಕಾರ್ಯಗಳ ಮೇಲೆ PalM ಅನ್ನು ಪರೀಕ್ಷೆಗೆ ಒಳಪಡಿಸಲಾಯಿತು.
ಕೆಲವು-ಶಾಟ್ ಆಧಾರದ ಮೇಲೆ, PALM 540B ಹಿಂದಿನ ದೊಡ್ಡ ಮಾದರಿಗಳಾದ GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, ಮತ್ತು LaMDA ಅನ್ನು 28 ರಲ್ಲಿ 29 ರಲ್ಲಿ XNUMX ಕಾರ್ಯಗಳಲ್ಲಿ, ಓಪನ್-ಡೊಮೈನ್ ಕ್ಲೋಸ್ಡ್-ಬುಕ್ ವೇರಿಯಂಟ್ ಪ್ರಶ್ನೆ-ಉತ್ತರ ನೀಡುವ ಕಾರ್ಯಗಳನ್ನು ಮೀರಿಸಿದೆ. , ಕ್ಲೋಜ್ ಮತ್ತು ವಾಕ್ಯ-ಮುಗಿಸುವ ಕಾರ್ಯಗಳು, ವಿನೋಗ್ರಾಡ್-ಶೈಲಿಯ ಕಾರ್ಯಗಳು, ಸನ್ನಿವೇಶದಲ್ಲಿ ಓದುವ ಕಾಂಪ್ರಹೆನ್ಷನ್ ಕಾರ್ಯಗಳು, ಕಾಮನ್ಸೆನ್ಸ್ ತಾರ್ಕಿಕ ಕಾರ್ಯಗಳು, ಸೂಪರ್ಗ್ಲೂ ಕಾರ್ಯಗಳು ಮತ್ತು ನೈಸರ್ಗಿಕ ನಿರ್ಣಯ.
ಹಲವಾರು ಬಿಗ್-ಬೆಂಚ್ ಕಾರ್ಯಗಳಲ್ಲಿ, ಪಾಲ್ಎಮ್ ಅತ್ಯುತ್ತಮ ನೈಸರ್ಗಿಕ ಭಾಷಾ ವ್ಯಾಖ್ಯಾನ ಮತ್ತು ಪೀಳಿಗೆಯ ಕೌಶಲ್ಯಗಳನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಮಾದರಿಯು ಕಾರಣ ಮತ್ತು ಪರಿಣಾಮದ ನಡುವೆ ವ್ಯತ್ಯಾಸವನ್ನು ಗುರುತಿಸಬಹುದು, ಕೆಲವು ಸಂದರ್ಭಗಳಲ್ಲಿ ಪರಿಕಲ್ಪನಾ ಸಂಯೋಜನೆಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬಹುದು ಮತ್ತು ಎಮೋಜಿಯಿಂದ ಚಲನಚಿತ್ರವನ್ನು ಊಹಿಸಬಹುದು. ತರಬೇತಿ ಕಾರ್ಪಸ್ನ ಕೇವಲ 22% ಇಂಗ್ಲಿಷ್ ಅಲ್ಲದಿದ್ದರೂ ಸಹ, ಇಂಗ್ಲಿಷ್ NLP ಕಾರ್ಯಗಳ ಜೊತೆಗೆ ಭಾಷಾಂತರ ಸೇರಿದಂತೆ ಬಹುಭಾಷಾ NLP ಮಾನದಂಡಗಳಲ್ಲಿ PalM ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.
2. ತಾರ್ಕಿಕ ಕ್ರಿಯೆ
ಬಹುಹಂತದ ಅಂಕಗಣಿತ ಅಥವಾ ಕಾಮನ್ಸೆನ್ಸ್ ತಾರ್ಕಿಕತೆಯ ಅಗತ್ಯವಿರುವ ತಾರ್ಕಿಕ ಸವಾಲುಗಳ ಮೇಲೆ ಪ್ರಗತಿಯ ಕೌಶಲ್ಯಗಳನ್ನು ಪ್ರದರ್ಶಿಸಲು ಪ್ರೇರೇಪಿಸುವ ಚೈನ್-ಆಫ್-ಥಾಟ್ನೊಂದಿಗೆ ಪಾಲ್ಎಂ ಮಾದರಿ ಗಾತ್ರವನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ.
ಗೋಫರ್ನಂತಹ ಹಿಂದಿನ ಎಲ್ಎಲ್ಎಂಗಳು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೆಚ್ಚಿಸುವ ದೃಷ್ಟಿಯಿಂದ ಮಾದರಿ ಗಾತ್ರದಿಂದ ಕಡಿಮೆ ಪ್ರಯೋಜನವನ್ನು ಪಡೆದಿವೆ. ಚೈನ್-ಆಫ್-ಥಾಟ್ ಪ್ರಾಂಪ್ಟಿಂಗ್ನೊಂದಿಗೆ PaLM 540B ಮೂರು ಅಂಕಗಣಿತ ಮತ್ತು ಎರಡು ಕಾಮನ್ಸೆನ್ಸ್ ಥಿಂಕಿಂಗ್ ಡೇಟಾಸೆಟ್ಗಳಲ್ಲಿ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿತು.
55 ಸಮಸ್ಯೆಗಳ ತರಬೇತಿ ಸೆಟ್ನೊಂದಿಗೆ GPT-3 175B ಮಾದರಿಯನ್ನು ಉತ್ತಮ-ಟ್ಯೂನ್ ಮಾಡುವ ಮೂಲಕ ಮತ್ತು ಅದನ್ನು GSM7500K ನಲ್ಲಿನ 58 ಪ್ರತಿಶತ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಬಾಹ್ಯ ಕ್ಯಾಲ್ಕುಲೇಟರ್ ಮತ್ತು ಪರಿಶೀಲಕದೊಂದಿಗೆ ಸಂಯೋಜಿಸುವ ಮೂಲಕ ಹಿಂದಿನ ಅತ್ಯುತ್ತಮ ಸ್ಕೋರ್ 8% ಅನ್ನು PaLM ಮೀರಿಸುತ್ತದೆ, a 8-ಶಾಟ್ ಪ್ರಾಂಪ್ಟಿಂಗ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಸಾವಿರಾರು ಕಷ್ಟಕರ ದರ್ಜೆಯ ಶಾಲಾ ಮಟ್ಟದ ಗಣಿತ ಪ್ರಶ್ನೆಗಳ ಮಾನದಂಡ.
ಈ ಹೊಸ ಸ್ಕೋರ್ ವಿಶೇಷವಾಗಿ ಗಮನಾರ್ಹವಾಗಿದೆ ಏಕೆಂದರೆ ಇದು 60-9 ವರ್ಷ ವಯಸ್ಸಿನವರು ಅನುಭವಿಸುವ ಅಡೆತಡೆಗಳ ಸರಾಸರಿ 12% ಅನ್ನು ತಲುಪುತ್ತದೆ. ಇದು ಇಂಟರ್ನೆಟ್ನಲ್ಲಿ ಲಭ್ಯವಿಲ್ಲದ ಮೂಲ ಹಾಸ್ಯಗಳಿಗೆ ಸಹ ಪ್ರತಿಕ್ರಿಯಿಸಬಹುದು.
3. ಕೋಡ್ ಜನರೇಷನ್
ನೈಸರ್ಗಿಕ ಭಾಷಾ ವಿವರಣೆಯಿಂದ (ಪಠ್ಯದಿಂದ ಕೋಡ್ಗೆ) ಕೋಡ್ ಅನ್ನು ರಚಿಸುವುದು, ಭಾಷೆಗಳ ನಡುವೆ ಕೋಡ್ ಅನ್ನು ಭಾಷಾಂತರಿಸುವುದು ಮತ್ತು ಸಂಕಲನ ದೋಷಗಳನ್ನು ಪರಿಹರಿಸುವುದು ಸೇರಿದಂತೆ ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳಲ್ಲಿ LLMಗಳು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಎಂದು ತೋರಿಸಲಾಗಿದೆ. ಪೂರ್ವ-ತರಬೇತಿ ಡೇಟಾಸೆಟ್ನಲ್ಲಿ ಕೇವಲ 5% ಕೋಡ್ ಅನ್ನು ಹೊಂದಿದ್ದರೂ, ಒಂದೇ ಮಾದರಿಯಲ್ಲಿ ಪಾಲ್ಎಮ್ 540 ಬಿ ಕೋಡಿಂಗ್ ಮತ್ತು ನೈಸರ್ಗಿಕ ಭಾಷಾ ಕಾರ್ಯಗಳೆರಡರಲ್ಲೂ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.
ಇದರ ಕೆಲವು-ಶಾಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯು ನಂಬಲಸಾಧ್ಯವಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು 12 ಪಟ್ಟು ಕಡಿಮೆ ಪೈಥಾನ್ ಕೋಡ್ನೊಂದಿಗೆ ತರಬೇತಿ ಮಾಡುವಾಗ ಉತ್ತಮ-ಟ್ಯೂನ್ ಮಾಡಲಾದ ಕೋಡೆಕ್ಸ್ 50B ಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ. ದೊಡ್ಡ ಮಾದರಿಗಳು ಚಿಕ್ಕ ಮಾದರಿಗಳಿಗಿಂತ ಹೆಚ್ಚು ಮಾದರಿ ದಕ್ಷತೆಯನ್ನು ಹೊಂದಬಹುದು ಎಂಬ ಹಿಂದಿನ ಸಂಶೋಧನೆಗಳೊಂದಿಗೆ ಈ ಸಂಶೋಧನೆಯು ಬೆನ್ನುಮೂಳೆಯುತ್ತದೆ ಏಕೆಂದರೆ ಅವುಗಳು ಬಹುವಿಧದಿಂದ ಕಲಿಕೆಯನ್ನು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ವರ್ಗಾಯಿಸಬಹುದು. ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳು ಮತ್ತು ಸರಳ ಭಾಷೆಯ ಡೇಟಾ.
ತೀರ್ಮಾನ
ದಟ್ಟವಾದ ಡಿಕೋಡರ್-ಮಾತ್ರ ಟ್ರಾನ್ಸ್ಫಾರ್ಮರ್ ಮಾದರಿಯ ಚೆನ್ನಾಗಿ ಅಧ್ಯಯನ ಮಾಡಿದ, ಸುಸ್ಥಾಪಿತವಾದ ಪಾಕವಿಧಾನದೊಂದಿಗೆ 4-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾದರಿಯನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ತರಬೇತಿ ನೀಡುವ ಮೂಲಕ ಎರಡು TPU v540 ಪಾಡ್ಗಳ ಮೇಲೆ ಸಾವಿರಾರು ವೇಗವರ್ಧಕ ಪ್ರೊಸೆಸರ್ಗಳಿಗೆ ಅಳೆಯುವ ಪಾಥ್ವೇಸ್ ಸಿಸ್ಟಮ್ನ ಸಾಮರ್ಥ್ಯವನ್ನು PaLM ತೋರಿಸುತ್ತದೆ.
ಇದು ಮಾದರಿ ಪ್ರಮಾಣದ ಮಿತಿಗಳನ್ನು ತಳ್ಳುವ ಮೂಲಕ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆ, ತಾರ್ಕಿಕ ಮತ್ತು ಕೋಡಿಂಗ್ ಸವಾಲುಗಳ ವ್ಯಾಪ್ತಿಯಲ್ಲಿ ಕೆಲವು-ಶಾಟ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸುತ್ತದೆ.
ಪ್ರತ್ಯುತ್ತರ ನೀಡಿ