Жасалма интеллекттеги классикалык көйгөй - бул адамдын тилин түшүнө алган машинага умтулуу.
Мисалы, сүйүктүү издөө системаңыздан "жакын жердеги италиялык ресторандарды" издеп жатканда, алгоритм сиздин сурооңуздагы ар бир сөздү талдап, тиешелүү натыйжаларды чыгарышы керек. Татыктуу котормо колдонмосу англис тилиндеги белгилүү бир сөздүн контекстин түшүнүшү керек жана кандайдыр бир жол менен тилдердин ортосундагы грамматикадагы айырмачылыктарды эске алышы керек.
Бул милдеттердин баары жана дагы көп нерселер информатика илиминин суб тармагына кирет Табигый тил иштетүү же NLP. NLPдеги жетишкендиктер Amazon'дун Alexa сыяктуу виртуалдык жардамчыларынан зыяндуу электрондук каттарды аныктаган спам чыпкаларына чейин практикалык колдонмолордун кеңири спектрине алып келди.
NLPдеги эң акыркы жетишкендик - бул а чоң тил модели же LLM. GPT-3 сыяктуу LLMлер ушунчалык күчтүү болуп калды, алар дээрлик бардык NLP тапшырмаларында же колдонуу ишинде ийгиликке жеткендей.
Бул макалада биз LLM деген эмне экенин, бул моделдер кандайча үйрөтүлгөнүн жана учурдагы чектөөлөрдү карап чыгабыз.
Чоң тил модели деген эмне?
Негизинен, тил модели жөн гана сөздөрдүн ырааттуулугу жарактуу сүйлөм болушу мүмкүн экенин билген алгоритм болуп саналат.
Бир нече жүз китептерде үйрөтүлгөн абдан жөнөкөй тил модели "Үйгө кетти" дегенге караганда "Ал үйүнө кетти" деген сөздүн жарактуураак экенин айта алышы керек.
Эгерде биз салыштырмалуу кичинекей маалымат топтомун интернеттен алынган массалык маалымат топтому менен алмаштырсак, анда биз чоң тил модели.
колдонуу менен нейрон тармактары, изилдөөчүлөр тексттик маалыматтардын чоң көлөмү боюнча LLMди окута алышат. Модель көргөн тексттик маалыматтардын көлөмүнөн улам, LLM кийинки сөздү ырааттуулукта алдын ала айтууда абдан жакшы болот.
Модель ушунчалык татаал болуп калат, ал NLP тапшырмаларын аткара алат. Бул милдеттерге текстти жалпылоо, жаңы мазмунду түзүү, ал тургай, адамга окшош баарлашууну симуляциялоо кирет.
Мисалы, абдан популярдуу GPT-3 тил модели 175 миллиарддан ашык параметр менен үйрөтүлгөн жана азыркыга чейин эң алдыңкы тил модели болуп эсептелет.
Ал жумушчу кодду түзө алат, бүт макалаларды жаза алат жана каалаган тема боюнча суроолорго жооп бере алат.
LLMs кантип окутулат?
Биз LLMлер окуу маалыматтарынын көлөмүнө көп күч-кубат бере турганына кыскача токтолдук. Аларды “чоң” тил моделдери деп атаганыбыздын себеби бар.
Трансформатор архитектурасы менен алдын ала машыгуу
Тренингге чейинки этапта тилдин жалпы түзүлүшүн жана эрежелерин үйрөнүү үчүн LLMs учурдагы текст маалыматтары менен тааныштырылат.
Акыркы бир нече жылда LLMлер коомдук интернеттин олуттуу бөлүгүн камтыган маалымат топтомдору боюнча алдын ала үйрөтүлгөн. Мисалы, GPT-3 тил модели алынган маалыматтар боюнча үйрөтүлгөн Жалпы Crawl маалыматтар топтому, 50 миллиондон ашык домендерден алынган веб-посттордун, веб баракчалардын жана санариптештирилген китептердин корпусу.
Андан кийин массалык маалымат топтому a деп аталган моделге берилет айландыруу. Трансформаторлор бир түрү болуп саналат терең нейрон тармагы ырааттуу маалыматтар үчүн эң жакшы иштейт.
Трансформаторлор колдонушат коддоочу-декодер архитектурасы киргизүү жана чыгаруу менен иштөө үчүн. Негизи, трансформатор эки нейрондук тармакты камтыйт: кодер жана декодер. Кодер киргизилген тексттин маанисин чыгарып, аны вектор катары сактай алат. Андан кийин декодер векторду кабыл алып, тексттин интерпретациясын чыгарат.
Бирок, трансформатордун архитектурасынын жакшы иштешине мүмкүндүк берген негизги түшүнүк а өзүнө көңүл буруу механизми. Өзүнө көңүл буруу түшүнүгү моделге берилген сүйлөмдөгү эң маанилүү сөздөргө көңүл бурууга мүмкүндүк берди. Механизм атүгүл бири-биринен алыс жайгашкан сөздөрдүн ортосундагы салмактарды да карайт.
Өзүнө көңүл буруунун дагы бир пайдасы - процессти параллелдештирүүгө болот. Трансформатордук моделдер ырааттуу маалыматтарды иштетүүнүн ордуна, бир эле учурда бардык киргизүүлөрдү иштете алат. Бул башка ыкмаларга салыштырмалуу трансформаторлорго чоң көлөмдөгү маалыматтарды салыштырмалуу тез үйрөтүүгө мүмкүндүк берет.
Так жөндөө
Тренингге чейинки этаптан кийин, сиз окутуу үчүн LLM базасы үчүн жаңы текстти киргизүүнү тандай аласыз. Биз муну процесс деп атайбыз так жөндөө жана көбүнчө белгилүү бир тапшырма боюнча LLM өндүрүшүн андан ары жакшыртуу үчүн колдонулат.
Мисалы, сиз Twitter аккаунтуңуз үчүн мазмунду түзүү үчүн LLM колдонгуңуз келиши мүмкүн. Каалаган жыйынтык тууралуу түшүнүк берүү үчүн биз моделге мурунку твиттериңиздин бир нече мисалдарын бере алабыз.
Жакшы жөндөөнүн бир нече түрлөрү бар.
Бир аз окуу тил модели окшош чыгарууну кантип аныктайт деп күтүү менен моделге аз сандагы мисалдарды берүү процессин билдирет. Бир жолу окуу бир гана мисал келтирилгенден башка, окшош процесс.
Чоң тил моделдеринин чектөөлөрү
GPT-3 сыяктуу LLMs көптөгөн колдонуу учурларын так жөндөөсүз да аткарууга жөндөмдүү. Бирок, бул моделдер дагы эле өз чектөөлөрү менен келет.
Дүйнөнүн семантикалык түшүнүгүнүн жоктугу
Сыртынан караганда, LLMлер интеллектти көрсөтөт. Бирок, бул моделдер мурункудай иштебейт адамдын мээси кылат. LLMs өндүрүштү өндүрүү үчүн статистикалык эсептөөлөргө гана таянат. Алардын идеяларды жана концепцияларды өз алдынча ой жүгүртүү жөндөмү жок.
Ушундан улам, LLM маанисиз жоопторду чыгара алат, анткени сөздөр ошол тартипте жайгаштырылганда "туура" же "статистикалык жактан мүмкүн" болуп көрүнөт.
Hallucinations
GPT-3 сыяктуу моделдер да туура эмес жооптордон жабыркайт. LLMs деп аталган кубулуштан жапа чегиши мүмкүн көзгө көрүнүү бул жерде моделдер жооптун чындыкта эч кандай негизи жок экенин түшүнбөстөн, иш жүзүндө туура эмес жоопту чыгарышат.
Мисалы, колдонуучу модельден Стив Жобстун эң акыркы iPhone жөнүндө ойлорун түшүндүрүп берүүнү суранышы мүмкүн. Модель машыгуу маалыматтарынын негизинде жука абадан цитата түзүшү мүмкүн.
Бир тараптуулук жана чектелген билим
Көптөгөн башка алгоритмдер сыяктуу эле, чоң тил моделдери окуу маалыматтарында орун алган тенденцияларды мурастоого жакын. Маалымат алуу үчүн LLMге көбүрөөк таяна баштаганыбызда, бул моделдерди иштеп чыгуучулар бир жактуу жооптордун потенциалдуу зыяндуу таасирин азайтуу жолдорун табышы керек.
Ушул сыяктуу эле, моделдин окутуу маалыматтарынын сокур тактары да моделдин өзүнө тоскоол болот. Учурда чоң тил моделдерин даярдоого бир нече ай талап кылынат. Бул моделдер масштабы чектелген маалымат топтомуна да таянышат. Ошондуктан ChatGPT 2021-жылы өткөн окуялар жөнүндө чектелген билимге ээ.
жыйынтыктоо
Чоң тил моделдери биздин технология жана жалпысынан дүйнөбүз менен болгон мамилебизди чындап өзгөртүү мүмкүнчүлүгүнө ээ.
Интернетте жеткиликтүү болгон маалыматтардын чоң көлөмү изилдөөчүлөргө тилдин татаалдыгын моделдөөнүн жолун берди. Бирок, жол бою, бул тил моделдери дүйнөнү кандай болсо, ошондой эле адам сыяктуу түшүнүп алган көрүнөт.
Коомчулук бул тил моделдерине так натыйжаларды берүү үчүн ишене баштагандыктан, изилдөөчүлөр жана иштеп чыгуучулар технология этикалык бойдон калуу үчүн тосмолорду кошуунун жолдорун издеп жатышат.
LLMдердин келечеги кандай деп ойлойсуз?
Таштап Жооп