Мушкилоти классикӣ дар зеҳни сунъӣ ҷустуҷӯи мошинест, ки забони инсониро фаҳмад.
Масалан, ҳангоми ҷустуҷӯи "ресторанҳои итолиёвии наздик" дар системаи ҷустуҷӯии дӯстдоштаи шумо, алгоритм бояд ҳар як калимаи дархости шуморо таҳлил кунад ва натиҷаҳои мувофиқро барорад. Як барномаи хуби тарҷума бояд контексти як калимаи мушаххасро бо забони англисӣ фаҳмад ва ба гунае фарқияти грамматикаи байни забонҳоро ҳисоб кунад.
Ҳамаи ин вазифаҳо ва бисёр чизҳои дигар ба зерсоҳаи илми информатика дохил мешаванд Коркарди забонҳои табиӣ ё NLP. Пешрафтҳо дар NLP боиси як қатор барномаҳои амалии ёрдамчиёни виртуалӣ ба монанди Alexa-и Amazon то филтрҳои спам, ки почтаи электронии зарароварро ошкор мекунанд, овардааст.
Пешрафти охирин дар NLP идеяи а модели забони калон ё LLM. LLM-ҳо ба монанди GPT-3 чунон тавоно шудаанд, ки онҳо дар ҳама гуна вазифа ё ҳолати истифодаи NLP муваффақ мешаванд.
Дар ин мақола, мо дида мебароем, ки маҳз LLM чист, ин моделҳо чӣ гуна таълим дода мешаванд ва маҳдудиятҳои мавҷудаи онҳо.
Модели забони калон чист?
Дар асл, модели забон танҳо як алгоритмест, ки медонад, ки чӣ гуна эҳтимолияти пайдарпайии калимаҳо ҳукми дуруст аст.
Модели забони хеле соддае, ки дар чандсад китоб омӯзонида шудааст, бояд бигӯяд, ки "Ӯ ба хона рафт" нисбат ба "Ба хона рафт" дурусттар аст.
Агар мо маҷмӯи маълумотҳои нисбатан хурдро бо маҷмӯаи азими аз интернет кандашуда иваз кунем, мо ба идеяи модели забони калон.
Бо истифода аз шабакаҳои нейралӣ, муҳаққиқон метавонанд LLM-ро дар миқдори зиёди маълумоти матнӣ омӯзонанд. Аз сабаби миқдори маълумоти матнии модел, ки модел дидааст, LLM дар пешгӯии калимаи навбатӣ дар пайдарпай хеле хуб мешавад.
Модели он қадар мураккабтар мешавад, он метавонад бисёр вазифаҳои NLP-ро иҷро кунад. Ин вазифаҳо ҷамъбасти матн, эҷоди мундариҷаи нав ва ҳатто тақлид кардани гуфтугӯи одамиро дар бар мегиранд.
Масалан, модели хеле маъмули забони GPT-3 бо зиёда аз 175 миллиард параметрҳо омӯзонида шудааст ва то кунун пешрафтатарин модели забон маҳсуб мешавад.
Он қодир аст, ки коди корӣ тавлид кунад, мақолаҳои пурра нависад ва метавонад ба саволҳо дар бораи ҳама гуна мавзӯъҳо ҷавоб диҳад.
LLMҳо чӣ гуна омӯзонида мешаванд?
Мо ба таври мухтасар ба он ишора кардем, ки LLMҳо қудрати зиёди худро аз андозаи маълумоти таълимии худ қарздоранд. Сабабе ҳаст, ки мо онҳоро модели забонҳои «калон» меномем.
Омӯзиши пешакӣ бо меъмории трансформатор
Дар марҳилаи пеш аз омӯзиш, LLMs бо маълумоти мавҷудаи матнӣ барои омӯхтани сохтор ва қоидаҳои умумии забон шинос карда мешаванд.
Дар чанд соли охир, LLMҳо дар маҷмӯаҳои додаҳо, ки қисми зиёди интернети ҷамъиятиро фаро мегиранд, пешакӣ омӯзонида шуданд. Масалан, модели забони GPT-3 аз рӯи маълумот аз Кашиши умумӣ маҷмӯаи маълумот, корпуси паёмҳои веб, саҳифаҳои веб ва китобҳои рақамӣ аз зиёда аз 50 миллион доменҳо.
Пас аз он маҷмӯи маълумотҳои азим ба моделе дода мешавад, ки бо номи a Трансформатор. Трансформаторҳо як намуди шабакаи амиқи нейрон ки барои маълумоти пайдарпай беҳтарин кор мекунад.
Трансформаторҳо истифода мебаранд меъмории рамзгузор-декодер барои коркарди даромад ва баромад. Аслан, трансформатор ду шабакаи нейрон дорад: рамзгузор ва декодер. Рамзгузор метавонад маънои матни воридшударо хориҷ кунад ва онро ҳамчун вектор нигоҳ дорад. Пас аз он декодер векторро қабул мекунад ва тафсири матнро медиҳад.
Бо вуҷуди ин, консепсияи асосие, ки ба меъмории трансформатор имкон дод, ки ин қадар хуб кор кунад, ин илова кардани a механизми диққати худ. Консепсияи худтаваҷҷӯҳӣ ба модел имкон дод, ки ба калимаҳои муҳимтарин дар ҷумлаи додашуда диққат диҳад. Механизм ҳатто вазнҳои байни калимаҳоеро, ки пайдарпай аз ҳам дуранд, баррасӣ мекунад.
Фоидаи дигари худтаваҷҷӯҳӣ дар он аст, ки ин раванд метавонад параллелӣ бошад. Ба ҷои коркарди маълумотҳои пайдарпай, моделҳои трансформатор метавонанд ҳама вурудҳоро якбора коркард кунанд. Ин ба трансформаторҳо имкон медиҳад, ки дар муқоиса бо усулҳои дигар миқдори зиёди маълумотро нисбатан зуд омӯзанд.
Ҳамҷӯрии хуб
Пас аз марҳилаи пеш аз омӯзиш, шумо метавонед барои омӯзиши асоси LLM матни навро интихоб кунед. Мо ин равандро меномем ҳамҷӯрии хуб ва аксар вакт барои боз хам бехтар намудани махсули ИЛМ аз руи вазифаи муайян истифода бурда мешавад.
Масалан, шумо метавонед LLM-ро барои тавлиди мундариҷа барои ҳисоби Twitter-и худ истифода баред. Мо метавонем моделро бо якчанд мисолҳои твитҳои қаблии худ пешниҳод кунем, то ба он дар бораи натиҷаи дилхоҳ тасаввурот диҳем.
Якчанд намудҳои гуногуни танзими дақиқ вуҷуд доранд.
Омӯзиши каме ба раванди додани шумораи ками мисолҳо ба модел ишора мекунад, ки бо интизории он, ки модели забонӣ чӣ гуна ба даст овардани натиҷаи шабеҳро муайян мекунад. Омӯзиши яктарафа раванди шабеҳ аст, ба истиснои мисоли ягона.
Маҳдудиятҳои моделҳои забонҳои калон
LLM-ҳо ба монанди GPT-3 қодиранд, ки шумораи зиёди ҳолатҳои истифодаро ҳатто бидуни танзими дақиқ иҷро кунанд. Аммо, ин моделҳо то ҳол бо маҷмӯи маҳдудиятҳои худ меоянд.
Набудани фаҳмиши семантикии ҷаҳон
Дар рӯи замин, LLMҳо иктишофиро нишон медиҳанд. Аммо, ин моделҳо ҳамон тавре кор намекунанд мағзи инсон мекунад. LLMҳо барои тавлиди маҳсулот танҳо ба ҳисобҳои оморӣ такя мекунанд. Онҳо қобилияти мустақилона баҳо додан ба ақидаҳо ва консепсияҳоро надоранд.
Аз ин сабаб, LLM метавонад ҷавобҳои бемаънӣ барорад, зеро калимаҳо ҳангоми ҷойгиркунии ин тартибот "дуруст" ё "аз ҷиҳати оморӣ эҳтимолан" ба назар мерасанд.
Галлолинацияҳо
Моделҳо ба монанди GPT-3 низ аз посухҳои нодуруст азоб мекашанд. LLMҳо метавонанд аз падидае, ки бо номи худ маълуманд, азоб кашанд галлюцинатсия ки дар он моделҳо бе огоҳии он, ки вокуниш ба воқеият асос надорад, вокуниши воқеан нодуруст медиҳад.
Масалан, корбар метавонад аз модел хоҳиш кунад, ки андешаҳои Стив Ҷобсро дар бораи iPhone-и навтарин шарҳ диҳад. Модел метавонад дар асоси маълумоти омӯзишии худ аз ҳавои борик иқтибос тавлид кунад.
Мушкилот ва дониши маҳдуд
Мисли бисёре аз алгоритмҳои дигар, моделҳои забони калон майл доранд, ки ғаразҳои дар маълумоти омӯзиш мавҷудбударо мерос гиранд. Вақте ки мо барои дарёфти иттилоот бештар ба LLM такя мекунем, таҳиягарони ин моделҳо бояд роҳҳои коҳиш додани таъсири эҳтимолан зараровари посухҳои ғаразнокро пайдо кунанд.
Дар иқтидори шабеҳ, нобиноҳои маълумоти таълимии модел инчунин ба худи модел халал мерасонанд. Дар айни замон, моделҳои забонҳои калон барои омӯзиш моҳҳо лозиманд. Ин моделҳо инчунин ба маҷмӯи додаҳо такя мекунанд, ки миқёси маҳдуд доранд. Аз ин рӯ, ChatGPT танҳо дар бораи рӯйдодҳои соли 2021 маълумоти маҳдуд дорад.
хулоса
Моделҳои забонҳои калон иқтидори воқеан тағир додани муносибати мо бо технология ва умуман ҷаҳони моро доранд.
Миқдори зиёди маълумоте, ки дар интернет мавҷуд аст, ба муҳаққиқон роҳи моделсозии мураккабии забонро фароҳам овард. Аммо, дар ин роҳ, ба назар чунин менамояд, ки ин моделҳои забонӣ фаҳмиши инсонии ҷаҳонро, ки ҳаст, гирифтаанд.
Вақте ки мардум ба ин моделҳои забон эътимод доранд, то натиҷаи дақиқро таъмин кунанд, муҳаққиқон ва таҳиягарон аллакай роҳҳои илова кардани паноҳгоҳҳоро пайдо мекунанд, то технология ахлоқӣ боқӣ монад.
Ба фикри шумо ояндаи LLMҳо чӣ гуна аст?
Дин ва мазҳаб