Bothata ba khale bo bohlale ba maiketsetso ke ho lelekisa mochini o ka utloisisang puo ea batho.
Mohlala, ha u batla "lireschorente tse haufi tsa Mataliana" mochining oa hau oa ho batla oo u o ratang, mokhoa o tlameha ho sekaseka lentsoe ka leng ho potso ea hau le ho hlahisa liphetho tse nepahetseng. Sesebelisoa se nepahetseng sa phetolelo se tla tlameha ho utloisisa moelelo oa lentsoe le itseng ka Senyesemane 'me ka tsela e itseng e ikarabelle bakeng sa phapang ea sebōpeho-puo lipakeng tsa lipuo.
Mesebetsi ena kaofela le tse ling tse ngata li oela tlas'a karoloana ea mahlale a khomphutha a tsejoang e le Tlhaho ea Tlhaho ea Lipuo kapa NLP. Tsoelo-pele ho NLP e lebisitse lits'ebetsong tse ngata tse sebetsang ho tsoa ho bathusi ba sebele joalo ka Alexa ea Amazon ho li-filters tsa spam tse fumanang lengolo-tsoibila le kotsi.
Katleho ea morao-rao ho NLP ke mohopolo oa ho mohlala wa puo e kgolo kapa LLM. Li-LLM tse kang GPT-3 li se li le matla hoo li bonahalang li atleha hoo e batlang e le mosebetsi ofe kapa ofe oa NLP kapa nyeoe ea tšebeliso.
Sehloohong sena, re tla sheba hore na hantle-ntle li-LLM ke eng, mefuta ena e koetlisoa joang, le mefokolo ea hona joale eo ba nang le eona.
Moetso o moholo oa puo ke ofe?
Motheong oa eona, mohlala oa puo ke algorithm feela e tsebang hore na tatellano ea mantsoe e ka ba polelo e nepahetseng hakae.
Moetso o bonolo oa puo o koetliselitsoeng libukeng tse makholo a 'maloa o lokela ho tseba hore "O ile hae" o nepahetse ho feta "Ho ile ha hae".
Haeba re nka sebaka sa dataset e batlang e le nyane ka dataset e kholo e hlakotsoeng marang-rang, re qala ho atamela mohopolo oa mohlala wa puo e kgolo.
U sebelisa marangrang a neural, bafuputsi ba ka koetlisa LLM ka palo e kholo ea data ea mongolo. Ka lebaka la bongata ba lintlha tse ngotsoeng tseo mohlala o li boneng, LLM e ba e ntle haholo ho bolela lentsoe le latelang ka tatellano.
Mohlala o fetoha o rarahaneng haholo, o ka etsa mesebetsi e mengata ea NLP. Mesebetsi ena e kenyelletsa ho akaretsa mongolo, ho theha litaba tsa lipale, esita le ho etsisa moqoqo o kang oa batho.
Mohlala, mofuta oa puo oa GPT-3 o tsebahalang haholo o koetliselitsoe ka li-parameter tse fetang limilione tse likete tse 175 mme o nkuoa e le ona o tsoetseng pele haholo oa puo ho fihlela joale.
E khona ho hlahisa khoutu e sebetsang, ho ngola lingoliloeng kaofela, 'me e ka nka monyetla oa ho araba lipotso mabapi le sehlooho sefe kapa sefe.
Li-LLM li Koetlisetsoa Joang?
Re amme ka bokhuts'oane taba ea hore LLMs e na le matla a maholo ka lebaka la boholo ba data ea bona ea lithupelo. Ho na le lebaka leo ka lona re e bitsang mehlala ea lipuo tse "kholo" ha e le hantle.
Koetliso ea pele ka Transformer Architecture
Nakong ea mokhahlelo oa pele ho koetliso, li-LLM li tsebisoa boitsebiso bo seng bo ntse bo le teng ba mongolo ho ithuta sebopeho se akaretsang le melao ea puo.
Lilemong tse 'maloa tse fetileng, li-LLM li 'nile tsa koetlisoa esale pele ka li-datasets tse koahelang karolo e kholo ea marang-rang a sechaba. Mohlala, mofuta oa puo oa GPT-3 o ne o koetliselitsoe ho data ho tsoa ho Crawl e Tloaelehileng dataset, pokello ea liposo tsa Marang-rang, maqephe a webo, le libuka tsa khomphutha tse hlakolotsoeng libakeng tse fetang limilione tse 50.
Dataset e kholo ka nako eo e feptjoa ka mokhoa o tsejoang e le a transformer. Li-transformer ke mofuta oa netweke e tebileng ya methapo e sebetsang hantle bakeng sa data e latellanang.
Li-transformers li sebelisa sesebelisoa sa moaho oa encoder-decoder bakeng sa ho sebetsana le tlhahiso le tlhahiso. Ha e le hantle, transformer e na le marang-rang a mabeli a neural: encoder le decoder. Encoder e ka ntša moelelo oa mongolo o kentsoeng ebe oa e boloka e le vector. Ka mor'a moo, dekhouda e amohela vector ebe e hlahisa tlhaloso ea eona ea mongolo.
Leha ho le joalo, mohopolo oa bohlokoa o lumelletseng moaho oa transformer hore o sebetse hantle haholo ke tlatsetso ea mochini oa ho itlhokomela. Khopolo ea ho itlhokomela e ile ea lumella mohlala ho ela hloko mantsoe a bohlokoa ka ho fetisisa polelong e fanoeng. Mochine ona o bile o nahana ka boima bo pakeng tsa mantsoe a arohaneng haholo ka tatellano.
Molemo o mong oa ho itlhokomela ke hore mokhoa ona o ka bapisoa. Sebakeng sa ho sebetsana le data e latellanang ka tatellano, mefuta ea li-transformer e ka sebetsana le lintho tsohle tse kenang ka nako e le 'ngoe. Sena se nolofalletsa li-transformer ho ikoetlisa ka bongata bo boholo ba data kapele ha li bapisoa le mekhoa e meng.
Choriso
Ka mor'a mokhahlelo oa pele ho koetliso, u ka khetha ho hlahisa sengoloa se secha bakeng sa LLM ea motheo eo u ka ikoetlisetsang ho eona. Re bitsa mokhoa ona choriso mme hangata e sebediswa ho tswela pele ho ntlafatsa tlhahiso ya LLM mosebetsing o itseng.
Ka mohlala, u ka 'na ua batla ho sebelisa LLM ho hlahisa litaba tsa akhaonto ea hau ea Twitter. Re ka fana ka mohlala ka mehlala e mengata ea li-tweets tsa hau tse fetileng ho e fa leseli la tlhahiso e lakatsehang.
Ho na le mefuta e 'maloa e fapaneng ea tokiso e ntle.
Ho ithuta ho fokolang e bua ka mokgwa wa ho fana ka mohlala palo e nyane ya mehlala ka tebello ya hore mmotlolo wa puo o tla tseba ho etsa tlhahiso e tshwanang. Ho ithuta hang-hang ke ts'ebetso e ts'oanang ntle le mohlala o le mong feela o fanoeng.
Mefokolo ea Mehlala e Meholo ea Puo
LLMs tse kang GPT-3 li khona ho etsa palo e kholo ea linyeoe tsa ts'ebeliso leha li sa lokisoe hantle. Leha ho le joalo, mefuta ena e ntse e tla le mefokolo ea eona.
Ho hloka Kutloisiso ea Semantic ea Lefatše
Ka holimo, li-LLM li bonahala li bontša bohlale. Leha ho le joalo, mefuta ena ha e sebetse ka tsela e tšoanang boko ba motho e etsa. Li-LLM li itšetlehile feela ka lipalo-palo ho hlahisa tlhahiso. Ha ba na matla a ho beha mabaka le mehopolo ka bobona.
Ka lebaka lena, LLM e ka fana ka likarabo tse sa utloahaleng hobane feela mantsoe a bonahala a "nepahetse" kapa "ho ka etsahala ho ea ka lipalo" ha a behiloe ka tatellano eo.
Hallucinations
Mefuta e kang GPT-3 le eona e na le likarabo tse fosahetseng. Li-LLM li ka hlokofatsoa ke ketsahalo e tsejoang e le ho hallucination moo mehlala e hlahisang karabo e fosahetseng ka nnete ntle le tlhokomediso ya hore karabo ha e na motheo wa nnete.
Mohlala, mosebelisi a ka kopa mohlala ho hlalosa mehopolo ea Steve Jobs ho iPhone ea morao-rao. Mohlala o ka hlahisa quote ho tsoa moeeng o mosesaane ho latela lintlha tsa eona tsa koetliso.
Leeme le Tsebo e Lekanyelitsoeng
Joalo ka li-algorithms tse ling tse ngata, mefuta e meholo ea lipuo e tloaetse ho rua leeme le teng ho data ea koetliso. Ha re qala ho itšetleha haholo ka li-LLM ho fumana lintlha, baetsi ba mefuta ena ba lokela ho fumana litsela tsa ho fokotsa litlamorao tse ka bang kotsi tsa likarabo tse leeme.
Ka mokhoa o ts'oanang, lifofu tsa data ea koetliso ea mohlala li tla boela li sitise mohlala ka boeona. Hona joale, mefuta e meholo ea lipuo e nka likhoeli ho koetlisoa. Mefuta ena e boetse e itšetlehile ka li-dataset tse fokolang ka boholo. Ke ka lebaka lena ChatGPT e nang le tsebo e fokolang feela ea liketsahalo tse etsahetseng 2021 e fetileng.
fihlela qeto e
Mefuta e meholo ea lipuo e na le monyetla oa ho fetola kannete tsela eo re sebelisanang le theknoloji le lefatše la rona ka kakaretso.
Boitsebiso bo bongata bo fumanehang marang-rang bo file bafuputsi mokhoa oa ho etsisa mathata a puo. Leha ho le joalo, ha ho ntse ho le joalo, mehlala ena ea lipuo e bonahala e ntlafalitse kutloisiso e kang ea motho ea lefatše kamoo le leng kateng.
Ha sechaba se qala ho tšepa mehlala ena ea lipuo ho fana ka tlhahiso e nepahetseng, bafuputsi le bahlahisi ba se ba ntse ba fumana litsela tsa ho eketsa mekhoa ea ho sireletsa e le hore theknoloji e lule e le ea boitšoaro.
U nahana hore bokamoso ba LLM ke bofe?
Leave a Reply