Di îstîxbarata çêkirî de pirsgirêkek klasîk peydakirina makîneyek e ku dikare zimanê mirovan fam bike.
Mînakî, dema ku li ser motora lêgerîna xweya bijare li "restoranên îtalî yên nêzîk" digere, pêdivî ye ku algorîtmek her peyva di pirsa we de analîz bike û encamên têkildar derxe. Pêdivî ye ku serîlêdanek wergerek maqûl ji çarçoweya peyvek taybetî ya Englishngilîzî fam bike û bi rengekî cûdahiyên rêzimanê di navbera zimanan de hesab bike.
Hemî van peywiran û hêj bêtir di bin qada zanistiya komputerê de tê zanîn Prosesa Zimanê Zimanzayî an jî NLP. Pêşveçûnên di NLP de rê li ber komek berfireh a sepanên pratîkî ji arîkarên virtual ên mîna Alexa-ya Amazon-ê bigire heya fîlterên spam-ê yên ku e-nameyên xirab tespît dikin.
Serkeftina herî dawî ya di NLP de ramana a modela zimanê mezin an LLM. LLM-ên wekî GPT-3 ew qas bi hêz bûne ku ew dixuye ku hema hema di her karek an doza karanîna NLP-ê de biserdikeve.
Di vê gotarê de, em ê binihêrin ka LLM bi rastî çi ne, ev model çawa têne perwerde kirin, û sînorên heyî yên wan hene.
Modela zimanê mezin çi ye?
Di bingehê xwe de, modelek zimanî bi tenê algorîtmayek e ku dizane çend rêzek peyvan hevokek derbasdar e.
Modelek zimanek pir hêsan ku li ser çend sed pirtûkan hatî perwerde kirin divê bikaribe bêje ku "Ew çû malê" ji "Home çû ew" derbasdartir e.
Ger em daneheva nisbeten piçûk bi danehevek girseyî ya ku ji înternetê hatî hilanîn biguhezînin, em dest pê dikin ku nêzikî ramana modela zimanê mezin.
bikaranîna torên neural, lêkolîner dikarin LLM-an li ser gelek daneyên nivîsê perwerde bikin. Ji ber hêjmara daneyên nivîsê ku modelê dîtiye, LLM di pêşbînkirina peyva din de di rêzek de pir baş dibe.
Model ew qas sofîstîke dibe, ew dikare gelek karên NLP-ê pêk bîne. Van peywiran kurtkirina nivîsê, afirandina naveroka romanê, û tewra simulkirina danûstendina mîna mirovî jî vedihewîne.
Mînakî, modela zimanê pir populer GPT-3 bi zêdetirî 175 mîlyar pîvanan tê perwerde kirin û heya nuha wekî modela zimanî ya herî pêşkeftî tê hesibandin.
Ew dikare koda xebatê biafirîne, tevahiya gotaran binivîsîne, û dikare bersivê bide pirsên li ser her mijarê.
LLM çawa têne perwerde kirin?
Me bi kurtî li ser vê yekê rawestiya ku LLM gelek hêza xwe deyndarê mezinahiya daneyên perwerdehiya xwe ye. Sedemek heye ku em ji wan re dibêjin modelên zimanê "mezin".
Pêş-perwerdeya bi Mîmarek Transformer
Di qonaxa pêş-perwerdeyê de, LLM bi daneyên nivîsê yên heyî re têne nas kirin da ku struktur û qaîdeyên gelemperî zimanek fêr bibin.
Di çend salên çûyî de, LLM li ser daneyên ku beşek girîng a înterneta giştî vedihewîne pêş-perwerde bûne. Mînakî, modela zimanî ya GPT-3 li ser daneyên ji hêla hatî perwerde kirin Crawl Hevpar databas, komek ji postên malperê, rûpelên malperê, û pirtûkên dîjîtal ên ku ji zêdetirî 50 mîlyon domainan hatine derxistin.
Dûv re danûstendina girseyî li modelek ku wekî a tê zanîn tê veguheztin transformer. Transformer celebek in tora rehikan a kûr ku ji bo daneyên rêzdar çêtirîn dixebite.
Transformer an bi kar tînin mîmariya encoder-dekoder ji bo birêvebirina ketin û derketinê. Di bingeh de, veguherîner du torên neuralî dihewîne: şîfreyek û dekoderek. Şîfrevan dikare wateya nivîsa têketinê derxe û wê wekî vektor hilîne. Paşê dekoder vektorê distîne û şiroveya xwe ya nivîsê çêdike.
Lêbelê, konsepta sereke ya ku hişt ku mîmariya veguherîner ew qas baş bixebite, lêzêdekirina a mekanîzmaya xwe-baldariyê. Têgeha xwe-baldariyê hişt ku model di hevokê de bala xwe bide peyvên herî girîng. Mekanîzma tewra giraniya di navbera peyvên ku ji hev dûr in li pey hev dihesibîne.
Feydeyek din a xwe-baldariyê ev e ku pêvajo dikare paralel bibe. Li şûna ku daneyên rêzdar bi rêzê werin hilberandin, modelên veguherîner dikarin hemî têketinan bi yekcarî pêvajoyê bikin. Ev dihêle ku transformator li gorî rêbazên din bi lez û bez li ser mîqdarên mezin ên daneyê perwerde bikin.
Fine-tuning
Piştî qonaxa pêş-perwerdeyê, hûn dikarin hilbijêrin ku nivîsek nû ji bo bingeha LLM-ya ku li ser perwerde bikin destnîşan bikin. Em ji vê pêvajoyê re dibêjin baş-tunekirin û bi gelemperî ji bo çêtirkirina hilberîna LLM-ê li ser karek taybetî tête bikar anîn.
Mînakî, dibe ku hûn bixwazin LLM-ê bikar bînin da ku naverokê ji bo hesabê xweya Twitter-ê çêbikin. Em dikarin modelê bi çend mînakên tweetên weyên berê re peyda bikin da ku jê re der barê encamek xwestinê de ramanek bidin.
Çend cureyên cuda yên baş-tuning hene.
Fêrbûna çend-gule amaje bi prosesa dana modelekê dike ku hejmareke hindik mînakan bi hêviyê dike ku modela zimanî bizanibe ka meriv çawa encamek wekhev çêbike. Fêrbûna yek-shot pêvajoyek bi vî rengî ye ji bilî ku tenê mînakek yek tê peyda kirin.
Sînorên Modelên Zimanên Mezin
LLM-ên wekî GPT-3 dikarin hejmareke mezin ji dozên bikar bînin jî bêyî lêkûpêkkirin. Lêbelê, van modelan hîn jî bi rêzikên xwe yên sînor têne.
Nebûna Têgihîştina Semantîk a Cîhanê
Li ser rûyê erdê, LLM xuya dike ku îstîxbaratê nîşan dide. Lêbelê, ev model bi heman awayî kar nakin mejiyê mirov dike. LLM tenê bi hesabên statîstîkî ve girêdayî ye ku hilberan hilberîne. Kapasîteya wan nîne ku bi tena serê xwe fikr û têgînan ragihînin.
Ji ber vê yekê, LLM dikare bersivên bêaqil derxe tenê ji ber ku peyv dema ku di wê rêzika taybetî de têne danîn "rast" an "ji hêla statîstîkî ve gengaz" xuya dikin.
Xwezî
Modelên mîna GPT-3 jî ji bersivên nerast dikişînin. LLM dikarin ji fenomenek ku wekî tê zanîn cefayê bikişînin xeyal li cihê ku model bersivek bi rastî ne rast derdixin bêyî ku haya wan jê hebe ku bersiv di rastiyê de bingehek tune.
Mînakî, bikarhênerek dikare ji modelê bixwaze ku ramanên Steve Jobs li ser iPhone-ya herî dawî rave bike. Dibe ku model li ser bingeha daneyên perwerdehiya xwe ji hewaya zirav jêderek çêbike.
Biases û zanîna Limited
Mîna gelek algorîtmayên din, modelên zimanên mezin mêldarê mîrasê ne ku di daneyên perwerdehiyê de hene. Gava ku em dest pê dikin ku bêtir xwe bispêrin LLM-an da ku agahdarî bistînin, pêşdebirên van modelan divê rêyên ji bo kêmkirina bandorên potansiyel ên zirardar ên bersivên alîgir bibînin.
Di kapasîteya heman rengî de, xalên kor ên daneyên perwerdehiya modelê dê modelê bixwe jî asteng bikin. Heya nuha, modelên zimanên mezin ji bo perwerdekirina mehan hewce ne. Van modelan di heman demê de xwe dispêre danehevên ku di çarçovê de sînordar in. Ji ber vê yekê ChatGPT tenê di derbarê bûyerên ku di sala 2021-an de qewimîne de agahdariya tixûbdar e.
Xelasî
Modelên zimanên mezin xwedî potansiyel in ku bi rastî biguhezînin ka em çawa bi teknolojiyê û bi gelemperî cîhana me re têkilî didin.
Berfirehiya daneyên ku li ser înternetê peyda dibin rêyek daye lêkolîneran ku modela tevliheviyên zimên bikin. Lêbelê, di rê de, van modelên zimanî dixuye ku têgihiştinek mîna mirovî ya cîhanê ya ku ew e, hildane.
Gava ku gel dest pê dike ku bi van modelên zimanî bawer bike da ku encamek rast peyda bike, lêkolîner û pêşdebiran berê xwe didin rêyên ku parêzbendan zêde bikin da ku teknolojî exlaqî bimîne.
Hûn difikirin ku pêşeroja LLM çi ye?
Leave a Reply