Ipproċessar tal-Lingwa Naturali (NLP) qed jara mewġa ġdida ta 'titjib. U, settijiet ta 'dejta Hugging Face huma fuq quddiem ta' din it-tendenza. F'dan l-artikolu, se nħarsu lejn is-sinifikat tas-settijiet tad-dejta Hugging Face.
Ukoll, se naraw kif jistgħu jintużaw biex iħarrġu u jevalwaw mudelli NLP.
Hugging Face hija kumpanija li tforni lill-iżviluppaturi b'varjetà ta 'settijiet ta' dejta.
Kemm jekk inti Bidu jew speċjalista NLP b'esperjenza, id-dejta pprovduta fuq Hugging Face tkun ta' użu għalik. Ingħaqad magħna hekk kif nesploraw il-qasam tal-NLP u nitgħallmu dwar il-potenzjal tas-settijiet tad-dejta Hugging Face.
L-ewwelnett, X'inhu NLP?
Natural Language Processing (NLP) hija fergħa ta ' intelliġenza artifiċjali. Tistudja kif il-kompjuters jinteraġixxu mal-lingwi umani (naturali). L-NLP jinvolvi l-ħolqien ta' mudelli li kapaċi jifhmu u jinterpretaw il-lingwa umana. Għalhekk, l-algoritmi jistgħu jwettqu kompiti bħat-traduzzjoni tal-lingwa, analiżi ta 'sentiment, u produzzjoni tat-test.
L-NLP jintuża f'varjetà ta' oqsma, inkluż is-servizz tal-konsumatur, il-kummerċjalizzazzjoni u l-kura tas-saħħa. L-għan tal-NLP huwa li jippermetti lill-kompjuters jinterpretaw u jifhmu l-lingwa tal-bniedem kif tkun miktuba jew mitkellma b'mod qrib dak tal-bnedmin.
Ħarsa ġenerali lejn Wiċċ Hugging
Wiċċ Hugging huwa negozju tal-ipproċessar tal-lingwa naturali (NLP) u tat-teknoloġija tat-tagħlim tal-magni. Huma jipprovdu firxa wiesgħa ta 'riżorsi biex jassistu lill-iżviluppaturi fit-tkomplija tal-qasam tal-NLP. L-aktar prodott notevoli tagħhom huwa l-librerija tat-Transformers.
Hija mfassla għall-applikazzjonijiet tal-ipproċessar tal-lingwa naturali. Ukoll, jipprovdi mudelli mħarrġa minn qabel għal varjetà ta 'kompiti NLP bħal traduzzjoni tal-lingwa u tweġibiet għall-mistoqsijiet.
Hugging Face, minbarra l-librerija tat-Transformers, joffri pjattaforma għall-qsim ta’ settijiet ta’ data ta’ tagħlim bil-magni. Dan jagħmilha possibbli li wieħed jaċċessa malajr kwalità għolja settijiet ta' dejta għat-taħriġ mudelli tagħhom.
Il-missjoni ta’ Hugging Face hija li tagħmel l-ipproċessar tal-lingwa naturali (NLP) aktar aċċessibbli għall-iżviluppaturi.
L-aktar settijiet ta' dejta tal-wiċċ Hugging Popolari
Cornell Movie-Djalogi Corpus
Dan huwa dataset magħruf minn Hugging Face. Cornell Movie-Dialogs Corpus jinkludi djalogi meħuda minn screenplays ta' films. Mudelli tal-ipproċessar tal-lingwa naturali (NLP) jistgħu jiġu mħarrġa bl-użu ta’ dan l-ammont estensiv ta’ dejta tat-test.
Aktar minn 220,579 laqgħa ta' djalogu bejn 10,292 par ta' karattri tal-films huma inklużi fil-ġbir.
Tista' tuża dan is-sett tad-dejta għal varjetà ta' kompiti NLP. Pereżempju, tista' tiżviluppa proġetti ta' ħolqien ta' lingwa u tweġibiet għall-mistoqsijiet. Ukoll, tista 'toħloq sistemi ta' djalogu. għax it-taħditiet ikopru firxa daqshekk wiesgħa ta’ suġġetti. Is-sett tad-dejta ġie wkoll utilizzat b'mod estensiv fi proġetti ta' riċerka.
Għalhekk, din hija għodda utli ħafna għar-riċerkaturi u l-iżviluppaturi tal-NLP.
OpenWebText Corpus
L-OpenWebText Corpus hija ġabra ta’ paġni onlajn li tista’ ssib fuq il-pjattaforma Hugging Face. Dan is-sett tad-dejta jinkludi firxa wiesgħa ta' paġni onlajn, bħal artikoli, blogs, u forums. Barra minn hekk, dawn kienu kollha magħżula għall-kwalità għolja tagħhom.
Is-sett tad-dejta huwa speċjalment siewi għat-taħriġ u l-valutazzjoni tal-mudelli NLP. Għalhekk, tista' tuża dan is-sett tad-dejta għal ħidmiet bħal traduzzjoni, u sommarju. Ukoll, tista 'twettaq analiżi tas-sentiment billi tuża dan is-sett tad-dejta li huwa assi kbir għal ħafna applikazzjonijiet.
It-tim ta’ Hugging Face ikkurat l-OpenWebText Corpus biex jipprovdi kampjun ta’ kwalità għolja għat-taħriġ. Huwa dataset kbir b'aktar minn 570GB ta 'data tat-test.
BERT
BERT (Rappreżentazzjonijiet tal-Encoder Bidirezzjonali minn Transformers) huwa mudell NLP. Ġie mħarreġ minn qabel u huwa aċċessibbli fuq il-pjattaforma Hugging Face. BERT inħoloq mit-tim tal-Google AI Language. Ukoll, huwa mħarreġ fuq sett ta 'dejta ta' test vast biex jifhem il-kuntest tal-kliem fi frażi.
Minħabba li BERT huwa mudell ibbażat fuq transformer, jista 'jipproċessa s-sekwenza ta' input sħiħa f'daqqa minflok kelma waħda kull darba. Mudell ibbażat fuq transformer juża mekkaniżmi ta' attenzjoni biex tinterpreta input sekwenzjali.
Din il-karatteristika tippermetti lill-BERT biex jifhem il-kuntest tal-kliem fi frażi.
Tista' tuża BERT għall-kategorizzazzjoni tat-test, il-fehim tal-lingwa, entità msemmija identifikazzjoni, u riżoluzzjoni tal-koreferenza, fost applikazzjonijiet oħra tal-NLP. Ukoll, huwa ta 'benefiċċju fil-ġenerazzjoni ta' test u l-fehim tal-qari tal-magni.
Skwadra
SQuAD (Stanford Question Answering Dataset) hija database ta' mistoqsijiet u tweġibiet. Tista 'tużaha biex tħarreġ mudelli ta' komprensjoni tal-qari tal-magni. Is-sett tad-dejta jinkludi aktar minn 100,000 mistoqsija u tweġiba dwar varjetà ta’ suġġetti. SQuAD huwa differenti minn settijiet ta' dejta preċedenti.
Hija tiffoka fuq mistoqsijiet li jeħtieġu għarfien tal-kuntest tat-test aktar milli sempliċiment tqabbil tal-kliem kjavi.
Bħala riżultat, huwa riżors eċċellenti għall-ħolqien u l-ittestjar ta 'mudelli għal mistoqsijiet li jwieġbu u kompiti oħra ta' fehim tal-magni. Il-bnedmin jiktbu l-mistoqsijiet fi SQuAD ukoll. Dan jipprovdi grad għoli ta 'kwalità u konsistenza.
B'mod ġenerali, SQuAD huwa riżors siewi għar-riċerkaturi u l-iżviluppaturi tal-NLP.
MNLI
MNLI, jew Multi-Genre Natural Language Inference, huwa sett ta' dejta użat biex jitħarreġ u jittestja mudelli ta 'tagħlim bil-magna għall-inferenza tal-lingwa naturali. L-għan tal-MNLI huwa li jidentifika jekk dikjarazzjoni partikolari hijiex vera, falza, jew newtrali fid-dawl ta 'dikjarazzjoni oħra.
L-MNLI huwa differenti minn settijiet ta' dejta preċedenti peress li jkopri firxa wiesgħa ta' testi minn ħafna ġeneri. Dawn il-ġeneri jvarjaw minn finzjoni għal aħbarijiet, u karti tal-gvern. Minħabba din il-varjabbiltà, MNLI huwa kampjun aktar rappreżentattiv ta 'test tad-dinja reali. Huwa evidentement aħjar minn ħafna settijiet ta' data ta' inferenza tal-lingwa naturali oħra.
B'aktar minn 400,000 każ fis-sett tad-dejta, MNLI jipprovdi numru sinifikanti ta 'eżempji għal mudelli ta' taħriġ. Fih ukoll kummenti għal kull kampjun biex jgħinu lill-mudelli fit-tagħlim tagħhom.
Ħsibijiet Finali
Fl-aħħarnett, is-settijiet tad-dejta Hugging Face huma riżors imprezzabbli għar-riċerkaturi u l-iżviluppaturi tal-NLP. Hugging Face jipprovdi qafas għall-iżvilupp tal-NLP billi juża grupp divers ta’ datasets.
Aħna naħsbu li l-akbar dataset ta’ Hugging Face huwa l-OpenWebText Corpus.
Dan is-sett tad-dejta ta’ kwalità għolja fih aktar minn 570GB ta’ dejta tat-test. Hija riżors imprezzabbli għat-taħriġ u l-evalwazzjoni tal-mudelli NLP. Tista' tipprova tuża OpenWebText u oħrajn fil-proġetti li jmiss tiegħek.
Ħalli Irrispondi