Table of Contents[Ferstopje][Toanje]
In protte sjogge robots foar lykas dy yn science fiction-films dy't it minsklik yntellekt imitearje of sels oertreffe as se de termen keunstmjittige yntelliginsje, djip learen en masine learen hearre.
Oaren tinke dat dizze apparaten gewoan ynformaasje opnimme en der sels fan leare. No... It is in bytsje misleidend. Gegevensetikettering is de metoade dy't brûkt wurdt om kompjûters te trenen om "tûk" te wurden, om't se beheinde mooglikheden hawwe sûnder minsklike ynstruksje.
Om de kompjûter te trenen om "tûk" te hanneljen, ynfiere wy de gegevens yn ferskate foarmen en leare it ferskate strategyen mei help fan gegevenslabeling.
Datasets moatte wurde annotearre of markearre mei ferskate permutaasjes fan deselde ynformaasje as ûnderdiel fan 'e wittenskip dy't ûnderlizzende gegevenslabeling.
De ynset en tawijing dy't yn it definitive produkt pleatst binne binne lofberens, sels as it ferrast en ús deistich libben makliker makket.
Learje oer gegevenslabeling yn dit artikel om te learen wat it is, hoe it funksjonearret, ferskate soarten gegevenslabeling, obstakels, en folle mear.
Dat, wat is gegevenslabeling?
In masine learen, it kaliber en de aard fan 'e ynfiergegevens diktearje it kaliber en de aard fan 'e útfier. De krektens fan jo AI-model wurdt ferbettere troch it kaliber fan 'e gegevens dy't brûkt wurde om it te trenen.
Yn oare termen is gegevensetikettering de aksje fan it labeljen of annotearjen fan ferskate net-strukturearre as strukturearre datasets om in kompjûter te learen om ferskillen en patroanen tusken har te identifisearjen.
In yllustraasje sil jo helpe dit te begripen. It is needsaaklik om elk read ljocht yn in ferskaat oan ôfbyldings te markearjen foar de kompjûter om te learen dat read ljocht in sinjaal is om te stopjen.
Op grûn dêrfan ûntwikkelet AI in algoritme dat yn elke situaasje in read ljocht sil ynterpretearje as in stop-yndikaasje. In oare yllustraasje is de mooglikheid om ferskate datasetten te kategorisearjen ûnder de kopteksten jazz, pop, rock, klassyk en mear om ferskate muzikale sjenres te skieden.
Om it gewoan te sizzen, gegevenslabeling yn masine learen ferwiist nei it proses fan it opspoaren fan net-labele gegevens (lykas foto's, tekstbestannen, fideo's, ensfh.) it.
Labels kinne bygelyks sizze as in x-ray in tumor toant of net, hokker wurden yn in audioklip sein binne, of as in foto fan in fûgel of in auto.
Gegevensetikettering is essensjeel foar in oantal gebrûksgefallen, ynklusyf spraakherkenning, kompjûterfisy, en natuerlike taalferwurking.
Gegevensetikettering: Wêrom is it wichtich?
Earst is de fjirde yndustriële revolúsje sintraal op 'e feardigens fan trainingsmasines. As gefolch, it ranks ûnder de meast wichtige software foarútgong fan it hjoeddeiske.
Jo masine-learsysteem moat wurde makke, wat gegevenslabeling omfettet. It stelt de mooglikheden fan it systeem fêst. D'r is gjin systeem as gegevens net markearre binne.
De mooglikheden mei gegevenslabeling wurde allinich beheind troch jo kreativiteit. Elke aksje dy't jo kinne yn kaart bringe yn it systeem sil werhelje mei farske ynformaasje.
Dat betsjut dat it type, kwantiteit en ferskaat oan gegevens dy't jo it systeem kinne leare, har yntelliginsje en kapasiteiten sil bepale.
De twadde is dat wurk foar gegevenslabeling komt foar wurk fan gegevenswittenskip. Dêrtroch is gegevenslabeling nedich foar gegevenswittenskip. Mislearrings en flaters yn gegevenslabeling beynfloedzje gegevenswittenskip. As alternatyf, om in rûger klisjee te brûken, "jiskefet yn, jiskefet út."
Tredde, The Art of Data Labeling betsjuttet in feroaring yn hoe't minsken de ûntwikkeling fan AI-systemen benaderje. Wy ferfine tagelyk de struktuer fan 'e gegevenslabeling om better oan ús doelen te foldwaan dan allinich te besykjen om wiskundige techniken te ferbetterjen.
Moderne automatisearring is hjirop basearre, en it is it sintrum fan 'e AI-transformaasje dy't op it stuit oan 'e gong is. No mear as ea wurdt kenniswurk meganisearre.
Hoe wurket gegevenslabeling?
De folgjende gronologyske folchoarder wurdt folge tidens de gegevenslabelproseduere.
Gegevens sammeljen
Gegevens binne de hoekstien fan elke stribjen nei masine-learen. De earste etappe yn gegevenslabeling bestiet út it sammeljen fan de passende hoemannichte rauwe gegevens yn ferskate foarmen.
Gegevens sammeljen kin ien fan twa foarmen nimme: of it komt fan ynterne boarnen dy't it bedriuw hat brûkt, of it komt fan iepenbier tagonklike eksterne boarnen.
Sûnt it is yn rau foarm, dizze gegevens moatte wurde skjinmakke en ferwurke foardat de dataset labels wurde makke. It model wurdt dan oplaat mei dizze skjinmakke en foarbewurke gegevens. De befinings sille krekter wêze hoe grutter en farieare de gegevensset.
Annotearjen fan gegevens
Nei it skjinmeitsjen fan gegevens ûndersiikje domeineksperts de gegevens en tapasse etiketten mei ferskate techniken foar gegevensetikettering. It model hat in sinfolle kontekst dy't brûkt wurde kin as grûn wierheid.
Dit binne de fariabelen dy't jo wolle dat it model foarsizze, lykas de foto's.
Garânsje fan kwaliteit
De kwaliteit fan 'e gegevens, dy't betrouber, akkuraat en konsekwint moatte wêze, is krúsjaal foar it sukses fan training foar ML-model. Regelmjittige QA-tests moatte wurde ymplementearre om dizze krekte en korrekte gegevenslabeling te garandearjen.
It is mooglik om de krektens fan dizze annotaasjes te beoardieljen troch QA-techniken te brûken lykas de Consensus en de alfatest fan Cronbach. De korrektheid fan resultaten wurdt oanmerklik ferbettere troch routine QA-ynspeksjes.
Training & testen modellen
De niisneamde prosedueres hawwe allinich sin as de gegevens op korrektheid kontrolearre wurde. De technyk sil op de proef set wurde troch de ûnstrukturearre dataset op te nimmen om te kontrolearjen oft it de winske útkomsten opleveret.
Data labeling strategyen
Gegevensetikettering is in moeizaam proses dat omtinken foar detail freget. De metoade dy't brûkt wurdt om gegevens te annotearjen sil ferskille ôfhinklik fan 'e probleemstelling, hoefolle gegevens moatte wurde tagged, hoe komplisearre de gegevens binne, en de styl.
Litte wy troch guon fan 'e opsjes gean dy't jo bedriuw hat, ôfhinklik fan 'e boarnen dy't it hat en de tiid dy't it beskikber hat.
Gegevenslabeling yn eigen hûs
Lykas de namme al fermoeden docht, wurdt ynterne gegevenslabeling dien troch saakkundigen binnen in bedriuw. As jo genôch tiid, personiel en finansjele middels hawwe, is it de bêste opsje, om't it soarget foar de meast krekte etikettering. It beweecht lykwols stadich.
útbesteegjen
In oare opsje om dingen dien te krijen is freelancers yn te hieren foar taken foar gegevenslabeling dy't kinne wurde ûntdutsen op ferskate wurksykjen en freelance merkplakken lykas Upwork.
Outsourcing is in rappe opsje om tsjinsten foar labeling fan gegevens te krijen, lykwols kin de kwaliteit lije, fergelykber mei de foarige metoade.
crowdsourcing
Jo kinne oanmelde as oanfreger en ferskate labelingtaken ferspriede oan beskikbere oannimmers op spesjalisearre crowdsourcing-platfoarms lykas Amazon Mechanical Turk (MTurk).
De metoade, hoewol wat fluch en goedkeap, kin gjin annotearre gegevens fan goede kwaliteit leverje.
Labeling fan gegevens automatysk.
De proseduere kin wurde holpen troch software neist de hân útfierd. Mei de aktive learbenadering kinne tags automatysk fûn wurde en tafoege wurde oan de trainingsdataset.
Yn essinsje ûntwikkelje minsklike spesjalisten in AI Auto-labelmodel om net-labelde, rauwe gegevens te markearjen. Dan beslute se as it model de etikettering passend tapast. Minsken reparearje de flaters nei in mislearring en traine it algoritme opnij.
Untwikkeling fan syntetyske gegevens.
Yn plak fan gegevens yn 'e echte wrâld, syntetyske gegevens is in bestimpele dataset dy't keunstmjittich makke is. It wurdt produsearre troch algoritmen as kompjûtersimulaasjes en wurdt faak brûkt foar trein masine learen modellen.
Syntetyske gegevens binne in poerbêst antwurd op 'e problemen fan gegevenskrapte en ferskaat yn' e kontekst fan etiketteringsprosedueres. De skepping fan syntetyske gegevens from scratch biedt in oplossing.
It oanmeitsjen fan 3D-ynstellingen mei de items en om it model hinne moat troch datasetûntwikkelders kinne werkenne. Safolle syntetyske gegevens as nedich binne foar it projekt kinne wurde werjûn.
Útdagings fan Data Labeling
Fereasket mear tiid en muoite
Neist it útdaagjen om grutte hoemannichten gegevens te krijen (benammen foar heul spesjalisearre yndustry lykas sûnenssoarch), is it labeljen fan elk stikje gegevens mei de hân sawol arbeidsyntinsyf as omslachtich, wat de help fan minsklike labelers nedich is.
Hast 80% fan 'e tiid bestege oan in projekt oer de heule syklus fan ML-ûntwikkeling wurdt bestege oan gegevenstarieding, dy't labeling omfettet.
Mooglikheid foar inkonsistinsje
Meastentiids resultearret cross-labeling, wat bart as in protte minsken deselde sets gegevens labelje, in gruttere krektens.
Lykwols, om't partikulieren soms hawwe ferskillende graden fan kompetinsje, labeling noarmen en labels sels kin wêze inkonsekwint, dat is in oar probleem, It is mooglik foar twa of mear annotators in net iens op guon tags.
Bygelyks, ien ekspert koe in hotelresinsje as geunstich beoardielje, wylst in oare it as sarkastysk soe beskôgje en it in lege wurdearring tawize.
Domeinkennis
Jo sille de needsaak fiele om labelers te hieren mei spesjalisearre yndustrykennis foar guon sektoaren.
Annotators sûnder de nedige domeinkennis sille bygelyks in heul drege tiid hawwe om de items passend te taggen by it meitsjen fan in ML-app foar de sûnenssektor.
Neiging ta flaters
Hânlieding labeling is ûnderwurpen oan minsklike flaters, nettsjinsteande hoe kennis en foarsichtich jo labelers binne. Fanwegen it feit dat annotators faak wurkje mei enoarme rûge gegevenssets, is dit net te ûntkommen.
Stel jo foar dat in persoan 100,000 ôfbyldings annotearret mei maksimaal 10 ferskillende dingen.
Algemiene soarten gegevenslabeling
Computer Vision
Om jo trainingsdataset te ûntwikkeljen, moatte jo earst foto's, piksels, as kaaiplakken labelje, of in grins fêststelle dy't in digitale ôfbylding folslein omfettet, bekend as in grinskast, by it bouwen fan in kompjûterfisysysteem.
Foto's kinne wurde kategorisearre yn in ferskaat oan manieren, ynklusyf troch ynhâld (wat is eins yn it byld sels) en kwaliteit (lykas produkt vs. libbensstyl shots).
Ofbyldings kinne ek wurde ferdield yn segminten op it pikselnivo. It kompjûterfisymodel ûntwikkele mei dizze trainingsgegevens kin dêrnei brûkt wurde om ôfbyldings automatysk te klassifisearjen, de lokaasje fan objekten te bepalen, wichtige gebieten yn in ôfbylding te markearjen en ôfbyldings te segmentearjen.
Natuerlike taalbehearsking
Foardat jo jo trainingsdataset foar natuerlike taalferwurking produsearje, moatte jo de relevante tekstfragminten manuell kieze of it materiaal klassifisearje mei spesifisearre labels.
Jo kinne bygelyks spraakpatroanen werkenne, eigennammen klassifisearje lykas plakken en minsken, en tekst identifisearje yn ôfbyldings, PDF's of oare media. Jo kinne ek wolle bepale it gefoel of de bedoeling fan in tekst blurb.
Meitsje beheinende fakjes om de tekst yn jo trainingsdataset om dit te berikken, en transkribearje it dan mei de hân.
Optyske karakter erkenning, identifikaasje fan entiteitsnamme, en sentimintanalyse wurde allegear útfierd mei natuerlike taalferwurkingsmodellen.
Audioferwurking
Audioferwurking transformeart alle soarten lûden yn in strukturearre formaat, sadat se kinne wurde brûkt yn masine learen, ynklusyf spraak, dierlûden (blaft, fluiten, of tjirp), en bougelûden (brutsen glês, skennen, as sirenes).
Faak, foardat jo audio kinne omgean, moatte jo it manuell konvertearje nei tekst. Dêrnei, troch it kategorisearjen en taheakjen fan tags oan 'e audio, kinne jo der mear yngeande ynformaasje oer leare. Dyn training dataset is dit klassifisearre audio.
Konklúzje
Ta beslút, it identifisearjen fan jo gegevens is in krúsjaal ûnderdiel fan it oplieden fan elk AI-model. In rappe organisaasje kin lykwols gewoan net betelje om tiid te besteegjen oan it mei de hân te dwaan, om't it tiidslinend en enerzjyintensyf is.
Derneist is it in proseduere dy't gefoelich is foar ûnkrektens en gjin grutte krektens belooft. It hoecht net sa dreech te wêzen, dat is prachtich nijs.
De hjoeddeistige technologyen foar data-labeling meitsje gearwurking mooglik tusken minsken en masines om presys en brûkbere gegevens te leverjen foar in ferskaat oan masine-learapplikaasjes.
Leave a Reply