Saturs[Paslēpt][Rādīt]
Daudzi iztēlojas tādus robotus kā zinātniskās fantastikas filmās, kas atdarina vai pat pārspēj cilvēka intelektu, kad viņi dzird terminus mākslīgais intelekts, dziļa mācīšanās un mašīnmācīšanās.
Citi domā, ka šīs ierīces tikai uztver informāciju un pašas no tās mācās. Nu... Tas ir mazliet mānīgi. Datu marķēšana ir metode, ko izmanto, lai apmācītu datorus kļūt “gudriem”, jo tiem ir ierobežotas iespējas bez cilvēka norādījumiem.
Lai apmācītu datoru rīkoties “gudri”, mēs ievadām datus dažādās formās un mācām tam dažādas stratēģijas, izmantojot datu marķēšanu.
Datu kopām jābūt anotētām vai marķētām ar daudzām vienas un tās pašas informācijas permutācijām, kas ir daļa no zinātnes, kas ir datu marķēšanas pamatā.
Pūles un centība, kas ieguldīta galaproduktā, ir slavējama, pat ja tā pārsteidz un atvieglo mūsu ikdienu.
Uzziniet par datu marķēšanu šajā rakstā, lai uzzinātu, kas tas ir, kā tas darbojas, dažādus datu marķēšanas veidus, šķēršļus un daudz ko citu.
Tātad, kas ir datu marķēšana?
In mašīna mācīšanās, ievades datu kalibrs un raksturs nosaka izvades kalibru un raksturu. Jūsu AI modeļa precizitāti uzlabo tā apmācīšanai izmantoto datu kalibrs.
Citiem vārdiem sakot, datu marķēšana ir dažādu nestrukturētu vai strukturētu datu kopu marķēšana vai anotēšana, lai iemācītu datoram noteikt atšķirības un modeļus starp tām.
Ilustrācija palīdzēs jums to saprast. Ir nepieciešams atzīmēt katru sarkano gaismu dažādos attēlos, lai dators uzzinātu, ka sarkanā gaisma ir apstāšanās signāls.
Pamatojoties uz to, AI izstrādā algoritmu, kas katrā situācijā interpretēs sarkano gaismu kā apstāšanās indikatoru. Vēl viena ilustrācija ir iespēja klasificēt dažādas datu kopas zem džeza, popa, roka, klasiskās mūzikas un citiem virsrakstiem, lai nošķirtu dažādus mūzikas žanrus.
Vienkārši sakot, datu marķēšana mašīnmācībā attiecas uz neiezīmētu datu (piemēram, fotoattēlu, teksta failu, videoklipu utt.) noteikšanas procesu un vienas vai vairāku atbilstošu etiķešu pievienošanu, lai piedāvātu kontekstu, lai mašīnmācīšanās modelis varētu mācīties no to.
Etiķetes varētu norādīt, piemēram, vai rentgenā ir redzams audzējs vai nē, kādi vārdi ir teikti audio klipā vai putna vai automašīnas attēls.
Datu marķēšana ir būtiska vairākiem lietošanas gadījumiem, tostarp runas atpazīšanai, datora vīzijaun dabiskās valodas apstrāde.
Datu marķēšana: kāpēc tas ir svarīgi?
Pirmkārt, ceturtā rūpnieciskā revolūcija ir vērsta uz trenažieru prasmēm. Rezultātā tas ir viens no nozīmīgākajiem mūsdienu programmatūras sasniegumiem.
Ir jāizveido jūsu mašīnmācīšanās sistēma, kas ietver datu marķēšanu. Tas nosaka sistēmas iespējas. Nav sistēmas, ja dati nav marķēti.
Datu marķēšanas iespējas ierobežo tikai jūsu radošums. Jebkura darbība, ko varat kartēt sistēmā, tiks atkārtota ar jaunu informāciju.
Tas nozīmē, ka datu veids, daudzums un daudzveidība, ko varat iemācīt sistēmai, noteiks tās intelektu un iespējas.
Otrais ir tas, ka datu marķēšanas darbs ir pirms datu zinātnes darba. Attiecīgi datu marķēšana ir nepieciešama datu zinātnei. Neveiksmes un kļūdas datu marķēšanā ietekmē datu zinātni. Alternatīvi, lai izmantotu rupjāku klišeju: “miskaste iekšā, miskaste ārā”.
Treškārt, datu marķēšanas māksla nozīmē izmaiņas tajā, kā cilvēki pieiet AI sistēmu attīstībai. Mēs vienlaikus uzlabojam datu marķēšanas struktūru, lai labāk sasniegtu mūsu mērķus, nevis tikai mēģinātu uzlabot matemātikas metodes.
Mūsdienu automatizācija ir balstīta uz to, un tā ir pašlaik notiekošās AI transformācijas centrs. Tagad vairāk nekā jebkad agrāk zināšanu darbs tiek mehanizēts.
Kā darbojas datu marķēšana?
Datu marķēšanas procedūras laikā tiek ievērota šāda hronoloģiskā secība.
Datu savākšana
Dati ir jebkura mašīnmācības centiena stūrakmens. Sākotnējais datu marķēšanas posms sastāv no atbilstoša apjoma neapstrādātu datu apkopošanas dažādās formās.
Datu apkopošana var notikt vienā no diviem veidiem: vai nu no iekšējiem avotiem, kurus uzņēmums ir izmantojis, vai arī no publiski pieejamiem ārējiem avotiem.
Tā kā tie ir neapstrādātā veidā, tie ir jānotīra un jāapstrādā, pirms tiek veidotas datu kopas etiķetes. Pēc tam modelis tiek apmācīts, izmantojot šos notīrītos un iepriekš apstrādātos datus. Rezultāti būs precīzāki, jo lielāka un daudzveidīgāka būs datu kopa.
Datu anotēšana
Pēc datu tīrīšanas domēna eksperti pārbauda datus un uzliek etiķetes, izmantojot vairākas datu marķēšanas metodes. Modelim ir jēgpilns konteksts, ko var izmantot kā pamata patiesību.
Šie ir mainīgie, kurus vēlaties modelim paredzēt, piemēram, fotoattēli.
Kvalitātes nodrošināšana
Datu kvalitātei, kam jābūt uzticamam, precīziem un konsekventiem, ir izšķiroša nozīme, lai ML modeļa apmācība būtu veiksmīga. Lai garantētu precīzu un pareizu datu marķēšanu, ir jāievieš regulāri kvalitātes nodrošināšanas testi.
Šo anotāciju precizitāti var novērtēt, izmantojot kvalitātes nodrošināšanas metodes, piemēram, Consensus un Cronbach alfa testu. Rezultātu pareizību ievērojami uzlabo ikdienas kvalitātes nodrošināšanas pārbaudes.
Apmācības un testēšanas modeļi
Iepriekšminētajām procedūrām ir jēga tikai tad, ja tiek pārbaudīta datu pareizība. Metode tiks pārbaudīta, iekļaujot nestrukturētu datu kopu, lai pārbaudītu, vai tā dod vēlamos rezultātus.
Datu marķēšanas stratēģijas
Datu marķēšana ir darbietilpīgs process, kas prasa uzmanību detaļām. Datu anotēšanai izmantotā metode atšķiras atkarībā no problēmas paziņojuma, no tā, cik daudz datu ir jāmarķē, cik sarežģīti ir dati un no stila.
Apskatīsim dažas jūsu uzņēmuma iespējas atkarībā no tā rīcībā esošajiem resursiem un pieejamā laika.
Datu marķēšana uzņēmumā
Kā norāda nosaukums, iekšējo datu marķēšanu veic uzņēmuma eksperti. Ja jums ir pietiekami daudz laika, personāla un finanšu resursu, tas ir labākais risinājums, jo tas nodrošina visprecīzāko marķēšanu. Tomēr tas virzās lēnām.
Ārpakalpojumi
Vēl viena iespēja paveikt lietas ir nolīgt ārštata darbiniekus datu marķēšanas uzdevumiem, kurus var atrast dažādos darba meklētāju un ārštata tirgos, piemēram, Upwork.
Ārpakalpojumi ir ātra iespēja iegūt datu marķēšanas pakalpojumus, tomēr kvalitāte var ciest, līdzīgi kā iepriekšējā metodē.
Crowdsourcing
Jūs varat pieteikties kā pieprasītājs un izplatīt dažādus marķēšanas darbus pieejamiem darbuzņēmējiem specializētās pūļa pakalpojumu platformās, piemēram, Amazon Mehāniskais Turk (MTurk).
Lai gan šī metode ir diezgan ātra un lēta, tā nevar nodrošināt labas kvalitātes anotētus datus.
Automātiska datu marķēšana.
Procedūru var veikt ne tikai manuāli, bet arī programmatūra. Izmantojot aktīvās mācīšanās pieeju, tagus var automātiski atrast un pievienot apmācības datu kopai.
Būtībā cilvēku speciālisti izstrādā AI automātiskās etiķetes modeli, lai atzīmētu nemarķētus neapstrādātus datus. Pēc tam viņi izlemj, vai modelim ir piemērots marķējums. Cilvēki izlabo kļūdas pēc neveiksmes un pārmāca algoritmu.
Sintētisko datu izstrāde.
Reālo datu vietā sintētiskie dati ir marķēta datu kopa, kas tika ražota mākslīgi. To veido algoritmi vai datorsimulācijas, un to bieži izmanto apmācīt mašīnmācības modeļus.
Sintētiskie dati ir lieliska atbilde uz datu trūkuma un daudzveidības jautājumiem marķēšanas procedūru kontekstā. Radīšana sintētiskie dati no nulles piedāvā risinājumu.
Datu kopu izstrādātājiem jāspēj atpazīt 3D iestatījumu izveide ar vienumiem un apkārtējo modeli. Var atveidot tik daudz sintētisko datu, cik nepieciešams projektam.
Datu marķēšanas problēmas
Nepieciešams vairāk laika un pūļu
Katra datu marķēšana ar roku ir ne tikai izaicinājums iegūt lielu datu apjomu (īpaši ļoti specializētām nozarēm, piemēram, veselības aprūpe), bet arī darbietilpīga un darbietilpīga, tādēļ nepieciešama marķētāju palīdzība.
Gandrīz 80% no projektam veltītā laika visā ML izstrādes ciklā tiek tērēti datu sagatavošanai, kas ietver marķēšanu.
Nekonsekvences iespēja
Lielāko daļu laika savstarpēja marķēšana, kas notiek, kad daudzi cilvēki marķē vienas un tās pašas datu kopas, nodrošina lielāku precizitāti.
Tomēr, tā kā indivīdiem dažkārt ir dažādas kompetences pakāpes, marķēšanas standarti un etiķetes var būt nekonsekventas, kas ir cita problēma. Diviem vai vairākiem komentētājiem var būt domstarpības par dažiem tagiem.
Piemēram, viens eksperts varētu novērtēt viesnīcas atsauksmi kā labvēlīgu, bet otrs to uzskatītu par sarkastisku un piešķirtu tai zemu vērtējumu.
Domēna zināšanas
Jūs sajutīsiet nepieciešamību pieņemt darbā marķētājus ar specializētām nozares zināšanām dažās nozarēs.
Piemēram, anotatoriem bez nepieciešamām domēna zināšanām būs ļoti grūti pareizi marķēt vienumus, veidojot ML lietotni veselības aprūpes nozarei.
Tieksme uz kļūdām
Manuālā marķēšana ir pakļauta cilvēku kļūdām, neatkarīgi no tā, cik zinoši un uzmanīgi ir jūsu marķētāji. Sakarā ar to, ka anotatori bieži strādā ar milzīgām neapstrādātu datu kopām, tas ir neizbēgami.
Iedomājieties cilvēku, kurš komentē 100,000 10 attēlu ar līdz pat XNUMX dažādām lietām.
Izplatītākie datu marķēšanas veidi
Datoru vīzija
Lai izstrādātu treniņu datu kopu, veidojot datorredzes sistēmu, vispirms ir jāiezīmē attēli, pikseļi vai galvenie punkti vai jāizveido robeža, kas pilnībā aptver digitālo attēlu, kas pazīstama kā ierobežojošais lodziņš.
Fotogrāfijas var klasificēt dažādos veidos, tostarp pēc satura (kas patiesībā ir pašā attēlā) un kvalitātes (piemēram, produktu un dzīvesveida kadri).
Attēlus var arī sadalīt segmentos pikseļu līmenī. Datorredzes modeli, kas izstrādāts, izmantojot šos apmācības datus, pēc tam var izmantot, lai automātiski klasificētu attēlus, noteiktu objektu atrašanās vietu, iezīmētu galvenās attēla zonas un segmentētu attēlus.
Dabas valodas apstrāde
Pirms dabiskās valodas apstrādes apmācības datu kopas izveides jums manuāli jāizvēlas attiecīgie teksta fragmenti vai jāklasificē materiāls ar noteiktām etiķetēm.
Piemēram, jūs varētu vēlēties atpazīt runas modeļus, klasificēt īpašvārdus, piemēram, vietas un cilvēkus, un identificēt tekstu attēlos, PDF failos vai citos plašsaziņas līdzekļos. Varat arī noteikt teksta izplūduma sajūtu vai nolūku.
Lai to paveiktu, izveidojiet ierobežojošos lodziņus ap tekstu savā apmācības datu kopā un pēc tam to manuāli pārrakstiet.
Raksturīga optiskā atpazīšana, entītijas nosaukuma identificēšana un sentimenta analīze tiek veikta, izmantojot dabiskās valodas apstrādes modeļus.
Audio apstrāde
Audio apstrāde pārveido visu veidu skaņas strukturētā formātā, lai tās varētu izmantot mašīnmācībā, tostarp runu, dzīvnieku trokšņus (riešanu, svilpienu vai čivināšanu) un ēkas trokšņus (salauztu stiklu, skenēšanu vai sirēnas).
Bieži vien, pirms varat apstrādāt audio, tas ir manuāli jāpārvērš tekstā. Pēc tam, kategorizējot audio un pievienojot tam atzīmes, varat uzzināt par to padziļinātu informāciju. Jūsu apmācības datu kopa vai šis ir klasificēts audio.
Secinājumi
Noslēgumā jāsaka, ka jūsu datu identificēšana ir būtiska jebkura AI modeļa apmācības sastāvdaļa. Tomēr organizācija, kas darbojas ātri, vienkārši nevar atļauties tērēt laiku, darot to manuāli, jo tas ir laikietilpīgi un energoietilpīgi.
Turklāt tā ir procedūra, kas ir pakļauta neprecizitātei un nesola lielu precizitāti. Tam nav jābūt tik grūtam, kas ir lieliskas ziņas.
Mūsdienu datu marķēšanas tehnoloģijas nodrošina sadarbību starp cilvēkiem un mašīnām, lai nodrošinātu precīzus un noderīgus datus dažādām mašīnmācīšanās lietojumprogrammām.
Atstāj atbildi