Innholdsfortegnelse[Gjemme seg][Forestilling]
Mange ser for seg roboter som de i science fiction-filmer som etterligner eller til og med overgår menneskelig intellekt når de hører begrepene kunstig intelligens, dyp læring og maskinlæring.
Andre tror at disse enhetene bare tar inn informasjon og lærer av den på egen hånd. Vel... Det er litt villedende. Datamerking er metoden som brukes til å trene datamaskiner til å bli "smarte", siden de har begrensede muligheter uten menneskelig instruksjon.
For å trene datamaskinen til å handle "smart", legger vi inn dataene i ulike former og lærer den ulike strategier ved hjelp av datamerking.
Datasett må merkes eller merkes med en rekke permutasjoner av samme informasjon som en del av vitenskapen som ligger til grunn for datamerking.
Innsatsen og engasjementet som legges ned i sluttproduktet er prisverdig, selv når det overrasker og gjør hverdagen vår enklere.
Lær om datamerking i denne artikkelen for å lære hva det er, hvordan det fungerer, ulike typer datamerking, hindringer og mye mer.
Så hva er datamerking?
In maskinlæring, kaliberet og arten til inngangsdataene dikterer kaliberet og arten til utdataene. AI-modellens nøyaktighet forbedres av kaliberet til dataene som brukes til å trene den.
Med andre ord er datamerking handlingen med å merke eller kommentere forskjellige ustrukturerte eller strukturerte datasett for å lære en datamaskin å identifisere forskjeller og mønstre mellom dem.
En illustrasjon vil hjelpe deg å forstå dette. Det er nødvendig å merke hvert rødt lys i en rekke bilder for at datamaskinen skal lære at rødt lys er et signal om å stoppe.
På bakgrunn av dette utvikler AI en algoritme som i enhver situasjon vil tolke et rødt lys som en stoppindikasjon. En annen illustrasjon er muligheten til å kategorisere forskjellige datasett under overskriftene jazz, pop, rock, klassisk og mer for å skille forskjellige musikalske sjangere.
For å si det enkelt refererer datamerking i maskinlæring til prosessen med å oppdage umerkede data (som bilder, tekstfiler, videoer osv.) og legge til en eller flere relevante etiketter for å tilby kontekst slik at en maskinlæringsmodell kan lære av den.
Etiketter kan for eksempel si om et røntgenbilde viser en svulst eller ikke, hvilke ord som ble sagt i et lydklipp, eller om et bilde av en fugl eller en bil.
Datamerking er avgjørende for en rekke brukstilfeller, inkludert talegjenkjenning, datasyn, og naturlig språkbehandling.
Datamerking: Hvorfor er det viktig?
For det første er den fjerde industrielle revolusjonen sentrert om ferdighetene til treningsmaskiner. Som et resultat rangerer den blant de viktigste programvarefremskritt i dag.
Maskinlæringssystemet ditt må opprettes, noe som involverer datamerking. Det etablerer systemets muligheter. Det er ikke noe system hvis data ikke er merket.
Mulighetene med datamerking begrenses kun av din kreativitet. Enhver handling du kan kartlegge inn i systemet vil gjentas med ny informasjon.
Dette betyr at typen, mengden og mangfoldet av data du kan lære systemet vil avgjøre dets intelligens og kapasitet.
Det andre er at datamerkingsarbeid kommer før datavitenskapelig arbeid. Følgelig er datamerking nødvendig for datavitenskap. Feil og feil i datamerking påvirker datavitenskap. Alternativt, for å bruke en grovere klisjé, "søppel inn, søppel ut."
For det tredje betyr The Art of Data Labeling en endring i hvordan folk nærmer seg utviklingen av AI-systemer. Vi avgrenser samtidig strukturen til datamerkingen for å bedre møte målene våre i stedet for bare å forsøke å forbedre matematiske teknikker.
Moderne automatisering er basert på dette, og det er sentrum for AI-transformasjonen som for tiden pågår. Nå mer enn noen gang mekaniseres kunnskapsarbeidet.
Hvordan fungerer datamerking?
Følgende kronologisk rekkefølge følges under prosedyren for datamerking.
Datainnsamling
Data er hjørnesteinen i enhver maskinlæring. Den innledende fasen i datamerking består av å samle den passende mengden rådata i forskjellige former.
Datainnsamling kan ta en av to former: enten kommer den fra interne kilder som virksomheten har brukt, eller den kommer fra offentlig tilgjengelige eksterne kilder.
Siden de er i rå form, må disse dataene renses og behandles før datasettetikettene lages. Modellen trenes deretter ved å bruke disse rensede og forhåndsbehandlede dataene. Funnene vil være mer nøyaktige jo større og mer variert datasett er.
Annotering av data
Etter datarensing undersøker domeneeksperter dataene og legger på etiketter ved hjelp av flere datamerkingsteknikker. Modellen har en meningsfull kontekst som kan brukes som grunnsannhet.
Dette er variablene du vil at modellen skal forutsi, for eksempel bildene.
Kvalitetssikring
Kvaliteten på dataene, som skal være pålitelige, nøyaktige og konsistente, er avgjørende for suksessen til ML-modellopplæring. Regelmessige QA-tester må implementeres for å garantere denne nøyaktige og korrekte datamerkingen.
Det er mulig å vurdere nøyaktigheten til disse merknadene ved å bruke QA-teknikker som Consensus og Cronbachs alfatest. Resultatkorrektheten er betraktelig forbedret ved rutinemessige kvalitetskontroller.
Trenings- og testmodeller
De nevnte prosedyrene gir bare mening hvis dataene kontrolleres for korrekthet. Teknikken vil bli satt på prøve ved å inkludere det ustrukturerte datasettet for å sjekke om det gir de ønskede resultatene.
Strategier for datamerking
Datamerking er en møysommelig prosess som krever oppmerksomhet på detaljer. Metoden som brukes til å kommentere data vil variere avhengig av problemformuleringen, hvor mye data som må merkes, hvor kompliserte dataene er og stilen.
La oss gå gjennom noen av alternativene virksomheten din har, avhengig av ressursene den har og tiden den har tilgjengelig.
Datamerking internt
Som navnet tilsier, gjøres intern datamerking av eksperter i et selskap. Når du har nok tid, personell og økonomiske ressurser, er det det beste alternativet siden det sikrer den mest nøyaktige merkingen. Det går imidlertid sakte.
Outsourcing
Et annet alternativ for å få ting gjort er å ansette frilansere for datamerkingsoppgaver som kan bli oppdaget på ulike jobbsøkende og frilansmarkedsplasser som Upwork.
Outsourcing er et raskt alternativ for å få datamerkingstjenester, men kvaliteten kan lide, i likhet med den tidligere metoden.
crowdsourcing
Du kan logge på som rekvirent og distribuere ulike merkejobber til tilgjengelige entreprenører på spesialiserte crowdsourcing-plattformer som Amazon Mekanisk Turk (MTurk).
Selv om metoden er noe rask og rimelig, kan den ikke gi annoterte data av god kvalitet.
Merking av data automatisk.
Prosedyren kan hjelpes av programvare i tillegg til å utføres manuelt. Ved å bruke den aktive læringstilnærmingen kan tagger automatisk finne og legges til opplæringsdatasettet.
I hovedsak utvikler menneskelige spesialister en AI Auto-label-modell for å merke umerkede, rådata. Deretter bestemmer de om modellen har brukt merkingen på riktig måte. Mennesker fikser feilene etter en feil og trener algoritmen på nytt.
Utvikling av syntetiske data.
I stedet for data fra den virkelige verden, syntetiske data er et merket datasett som ble produsert kunstig. Den er produsert av algoritmer eller datasimuleringer og brukes ofte til trene maskinlæringsmodeller.
Syntetiske data er et utmerket svar på problemene med dataknapphet og variasjon i forbindelse med merkingsprosedyrer. Opprettelsen av syntetiske data fra bunnen av tilbyr en løsning.
Opprettelsen av 3D-innstillinger med elementene og rundt modellen må kunne gjenkjennes av datasettutviklere. Så mye syntetisk data som kreves for prosjektet kan gjengis.
Utfordringer ved datamerking
Krever mer tid og krefter
I tillegg til å være utfordrende å få tak i store mengder data (spesielt for høyt spesialiserte bransjer som helsevesenet), er det både arbeidskrevende og arbeidskrevende å merke hver databit for hånd, noe som krever hjelp fra menneskelige merkemaskiner.
Nesten 80 % av tiden som brukes på et prosjekt over hele syklusen av ML-utvikling, brukes på dataforberedelse, som inkluderer merking.
Mulighet for inkonsekvens
Mesteparten av tiden resulterer kryssmerking, som skjer når mange mennesker merker de samme datasettene, i større nøyaktighet.
Men fordi enkeltpersoner noen ganger har ulik grad av kompetanse, kan merkestandarder og etiketter i seg selv være inkonsekvente, noe som er et annet problem. Det er mulig for to eller flere kommentatorer å være uenige om noen tagger.
En ekspert kan for eksempel vurdere en hotellanmeldelse som gunstig, mens en annen vil vurdere den som sarkastisk og gi den en lav vurdering.
Domenekunnskap
Du vil føle nødvendigheten av å ansette merkemaskiner med spesialisert bransjekunnskap for enkelte sektorer.
Annotatorer uten nødvendig domenekunnskap vil for eksempel ha svært vanskelig for å merke varene på riktig måte mens de lager en ML-app for helsesektoren.
Tilbøyelighet til feil
Manuell merking er gjenstand for menneskelige feil, uavhengig av hvor kunnskapsrike og forsiktige merkemaskinene dine er. På grunn av det faktum at annotatorer ofte jobber med enorme rådatasett, er dette uunngåelig.
Se for deg en person som kommenterer 100,000 10 bilder med opptil XNUMX forskjellige ting.
Vanlige typer datamerking
Datamaskin syn
For å utvikle treningsdatasettet ditt, må du først merke bilder, piksler eller nøkkelpunkter, eller etablere en grense som fullstendig omslutter et digitalt bilde, kjent som en grenseramme, når du bygger et datasynssystem.
Fotografier kan kategoriseres på en rekke måter, inkludert etter innhold (det som faktisk er på selve bildet) og kvalitet (som produkt vs. livsstilsbilder).
Bilder kan også deles inn i segmenter på pikselnivå. Datasynsmodellen utviklet ved hjelp av disse treningsdataene kan deretter brukes til å automatisk klassifisere bilder, bestemme plasseringen av objekter, markere nøkkelområder i et bilde og segmentere bilder.
Natural Language Processing
Før du produserer ditt opplæringsdatasett for naturlig språkbehandling, må du manuelt velge relevante tekstfragmenter eller klassifisere materialet med spesifiserte etiketter.
Du kan for eksempel gjenkjenne talemønstre, klassifisere egennavn som steder og personer, og identifisere tekst i bilder, PDF-er eller andre medier. Det kan også være lurt å bestemme følelsen eller intensjonen til en tekstutskrift.
Lag avgrensningsbokser rundt teksten i treningsdatasettet ditt for å oppnå dette, og transkriber det deretter manuelt.
Optisk karaktergjenkjennelse, identifikasjon av enhetsnavn og sentimentanalyse utføres alle ved hjelp av naturlig språkbehandlingsmodeller.
Audio Processing
Lydbehandling transformerer alle typer lyder til et strukturert format slik at de kan brukes i maskinlæring, inkludert tale, dyrelyder (bjeffing, fløyter eller kvitring) og bygningslyder (knust glass, skanning eller sirener).
Ofte, før du kan håndtere lyd, må du manuelt konvertere den til tekst. Etter det, ved å kategorisere og legge til tagger til lyden, kan du lære mer detaljert informasjon om den. Din treningsdatasett er dette klassifisert lyd.
konklusjonen
Avslutningsvis er identifisering av dataene dine en avgjørende del av opplæringen av enhver AI-modell. En fartsfylt organisasjon har imidlertid rett og slett ikke råd til å bruke tid på å gjøre det manuelt fordi det er tidkrevende og energikrevende.
I tillegg er det en prosedyre som er utsatt for unøyaktighet og som ikke lover stor nøyaktighet. Det trenger ikke være så vanskelig, som er gode nyheter.
Dagens datamerkingsteknologier muliggjør samarbeid mellom mennesker og maskiner for å gi presise og nyttige data for en rekke maskinlæringsapplikasjoner.
Legg igjen en kommentar