Innehållsförteckning[Dölj][Visa]
Många föreställer sig robotar som de i science fiction-filmer som efterliknar eller till och med överträffar mänskligt intellekt när de hör termerna artificiell intelligens, djupinlärning och maskininlärning.
Andra tror att dessa enheter bara tar in information och lär sig av den på egen hand. Tja... Det är lite bedrägligt. Datamärkning är metoden som används för att träna datorer att bli "smarta", eftersom de har begränsad kapacitet utan mänsklig instruktion.
För att träna datorn att agera "smart" matar vi in data i olika former och lär den olika strategier med hjälp av datamärkning.
Datauppsättningar måste annoteras eller märkas med flera permutationer av samma information som en del av den vetenskap som ligger till grund för datamärkning.
Ansträngningen och det engagemang som lagts ner på slutprodukten är berömvärt, även när det överraskar och gör vårt dagliga liv enklare.
Lär dig mer om datamärkning i den här artikeln för att lära dig vad det är, hur det fungerar, olika typer av datamärkning, hinder och mycket mer.
Så, vad är datamärkning?
In maskininlärning, kalibern och arten av ingångsdata dikterar kalibern och arten av utgången. Din AI-modells noggrannhet förbättras av kalibern på den data som används för att träna den.
Med andra ord är datamärkning handlingen att märka eller kommentera olika ostrukturerade eller strukturerade datamängder för att lära en dator att identifiera skillnader och mönster mellan dem.
En illustration hjälper dig att förstå detta. Det är nödvändigt att märka varje rött ljus i en mängd olika bilder för att datorn ska lära sig att rött ljus är en signal att stanna.
Utifrån detta utvecklar AI en algoritm som i varje situation kommer att tolka ett rött ljus som en stoppindikering. En annan illustration är möjligheten att kategorisera olika datamängder under rubrikerna jazz, pop, rock, klassiskt och mer för att separera olika musikgenrer.
För att uttrycka det enkelt, datamärkning i maskininlärning hänvisar till processen att upptäcka omärkta data (som foton, textfiler, videor, etc.) och lägga till en eller flera relevanta etiketter för att erbjuda sammanhang så att en maskininlärningsmodell kan lära av Det.
Etiketter kan till exempel säga om en röntgenbild visar en tumör eller inte, vilka ord som sades i ett ljudklipp eller om en bild på en fågel eller en bil.
Datamärkning är avgörande för ett antal användningsfall, inklusive taligenkänning, dator visionoch naturlig språkbehandling.
Datamärkning: Varför är det viktigt?
För det första är den fjärde industriella revolutionen centrerad på skickligheten att träna maskiner. Som ett resultat rankas den bland de viktigaste mjukvaruframstegen i nuet.
Ditt maskininlärningssystem måste skapas, vilket innebär datamärkning. Det fastställer systemets kapacitet. Det finns inget system om data inte är märkta.
Möjligheterna med datamärkning begränsas endast av din kreativitet. Alla åtgärder du kan mappa in i systemet kommer att upprepas med färsk information.
Det betyder att typen, kvantiteten och mångfalden av data du kan lära systemet kommer att avgöra dess intelligens och förmåga.
Det andra är att datamärkningsarbete kommer före datavetenskapligt arbete. Följaktligen är datamärkning nödvändig för datavetenskap. Fel och misstag i datamärkning påverkar datavetenskap. Alternativt, för att använda en grovare kliché, "skräp in, skräp ut."
För det tredje betyder The Art of Data Labeling en förändring i hur människor närmar sig utvecklingen av AI-system. Vi förfinar samtidigt strukturen för datamärkningen för att bättre uppfylla våra mål snarare än att bara försöka förbättra matematiska tekniker.
Modern automation bygger på detta, och det är centrum för den AI-transformation som för närvarande pågår. Nu mer än någonsin mekaniseras kunskapsarbetet.
Hur fungerar datamärkning?
Följande kronologisk ordning följs under datamärkningsproceduren.
Datainsamling
Data är hörnstenen i all maskininlärning. Det första steget i datamärkning består av att samla in lämplig mängd rådata i olika former.
Datainsamling kan ta en av två former: antingen kommer den från interna källor som företaget har använt, eller så kommer den från offentligt tillgängliga externa källor.
Eftersom den är i rå form måste denna data rengöras och bearbetas innan datauppsättningsetiketterna görs. Modellen tränas sedan med hjälp av denna rensade och förbearbetade data. Resultaten blir mer exakta ju större och mer varierad datamängden är.
Kommentera data
Efter datarensning undersöker domänexperter data och applicerar etiketter med hjälp av flera datamärkningstekniker. Modellen har ett meningsfullt sammanhang som kan användas som grundsanning.
Det här är de variabler som du vill att modellen ska förutsäga, till exempel bilderna.
Kvalitetssäkring
Kvaliteten på data, som bör vara pålitlig, korrekt och konsekvent, är avgörande för framgången med ML-modellutbildning. Regelbundna QA-tester måste genomföras för att garantera denna exakta och korrekta datamärkning.
Det är möjligt att bedöma riktigheten av dessa anteckningar genom att använda QA-tekniker som Consensus och Cronbachs alfatest. Resultatens korrekthet förbättras avsevärt genom rutinmässiga QA-inspektioner.
Tränings- och testmodeller
Ovannämnda procedurer är bara meningsfulla om uppgifterna kontrolleras för korrekthet. Tekniken kommer att testas genom att inkludera den ostrukturerade datamängden för att kontrollera om den ger de önskade resultaten.
Datamärkningsstrategier
Datamärkning är en mödosam process som kräver uppmärksamhet på detaljer. Metoden som används för att kommentera data kommer att variera beroende på problemformuleringen, hur mycket data som måste taggas, hur komplicerad data är och stilen.
Låt oss gå igenom några av alternativen som ditt företag har, beroende på vilka resurser det har och den tid det har tillgängligt.
Datamärkning internt
Som namnet antyder görs intern datamärkning av experter inom ett företag. När du har tillräckligt med tid, personal och ekonomiska resurser är det det bästa alternativet eftersom det säkerställer den mest exakta märkningen. Det går dock långsamt.
Outsourcing
Ett annat alternativ för att få saker gjorda är att anställa frilansare för datamärkningsuppgifter som kan upptäckas på olika arbetssökande och frilansande marknadsplatser som Upwork.
Outsourcing är ett snabbt alternativ för att få datamärkningstjänster, men kvaliteten kan bli lidande, liknande den tidigare metoden.
Crowdsourcing
Du kan logga in som beställare och distribuera olika märkningsjobb till tillgängliga entreprenörer på specialiserade crowdsourcing-plattformar som Amazon Mekanisk Turk (MTurk).
Metoden, även om den är något snabb och billig, kan inte ge annoterade data av god kvalitet.
Märkning av data automatiskt.
Proceduren kan underlättas av programvara förutom att utföras manuellt. Genom att använda den aktiva inlärningsmetoden kan taggar automatiskt hittas och läggas till träningsdatauppsättningen.
I huvudsak utvecklar mänskliga specialister en AI Auto-label-modell för att markera omärkta, rådata. Sedan avgör de om modellen har tillämpat märkningen på lämpligt sätt. Människor fixar misstagen efter ett misslyckande och tränar om algoritmen.
Utveckling av syntetisk data.
I stället för verkliga data, syntetiska data är en märkt datauppsättning som tillverkades på konstgjord väg. Den produceras av algoritmer eller datorsimuleringar och är ofta van vid träna maskininlärningsmodeller.
Syntetisk data är ett utmärkt svar på frågorna om databrist och variation i samband med märkningsförfaranden. Skapelsen av syntetiska data från grunden erbjuder en lösning.
Skapandet av 3D-inställningar med objekten och som omger modellen måste kunna kännas igen av datauppsättningsutvecklare. Så mycket syntetisk data som krävs för projektet kan renderas.
Datamärkningens utmaningar
Kräver mer tid och ansträngning
Förutom att det är en utmaning att få fram stora mängder data (särskilt för högspecialiserade branscher som sjukvård), är det både arbetsintensivt och mödosamt att märka varje data för hand, vilket kräver hjälp av mänskliga etiketter.
Nästan 80 % av den tid som spenderas på ett projekt under hela cykeln av ML-utveckling går åt till databeredning, vilket inkluderar märkning.
Möjlighet för inkonsekvens
För det mesta resulterar korsmärkning, som händer när många människor märker samma uppsättningar data, i större noggrannhet.
Men eftersom individer ibland har olika grader av kompetens, kan märkningsstandarder och etiketter i sig vara inkonsekventa, vilket är en annan fråga. Det är möjligt för två eller flera annotatorer att inte komma överens om vissa taggar.
Till exempel kan en expert betygsätta en hotellrecension som positiv medan en annan anser att den är sarkastisk och ger den ett lågt betyg.
Domänkännedom
Du kommer att känna behovet av att anlita etiketterare med specialiserad branschkunskap för vissa sektorer.
Annotatorer utan den nödvändiga domänkunskapen kommer till exempel att ha mycket svårt att tagga objekten på rätt sätt när de skapar en ML-app för sjukvårdssektorn.
Felbenägenhet
Manuell märkning är föremål för mänskliga misstag, oavsett hur kunniga och försiktiga dina etiketter är. På grund av det faktum att annotatorer ofta arbetar med enorma rådatauppsättningar är detta oundvikligt.
Föreställ dig en person som kommenterar 100,000 10 bilder med upp till XNUMX olika saker.
Vanliga typer av datamärkning
Datorsyn
För att utveckla din träningsdatauppsättning måste du först märka bilder, pixlar eller nyckelpunkter, eller upprätta en gräns som helt omsluter en digital bild, känd som en begränsningsruta, när du bygger ett datorseendesystem.
Fotografier kan kategoriseras på en mängd olika sätt, inklusive efter innehåll (vad som faktiskt finns i själva bilden) och kvalitet (som produkt kontra livsstilsbilder).
Bilder kan också delas upp i segment på pixelnivå. Den datorseendemodell som utvecklats med hjälp av dessa träningsdata kan sedan användas för att automatiskt klassificera bilder, bestämma objekts placering, markera nyckelområden i en bild och segmentera bilder.
Naturlig språkbehandling
Innan du producerar din datauppsättning för bearbetning av naturligt språk måste du manuellt välja relevanta textfragment eller klassificera materialet med specificerade etiketter.
Du kan till exempel vilja känna igen talmönster, klassificera egennamn som platser och personer och identifiera text i bilder, PDF-filer eller andra medier. Du kanske också vill bestämma känslan eller avsikten med en texttext.
Skapa begränsningsrutor runt texten i din träningsdatauppsättning för att åstadkomma detta och transkribera den sedan manuellt.
Optisk teckenigenkänning, identifiering av enhetsnamn och sentimentanalys utförs alla med hjälp av bearbetningsmodeller för naturligt språk.
Ljudbearbetning
Ljudbehandling omvandlar alla typer av ljud till ett strukturerat format så att de kan användas i maskininlärning, inklusive tal, djurljud (skäller, visselpipor eller pip) och byggnadsljud (krossat glas, skanning eller sirener).
Ofta, innan du kan hantera ljud måste du manuellt konvertera det till text. Därefter, genom att kategorisera och lägga till taggar till ljudet, kan du lära dig mer djupgående information om det. Din utbildningsdataset är detta klassificerat ljud.
Slutsats
Sammanfattningsvis är identifiering av dina data en avgörande del av träningen av alla AI-modeller. En organisation med högt tempo har dock helt enkelt inte råd att lägga tid på att göra det manuellt eftersom det är tidskrävande och energikrävande.
Dessutom är det en procedur som är benägen att bli felaktig och som inte lovar stor noggrannhet. Det behöver inte vara så svårt, vilket är utmärkta nyheter.
Dagens datamärkningstekniker möjliggör samarbete mellan människor och maskiner för att tillhandahålla exakta och användbara data för en mängd olika maskininlärningsapplikationer.
Kommentera uppropet