De flesta modeller för maskininlärning och djupinlärning är mycket beroende av datamängd och variation för att fungera väl. Volymen och mångfalden av data som tillhandahålls under träning har en betydande inverkan på prediktionsnoggrannheten hos dessa modeller.
Modeller för djupinlärning som har lärts ut att fungera effektivt på komplicerade uppgifter inkluderar ofta dolda neuroner. Antalet träningsbara parametrar ökar i enlighet med antalet dolda neuroner.
Mängden data som krävs är proportionell mot antalet parametrar som kan läras av modellen. En metod för att hantera svårigheten med begränsad data är att tillämpa en mängd olika transformationer på nuvarande data för att syntetisera ny data.
Tekniken att syntetisera nya data från befintliga data kallas "Data Augmentation". Dataökning kan användas för att uppfylla båda kraven: mängden data och variationen av träningsdata som krävs för att utveckla korrekt maskininlärning eller djupinlärningsmodeller.
I det här inlägget kommer vi att titta närmare på dataökning, dess typer, varför det är viktigt och mycket mer.
Så, vad är Data Augmentation?
Data Augmentation är processen att utveckla ny och representativ data från befintlig data. Du kan åstadkomma detta genom att inkludera modifierade versioner av befintlig data eller syntetisera ny data.
Datauppsättningarna som produceras med denna metod kommer att förbättra din maskininlärning eller modeller för djupinlärning genom att minimera risken för övermontering. Det är processen att ändra, eller "förstärka", en datauppsättning med ytterligare information.
Denna extra inmatning kan sträcka sig från bilder till text, och den ökar prestandan hos maskininlärningssystem.
Anta att vi vill bygga en modell för att kategorisera hundraser och att vi har ett stort antal fotografier av alla sorter utom mopsar. Som ett resultat skulle modellen ha svårt att kategorisera mopsar.
Vi kan lägga till ytterligare (faktiska eller falska) mopsfoton till samlingen, eller så kan vi fördubbla våra nuvarande mopsfotografier (t.ex. genom att replikera och förvränga dem för att göra dem artificiellt unika).
Vilken nytta tjänar dataökning i nutid?
Ansökningar om maskininlärning utvecklas och diversifieras snabbt, särskilt inom området djupinlärning. De utmaningar som industrin för artificiell intelligens står inför kan övervinnas genom tekniker för dataförstärkning.
Dataökning kan förbättra prestandan och resultaten av maskininlärningsmodeller genom att lägga till nya och mångsidiga exempel till utbildningsdatauppsättningar.
När datauppsättningen är stor och tillräcklig presterar en maskininlärningsmodell bättre och är mer exakt. För maskininlärningsmodeller kan datainsamling och märkning vara tidskrävande och dyrt.
Företag kan minska sina driftskostnader genom att ändra datauppsättningar och använda strategier för att utöka data.
Rengöring av data är ett av stegen i utvecklingen av en datamodell, och det är viktigt för modeller med hög noggrannhet. Men modellen kommer inte att kunna förutse korrekta indata från den faktiska världen om datarensning minskar representabiliteten.
Maskininlärningsmodeller kan stärkas genom att använda metoder för dataförstärkning, som producerar varianser som modellen kan stöta på i den faktiska världen.
Typer av dataökning
Verklig dataökning
Verklig dataökning sker när du lägger till äkta, kompletterande data till en datauppsättning. Detta kan sträcka sig från textfiler med ytterligare attribut (för taggade bilder) till bilder av andra objekt som är jämförbara med originalobjektet, eller till och med inspelningar av det faktiska föremålet.
Till exempel, genom att lägga till några fler funktioner i en bildfil, kan en maskininlärningsmodell upptäcka objektet lättare.
Mer metadata om varje bild (t.ex. dess namn och beskrivning) kan inkluderas så att vår AI-modell vet mer om vad varje bild representerar innan den börjar träna på dessa foton.
När det är dags att kategorisera nya foton i en av våra förutbestämda kategorier, som "katt" eller "hund", kan modellen bli bättre på att upptäcka föremålen som finns i en bild och prestera överlag bättre som ett resultat.
Syntetiska data Ökning
Förutom att lägga till mer verklig data kan du också bidra syntetiska data eller artificiell data som verkar autentisk.
Detta är fördelaktigt för svåra uppgifter som överföring av neural stil, men det är också bra för alla konstruktioner, oavsett om du använder GAN (Generative Adversarial Networks), CNN (Convolutional Neural Networks) eller andra djupa neurala nätverksarkitekturer.
Om vi till exempel vill kategorisera mopsar ordentligt utan att behöva gå ut och ta ett antal bilder, kan vi lägga till några falska mopsfotografier till en samling hundbilder.
Denna form av dataökning är särskilt effektiv för att förbättra modellens noggrannhet när insamling av data är svårt, dyrt eller tidskrävande. I den här situationen utökar vi datamängden på konstgjord väg.
Antag att vår första grupp med 1000 hundrasfotografier endast innehåller 5 mopsbilder. Istället för att lägga till ytterligare faktiska mopsfotografier från riktiga hundar, låt oss skapa en falsk genom att klona en av de nuvarande och förvränga den något så att den fortfarande ser ut som en mops.
Dataökningstekniker
Tillvägagångssätt för dataökning innebär att man gör små ändringar av befintliga data. Det är samma sak som att omformulera ett uttalande. Vi kan dela in dataökning i tre kategorier:
text
- Ordersättning: Denna dataökningsmetod inkluderar att ersätta nuvarande termer med synonymer. Som ett exempel kan "Den här filmen är dåraktig" bli "Den här filmen är idiotisk."
- Blandning av mening/ord: Denna strategi innebär att man byter sekvens av fraser eller ord samtidigt som den övergripande koherensen bibehålls.
- Syntax-trädmanipulation: Du ändrar en befintlig mening så att den blir grammatiskt korrekt samtidigt som du använder samma termer.
- Slumpmässig radering: Även om den här strategin ger ful skrift är den effektiv. Som ett resultat blir raden "Jag kommer inte att köpa den här skivan eftersom den är repad" "Jag kommer inte att köpa den här eftersom den är repad." Frasen är mindre tydlig, men det är fortfarande ett rimligt tillägg.
- Bakåtöversättning: Detta tillvägagångssätt är både effektivt och roligt. Ta ett uttalande skrivet på ditt språk, översätt det till ett annat språk och översätt det sedan tillbaka till ditt originalspråk.
Bilder
- Kärnfilter: Detta tillvägagångssätt gör en bild skarpare eller suddig.
- Bildkombination: Även om det kan verka konstigt kan du blanda foton.
- Radera slumpmässigt: Radera en liten del av den aktuella bilden.
- Geometriska transformationer: Detta tillvägagångssätt innefattar bland annat att godtyckligt vända, rotera, beskära eller översätta bilder.
- Vända en bild: Du kan vända en bild från horisontell till vertikal orientering.
- Färgrymdstransformation: Du kan modifiera RGB-färgkanalerna eller förbättra vilken aktuell färg som helst.
- Omskalning är processen att justera den visuella skalan. Du har möjlighet att skala in eller ut. När du skalar inåt blir bilden mindre än den ursprungliga storleken. Bilden blir större än originalet om du skalar den utåt.
Audio
- Tonhöjd: Detta tillvägagångssätt innebär att ljudets tonhöjd ändras.
- Ändra hastighet: Ändra hastigheten på ljudfilen eller inspelningen.
- Mer brus: Du kan lägga till mer brus till ljudfilen.
Användningsfall
Medicinsk bildbehandling är ett framträdande användningsfall för dataökning just nu. Medicinska bildsamlingar är små och det är svårt att dela data på grund av regler och integritetsproblem.
Dessutom är datamängder mycket mer begränsade när det gäller ovanliga störningar. Medicinska bildföretag använder dataförstärkning för att diversifiera sina datamängder.
Utmaningar
Skalbarhet, olika datauppsättningar och relevans är några av de problem som måste lösas för att kunna utveckla effektiva dataförstärkningstekniker.
När det gäller skalbarhet måste utökad data vara skalbar så att många olika modeller kan använda den. Du vill försäkra dig om att detta kan dupliceras för användning i framtida modeller eftersom det kan ta lite tid att sätta upp ett dataförstärkningssystem som genererar en stor mängd relevant, värdefull, förbättrad data.
När det gäller heterogenitet har olika datauppsättningar distinkta egenskaper som måste beaktas när man utvecklar utökade data. För att utveckla lämpliga förbättrade data måste egenskaperna för varje datauppsättning användas.
Med andra ord kommer dataförstärkning att skilja sig mellan datauppsättningar och användningsfall.
Slutligen, för att garantera att fördelarna med ökad data överstiger eventuella faror, bör den utökade data utvärderas med hjälp av lämpliga mätvärden innan de används av maskininlärningsmodeller.
Till exempel kan förekomsten av betydande bakgrundsbrus eller icke-relaterade objekt i bildbaserad utökad data ha en skadlig inverkan på modellens prestanda.
Slutsats
I slutändan, oavsett om du försöker förutse förlust, identifiera ekonomiskt bedrägeri eller konstruera bättre bildklassificering modeller, är dataökning ett avgörande sätt att bygga mer exakta, robusta modeller.
Genom en överlägsen utbildningsprocedur kan enkel förbearbetning och dataökning till och med hjälpa team att utveckla banbrytande modeller.
Företag kan använda dataökning för att minska den tid som ägnas åt att förbereda träningsdata och för att skapa maskininlärningsmodeller som är mer exakta och snabbare.
Genom att utöka mängden relevant data i datamängden kan dataförstärkning också gynna maskininlärningsmodeller som redan har mycket data.
Kommentera uppropet