Lielākā daļa mašīnmācīšanās un dziļās mācīšanās modeļu ir ļoti atkarīgi no datu apjoma un daudzveidības, lai tie darbotos labi. Apmācības laikā sniegto datu apjoms un daudzveidība būtiski ietekmē šo modeļu prognozēšanas precizitāti.
Dziļās mācīšanās modeļos, kas ir iemācīti efektīvi veikt sarežģītus uzdevumus, bieži ir iekļauti slēptie neironi. Trenējamo parametru skaits palielinās atkarībā no slēpto neironu skaita.
Nepieciešamais datu apjoms ir proporcionāls modeļa apgūstamo parametru skaitam. Viena no metodēm ierobežotu datu grūtību risināšanai ir pašreizējo datu dažādu transformāciju pielietošana, lai sintezētu jaunus datus.
Jaunu datu sintezēšanas paņēmiens no esošajiem datiem tiek saukts par "datu palielināšanu". Datu palielināšanu var izmantot, lai izpildītu abas prasības: datu apjomu un apmācības datu daudzveidību, kas nepieciešama, lai izstrādātu precīzus mašīnmācīšanās vai dziļās mācīšanās modeļi.
Šajā ziņojumā mēs rūpīgi apskatīsim datu palielināšanu, tā veidus, kāpēc tas ir svarīgi un daudz ko citu.
Tātad, kas ir datu palielināšana?
Datu palielināšana ir jaunu un reprezentatīvu datu izstrādes process no esošajiem datiem. To var paveikt, iekļaujot modificētas esošo datu versijas vai sintezējot jaunus datus.
Ar šo metodi iegūtās datu kopas uzlabos jūsu mašīnmācīšanos vai dziļās mācīšanās modeļi līdz minimumam samazinot pārklāšanas risku. Tas ir datu kopas ar papildu informāciju mainīšanas vai “papildināšanas” process.
Šī papildu ievade var būt no attēliem līdz tekstam, un tā uzlabo mašīnmācīšanās sistēmu veiktspēju.
Pieņemsim, ka mēs vēlamies izveidot modeli, lai klasificētu suņu šķirnes, un mums ir liels skaits fotogrāfiju no visām šķirnēm, izņemot mopšus. Tā rezultātā modelim būtu grūtības klasificēt mopšus.
Mēs varētu kolekcijai pievienot papildu (faktiskus vai nepatiesus) mopšu fotoattēlus vai dubultot pašreizējās mopšu fotogrāfijas (piemēram, atkārtojot un izkropļojot tās, lai padarītu tās mākslīgi unikālas).
Kādam lietojumam mūsdienās kalpo datu palielināšana?
Pieteikumi par mašīna mācīšanās strauji attīstās un dažādojas, īpaši dziļās mācīšanās jomā. Problēmas, ar kurām saskaras mākslīgā intelekta nozare, var pārvarēt, izmantojot datu palielināšanas metodes.
Datu palielināšana var uzlabot mašīnmācīšanās modeļu veiktspēju un rezultātus, apmācību datu kopām pievienojot jaunus un daudzveidīgus piemērus.
Ja datu kopa ir liela un pietiekama, mašīnmācīšanās modelis darbojas labāk un ir precīzāks. Mašīnmācīšanās modeļos datu vākšana un marķēšana var būt laikietilpīga un dārga.
Uzņēmumi var samazināt savas darbības izmaksas, mainot datu kopas un izmantojot datu palielināšanas stratēģijas.
Datu tīrīšana ir viens no datu modeļa izstrādes posmiem, un tas ir būtiski augstas precizitātes modeļiem. Tomēr modelis nespēs paredzēt pareizu ievadi no reālās pasaules, ja datu tīrīšana samazinās reprezentativitāti.
Mašīnmācīšanās modeļus var stiprināt, izmantojot datu palielināšanas pieejas, kas rada atšķirības, ar kurām modelis varētu saskarties reālajā pasaulē.
Datu papildināšanas veidi
Reālu datu papildināšana
Reālu datu palielināšana notiek, kad datu kopai pievienojat īstus papildu datus. Tas var būt no teksta failiem ar papildu atribūtiem (atzīmētiem attēliem) līdz citu objektu attēliem, kas ir salīdzināmi ar sākotnējo objektu, vai pat faktiskās lietas ierakstiem.
Piemēram, pievienojot attēla failam vēl dažas funkcijas, mašīnmācības modelis var vieglāk noteikt vienumu.
Var tikt iekļauti vairāk metadatu par katru attēlu (piemēram, tā nosaukums un apraksts), lai mūsu AI modelis uzzinātu vairāk par to, ko katrs attēls attēlo, pirms tas sāk apmācīt šos fotoattēlus.
Kad ir pienācis laiks klasificēt jaunus fotoattēlus kādā no mūsu iepriekš noteiktajām kategorijām, piemēram, “kaķis” vai “suns”, modelis varētu labāk noteikt attēlā redzamos vienumus un tādējādi kopumā labāk darboties.
Sintētiskie dati pieaugums
Papildus reālu datu pievienošanai varat arī sniegt ieguldījumu sintētiskie dati vai mākslīgi dati, kas šķiet autentiski.
Tas ir noderīgi sarežģītiem uzdevumiem, piemēram, neironu stila pārsūtīšanai, taču tas ir piemērots arī jebkuram dizainam neatkarīgi no tā, vai izmantojat GAN (ģeneratīvos pretrunīgos tīklus), CNN (konvolucionālos neironu tīklus) vai citas dziļās neironu tīkla arhitektūras.
Piemēram, ja mēs vēlamies pareizi iedalīt mopšus kategorijās, neizejot un neuzņemot vairākus fotoattēlus, mēs varētu pievienot dažas nepatiesas mopšu fotogrāfijas suņu attēlu kolekcijai.
Šis datu papildināšanas veids ir īpaši efektīvs, lai uzlabotu modeļa precizitāti, ja datu apkopošana ir sarežģīta, dārga vai laikietilpīga. Šajā situācijā mēs mākslīgi paplašinām datu kopu.
Pieņemsim, ka mūsu sākotnējā 1000 suņu šķirņu fotogrāfiju grupā ir tikai 5 mopšu attēli. Tā vietā, lai pievienotu papildu faktiskas mopša fotogrāfijas no īstām suņiem, izveidosim viltotu, klonējot vienu no esošajām un nedaudz izkropļojot to, lai tas joprojām izskatītos kā mops.
Datu palielināšanas metodes
Datu palielināšanas pieejas ietver nelielu modifikāciju veikšanu esošajos datos. Tas ir tas pats, kas pārfrāzēt paziņojumu. Mēs varam iedalīt datu papildināšanu trīs kategorijās:
Teksts
- Vārdu aizstāšana: šī datu papildināšanas pieeja ietver pašreizējo terminu aizstāšanu ar sinonīmiem. Piemēram, “Šī filma ir muļķīga” var kļūt par “Šī filma ir idiotiska”.
- Teikumu/vārdu sajaukšana: šī stratēģija ietver frāžu vai vārdu secības maiņu, vienlaikus saglabājot kopējo saskaņotību.
- Sintakses koka manipulācijas: jūs maināt esošo teikumu, lai tas būtu gramatiski precīzs, vienlaikus izmantojot tos pašus terminus.
- Izlases dzēšana: lai gan šī stratēģija rada neglītu rakstīšanu, tā ir efektīva. Rezultātā rinda “Es neiegādāšos šo ierakstu, jo tas ir saskrāpēts” kļūst par “Es nepirkšu šo ierakstu, jo tas ir saskrāpēts”. Frāze ir mazāk skaidra, taču tā joprojām ir ticams papildinājums.
- Tulkojums atpakaļ: šī pieeja ir gan efektīva, gan patīkama. Paņemiet paziņojumu, kas rakstīts jūsu valodā, tulkojiet to citā valodā un pēc tam atkārtoti tulkojiet to oriģinālvalodā.
Attēli
- Kodola filtri: šī pieeja padara attēlu asāku vai izplūdušu.
- Attēlu kombinācija: lai gan tas var šķist dīvaini, varat sajaukt fotoattēlus.
- Dzēšana pēc nejaušības principa: izdzēsiet nelielu pašreizējā attēla daļu.
- Ģeometriskās transformācijas: šī pieeja cita starpā ietver patvaļīgu attēlu apgriešanu, pagriešanu, apgriešanu vai tulkošanu.
- Attēla apvēršana: varat apgriezt attēlu no horizontālas uz vertikālu orientāciju.
- Krāsu telpas transformācija: varat modificēt RGB krāsu kanālus vai uzlabot jebkuru pašreizējo krāsu.
- Mērogošana ir vizuālās skalas pielāgošanas process. Jums ir iespēja palielināt vai samazināt. Ja mērogojat uz iekšu, attēls kļūst mazāks par sākotnējo izmēru. Attēls būs lielāks par oriģinālu, ja to mērogosit uz āru.
Audio
- Augstums: šī pieeja ietver audio augstuma maiņu.
- Mainīt ātrumu: mainiet audio faila vai ieraksta ātrumu.
- Vairāk trokšņu: varat pievienot audio failam vairāk trokšņa.
Izmantot gadījumu
Medicīniskā attēlveidošana šobrīd ir ievērojams izmantošanas gadījums datu papildināšanai. Medicīnisko attēlu kolekcijas ir nelielas, un datu koplietošana ir sarežģīta noteikumu un privātuma apsvērumu dēļ.
Turklāt datu kopas ir daudz ierobežotākas neparastu traucējumu gadījumā. Medicīniskās attēlveidošanas uzņēmumi izmanto datu palielināšanu, lai dažādotu savas datu kopas.
Izaicinājumi
Mērogojamība, dažādas datu kopas un atbilstība ir dažas no problēmām, kas jāatrisina, lai izstrādātu efektīvas datu papildināšanas metodes.
Mērogojamības ziņā paplašinātajiem datiem ir jābūt mērogojamiem, lai tos varētu izmantot daudzi dažādi modeļi. Vēlēsities pārliecināties, ka to var dublēt, lai to izmantotu turpmākajos modeļos, jo datu papildināšanas sistēmas iestatīšana, kas ģenerē lielu daudzumu atbilstošu, vērtīgu, uzlabotu datu, var aizņemt kādu laiku.
Runājot par neviendabīgumu, dažādām datu kopām ir atšķirīgas iezīmes, kas jāņem vērā, izstrādājot paplašinātos datus. Lai izstrādātu atbilstošus uzlabotus datus, ir jāizmanto katras datu kopas īpašības.
Citiem vārdiem sakot, datu papildināšana dažādās datu kopās un lietošanas gadījumos atšķirsies.
Visbeidzot, lai garantētu, ka palielināto datu priekšrocības pārsniedz visus riskus, papildinātie dati ir jānovērtē, izmantojot piemērotus rādītājus, pirms tos izmanto mašīnmācīšanās modeļos.
Piemēram, ievērojama fona trokšņa vai nesaistītu vienumu klātbūtne uz attēliem balstītos paplašinātajos datos var negatīvi ietekmēt modeļa veiktspēju.
Secinājumi
Galu galā neatkarīgi no tā, vai mēģināt prognozēt zaudējumus, identificēt finanšu krāpšanu vai izveidot labāku attēlu klasifikācija modeļiem, datu palielināšana ir būtisks veids, kā izveidot precīzākus, izturīgākus modeļus.
Izmantojot izcilu apmācības procedūru, vienkārša priekšapstrāde un datu papildināšana var pat palīdzēt komandām izstrādāt progresīvus modeļus.
Uzņēmumi var izmantot datu palielināšanu, lai samazinātu apmācību datu sagatavošanai patērēto laiku un izveidotu precīzākus un ātrākus mašīnmācīšanās modeļus..
Paplašinot atbilstošo datu daudzumu datu kopā, datu palielināšana var sniegt labumu arī mašīnmācīšanās modeļiem, kuriem jau ir daudz datu.
Atstāj atbildi