La majoria dels models d'aprenentatge automàtic i d'aprenentatge profund depenen en gran mesura de la quantitat i varietat de dades per funcionar bé. El volum i la diversitat de dades proporcionades durant la formació tenen un impacte significatiu en la precisió de predicció d'aquests models.
Els models d'aprenentatge profund als quals s'ha ensenyat a realitzar tasques complicades sovint inclouen neurones ocultes. El nombre de paràmetres entrenables augmenta segons el nombre de neurones ocultes.
La quantitat de dades requerides és proporcional al nombre de paràmetres d'aprenentatge del model. Un mètode per fer front a la dificultat de les dades limitades és aplicar una varietat de transformacions a les dades actuals per sintetitzar noves dades.
La tècnica de síntesi de dades noves a partir de dades existents s'anomena "augment de dades". L'augment de dades es pot utilitzar per complir ambdós requisits: el volum de dades i la varietat de dades d'entrenament necessàries per desenvolupar models d'aprenentatge automàtic o d'aprenentatge profund.
En aquesta publicació, veurem de prop l'augment de dades, els seus tipus, per què és essencial i molt més.
Aleshores, què és l'augment de dades?
L'augment de dades és el procés de desenvolupament de dades noves i representatives a partir de dades existents. Podeu aconseguir-ho incloent versions modificades de dades existents o sintetitzant dades noves.
Els conjunts de dades produïts per aquest mètode milloraran el vostre aprenentatge automàtic o models d'aprenentatge profund minimitzant el risc de sobreajustament. És el procés de canviar o "augmentar" un conjunt de dades amb informació addicional.
Aquesta entrada addicional pot anar des d'imatges fins a text i augmenta el rendiment dels sistemes d'aprenentatge automàtic.
Suposem que volem construir un model per categoritzar les races de gossos i tenim un gran nombre de fotografies de totes les varietats excepte els carlins. Com a resultat, el model tindria dificultats per categoritzar els carlins.
Podríem afegir fotos de carlins addicionals (reals o falses) a la col·lecció, o podríem duplicar les nostres fotografies actuals de carlins (per exemple, replicant-les i distorsionant-les per fer-les artificialment úniques).
Per a què serveix l'augment de dades en el present?
Aplicacions per a màquina d'aprenentatge s'estan desenvolupant i diversificant ràpidament, especialment en el camp de l'aprenentatge profund. Els reptes als quals s'enfronta la indústria de la intel·ligència artificial es poden superar mitjançant tècniques d'augment de dades.
L'augment de dades pot millorar el rendiment i els resultats dels models d'aprenentatge automàtic afegint exemples nous i diversos als conjunts de dades d'entrenament.
Quan el conjunt de dades és gran i suficient, un model d'aprenentatge automàtic funciona millor i és més precís. Per als models d'aprenentatge automàtic, la recopilació de dades i l'etiquetatge pot ser llarg i costós.
Les empreses poden reduir els seus costos operatius canviant conjunts de dades i utilitzant estratègies d'augment de dades.
La neteja de dades és una de les etapes en el desenvolupament d'un model de dades, i és essencial per als models d'alta precisió. Tanmateix, el model no podrà preveure les entrades adequades del món real si la neteja de dades disminueix la representabilitat.
Els models d'aprenentatge automàtic es poden reforçar utilitzant enfocaments d'augment de dades, que produeixen variacions que el model podria trobar al món real.
Tipus d'augment de dades
Augment de dades reals
L'augment de dades real es produeix quan afegiu dades addicionals i genuïnes a un conjunt de dades. Això pot anar des de fitxers de text amb atributs addicionals (per a imatges etiquetades) fins a imatges d'altres objectes comparables a l'objecte original, o fins i tot enregistraments de la cosa real.
Per exemple, afegint algunes funcions més a un fitxer d'imatge, un model d'aprenentatge automàtic pot detectar l'element més fàcilment.
Es poden incloure més metadades sobre cada imatge (per exemple, el seu nom i descripció) perquè el nostre model d'IA sàpiga més sobre què representa cada imatge abans de començar a entrenar-se amb aquestes fotos.
Quan arribi el moment de classificar les fotos noves en una de les nostres categories predeterminades, com ara "gat" o "gos", el model podria ser més capaç de detectar els elements que hi ha en una imatge i, com a resultat, tenir un millor rendiment.
Dades sintètiques Augment
A part d'afegir més dades reals, també podeu contribuir dades sintètiques o dades artificials que semblen autèntiques.
Això és beneficiós per a tasques difícils com la transferència d'estil neuronal, però també és bo per a qualsevol disseny, ja sigui que utilitzeu GAN (Xarxes Adversarials Generatives), CNN (Xarxes Neurals Convolucionals) o altres arquitectures de xarxes neuronals profundes.
Per exemple, si volem categoritzar correctament els carlins sense haver de sortir a fer diverses fotos, podríem afegir algunes fotografies de carlins falses a una col·lecció d'imatges de gossos.
Aquesta forma d'augment de dades és especialment eficaç per millorar la precisió del model quan la recollida de dades és difícil, costosa o requereix molt de temps. En aquesta situació, estem ampliant artificialment el conjunt de dades.
Suposem que el nostre grup inicial de 1000 fotografies de races de gossos conté només 5 imatges de carlins. En lloc d'afegir fotografies de carlins reals addicionals de gossos reals, creem-ne una de falsa clonant-ne una de les actuals i distorsionant-la lleugerament perquè encara sembli un carlin.
Tècniques d'augment de dades
Els enfocaments d'augment de dades impliquen fer petites modificacions a les dades existents. És el mateix que reformular una declaració. Podem dividir l'augment de dades en tres categories:
Text
- Substitució de paraules: aquest enfocament d'augment de dades inclou la substitució dels termes actuals per sinònims. Per exemple, "Aquesta pel·lícula és ximple" es pot convertir en "Aquesta pel·lícula és idiota".
- Barallament de frases/paraules: aquesta estratègia consisteix a canviar la seqüència de frases o paraules mantenint la coherència general.
- Manipulació de l'arbre de sintaxi: canvieu una frase existent perquè sigui gramaticalment precisa mentre utilitzeu els mateixos termes.
- Eliminació aleatòria: encara que aquesta estratègia produeix una escriptura lletja, és efectiva. Com a resultat, la línia "No compraré aquest disc perquè està ratllat" passa a ser "No compraré això perquè està ratllat". La frase és menys clara, però segueix sent un afegit plausible.
- Traducció posterior: aquest enfocament és alhora eficaç i agradable. Preneu una declaració escrita en el vostre idioma, traduïu-la a un altre idioma i, a continuació, torneu-la a traduir al vostre idioma original.
imatges
- Filtres del nucli: aquest enfocament afina o difumina una imatge.
- Combinació d'imatges: tot i que pot semblar estrany, podeu barrejar fotos.
- Esborrar aleatòriament: suprimiu una petita part de la imatge actual.
- Transformacions geomètriques: aquest enfocament inclou, entre altres coses, capgirar, girar, retallar o traduir imatges arbitràriament.
- Invertir una imatge: pots capgirar una imatge d'orientació horitzontal a vertical.
- Transformació de l'espai de color: podeu modificar els canals de color RGB o millorar qualsevol color actual.
- El re-escala és el procés d'ajust de l'escala visual. Tens l'opció d'augmentar o reduir l'escala. Quan escala cap a dins, la imatge es fa més petita que la mida inicial. La imatge serà més gran que l'original si l'escaleu cap a l'exterior.
Audio XNUMX
- Pitch: aquest enfocament implica canviar el to de l'àudio.
- Canvia la velocitat: canvia la velocitat del fitxer d'àudio o de la gravació.
- Més soroll: podeu afegir més soroll al fitxer d'àudio.
Cas d'ús
La imatge mèdica és un cas d'ús destacat per a l'augment de dades ara mateix. Les col·leccions d'imatges mèdiques són petites i compartir dades és difícil a causa de les normes i problemes de privadesa.
A més, els conjunts de dades són molt més restringits en el cas de trastorns poc freqüents. Les empreses d'imatge mèdica utilitzen l'augment de dades per diversificar els seus conjunts de dades.
Challenges
L'escalabilitat, la diversitat de conjunts de dades i la rellevància són alguns dels problemes que cal resoldre per desenvolupar tècniques eficients d'augment de dades.
Pel que fa a l'escalabilitat, les dades augmentades han de ser escalables perquè molts models diferents les puguin utilitzar. Voleu assegurar-vos que això es pot duplicar per utilitzar-lo en models futurs, ja que la configuració d'un sistema d'augment de dades que generi una gran quantitat de dades pertinents, valuoses i millorades pot trigar una mica.
Pel que fa a l'heterogeneïtat, diversos conjunts de dades tenen característiques diferents que s'han de tenir en compte mentre es desenvolupen dades augmentades. Per desenvolupar dades millorades adequades, s'han d'utilitzar les propietats de cada conjunt de dades.
En altres paraules, l'augment de dades diferirà entre conjunts de dades i casos d'ús.
Finalment, per garantir que els avantatges de l'augment de les dades superen qualsevol perill, les dades augmentades s'han d'avaluar mitjançant mètriques adequades abans de ser utilitzades pels models d'aprenentatge automàtic.
Per exemple, la presència de soroll de fons important o elements no relacionats en dades augmentades basades en imatges podria tenir un impacte perjudicial en el rendiment del model.
Conclusió
En última instància, tant si esteu intentant preveure pèrdues, identificar el frau financer o construir-ne millor classificació d'imatges models, l'augment de dades és una manera crítica de construir models més precisos i robustos.
Mitjançant un procediment de formació superior, un simple preprocessament i l'augment de dades poden fins i tot ajudar els equips a desenvolupar models d'avantguarda.
Les empreses poden utilitzar l'augment de dades per reduir la quantitat de temps dedicat a preparar les dades de formació i crear models d'aprenentatge automàtic que siguin més precisos i ràpids..
En ampliar la quantitat de dades pertinents al conjunt de dades, l'augment de dades també pot beneficiar els models d'aprenentatge automàtic que ja tenen moltes dades.
Deixa un comentari