Syväoppiminen on ollut tekniikan otsikoissa jo vuosia. Ja on helppo ymmärtää miksi.
Tämä tekoälyn haara muuttaa sektoreita terveydenhuollosta pankkialaan ja liikenteeseen, mikä mahdollistaa aiemmin käsittämättömiä edistysaskeleita.
Syväoppiminen perustuu monimutkaisiin algoritmeihin, jotka oppivat poimimaan ja ennustamaan monimutkaisia kuvioita valtavista tietomääristä.
Tarkastelemme tässä viestissä 15 parasta syväoppimisalgoritmia, konvoluutiohermoverkoista generatiivisiin vastakkaisiin verkkoihin ja pitkän lyhytaikaisen muistin verkkoihin.
Tämä viesti antaa olennaisia näkemyksiä siitä, oletko a aloittelija tai syväoppimisen asiantuntija.
1. Muuntajaverkot
Muuntajaverkot ovat muuttuneet tietokoneen visio ja luonnollisen kielen käsittelysovellukset (NLP). He analysoivat saapuvaa dataa ja käyttävät huomioprosesseja vangitakseen pitkän kantaman suhteita. Tämä tekee niistä nopeampia kuin perinteiset sarjasta sekvenssiin -mallit.
Muuntajaverkot kuvattiin ensimmäisen kerran Vaswanin et al.:n julkaisussa Attention Is All You Need.
Ne koostuvat kooderista ja dekooderista (2017). Muuntajamalli on osoittanut suorituskykyä useissa NLP-sovelluksissa, mukaan lukien tunteiden analyysi, tekstin luokittelu ja konekäännös.
Muuntajapohjaisia malleja voidaan hyödyntää myös sovellusten tietokonenäössä. He voivat suorittaa kohteen tunnistuksen ja kuvatekstityksen.
2. Pitkät lyhytaikaiset muistiverkot (LSTM)
Pitkät lyhytaikaiset muistiverkot (LSTM) ovat eräänlainen muoto neuroverkkomallien erityisesti suunniteltu käsittelemään peräkkäistä syöttöä. Heitä kutsutaan "pitkäksi lyhyeksi aikaväliksi", koska he voivat muistaa tietoa kauan sitten unohtaen samalla tarpeettoman tiedon.
LSTM:t toimivat joidenkin "porttien" kautta, jotka ohjaavat tiedonkulkua verkon sisällä. Riippuen siitä, katsotaanko tiedot tärkeäksi vai ei, nämä portit voivat joko päästää sen sisään tai estää sen.
Tämän tekniikan avulla LSTM:t voivat palauttaa tai unohtaa tietoja menneistä aikavaiheista, mikä on kriittistä puheentunnistuksen, luonnollisen kielen käsittelyn ja aikasarjan ennustamisen kaltaisissa tehtävissä.
LSTM:t ovat erittäin hyödyllisiä kaikissa tapauksissa, joissa sinulla on peräkkäisiä tietoja, jotka on arvioitava tai ennustettava. Niitä käytetään usein äänentunnistusohjelmistoissa puhuttujen sanojen muuntamiseen tekstiksi tai kieleksi pörssi analyysi tulevien hintojen ennustamiseksi aikaisempien tietojen perusteella.
3. Itseorganisoituvat kartat (SOM)
SOM:t ovat eräänlainen keinotekoinen neuroverkko, joka voi oppia ja edustaa monimutkaista dataa pieniulotteisessa ympäristössä. Menetelmä toimii muuntamalla korkeadimensionaalista syöttödataa kaksiulotteiseksi ruudukoksi, jossa jokainen yksikkö tai neuroni edustaa eri osaa syöttöavaruudesta.
Neuronit on linkitetty toisiinsa ja ne luovat topologisen rakenteen, jonka avulla ne voivat oppia ja mukautua syöttötietoihin. Joten SOM perustuu ohjaamattomaan oppimiseen.
Algoritmia ei tarvita merkittyjä tietoja oppia. Sen sijaan se käyttää syötetietojen tilastollisia ominaisuuksia löytääkseen kuvioita ja korrelaatioita muuttujien välillä.
Harjoitteluvaiheessa neuronit kilpailevat parhaan osoituksena syötetiedoista. Ja ne organisoituvat itse merkitykselliseksi rakenteeksi. SOM:illa on laaja valikoima sovelluksia, mukaan lukien kuvan- ja puheentunnistus, tiedonlouhinta ja kuviontunnistus.
Ne ovat hyödyllisiä monimutkaisten tietojen visualisointi, klusteroimalla liittyviä datapisteitä ja havaitsemalla poikkeavuuksia tai poikkeavuuksia.
4. Syvävahvistusoppiminen
Syvä Vahvistusoppiminen on eräänlainen koneoppiminen, jossa agentti koulutetaan tekemään päätöksiä palkitsemisjärjestelmän perusteella. Se toimii antamalla agentin olla vuorovaikutuksessa ympäristönsä kanssa ja oppia yrityksen ja erehdyksen kautta.
Agentti palkitaan jokaisesta tekemästään toiminnasta, ja sen tarkoituksena on oppia optimoimaan sen hyödyt ajan myötä. Tätä voidaan käyttää opettamaan agentteja pelaamaan pelejä, ajamaan autoja ja jopa hallitsemaan robotteja.
Q-Learning on hyvin tunnettu Deep Reforcement Learning -menetelmä. Se toimii arvioimalla tietyn toiminnon suorittamisen arvoa tietyssä tilassa ja päivittämällä tämän arvion, kun agentti on vuorovaikutuksessa ympäristön kanssa.
Agentti käyttää sitten näitä arvioita määrittääkseen, mikä toiminta todennäköisimmin johtaa suurimman palkinnon saamiseen. Q-Learningiä on käytetty agenttien kouluttamiseen pelaamaan Atari-pelejä sekä tehostamaan datakeskusten energiankäyttöä.
Deep Q-Networks on toinen kuuluisa Deep Reforcement Learning -menetelmä (DQN). DQN:t ovat samanlaisia kuin Q-Learning, koska ne arvioivat toiminta-arvoja käyttämällä syvää hermoverkkoa taulukon sijaan.
Tämä antaa heille mahdollisuuden käsitellä valtavia, monimutkaisia asetuksia lukuisilla vaihtoehtoisilla toimilla. DQN:itä on käytetty agenttien kouluttamiseen pelaamaan pelejä, kuten Go ja Dota 2, sekä luomaan robotteja, jotka voivat oppia kävelemään.
5. Toistuvat hermoverkot (RNN)
RNN:t ovat eräänlainen hermoverkko, joka voi käsitellä peräkkäistä dataa säilyttäen samalla sisäisen tilan. Pidä sitä samanlaisena kuin henkilö, joka lukee kirjaa, jossa jokainen sana sulatetaan suhteessa sitä edeltäneisiin.
RNN:t ovat siksi ihanteellisia tehtäviin, kuten puheentunnistukseen, kielen kääntämiseen ja jopa lauseen seuraavan sanan ennustamiseen.
RNN:t toimivat takaisinkytkentäsilmukoiden avulla yhdistämään jokaisen aikavaiheen ulostulon seuraavan aikavaiheen tuloon. Tämä mahdollistaa sen, että verkko voi hyödyntää aikaisempia aikavaiheita koskevia tietoja antaakseen ennusteitaan tuleville aikavaiheille. Valitettavasti tämä tarkoittaa myös sitä, että RNN:t ovat haavoittuvia katoavalle gradienttiongelmalle, jossa koulutukseen käytetyt gradientit tulevat hyvin pieniksi ja verkosto kamppailee oppiakseen pitkäaikaisia suhteita.
Tästä ilmeisestä rajoituksesta huolimatta RNN:t ovat löytäneet käyttöä monissa sovelluksissa. Näitä sovelluksia ovat luonnollisen kielen käsittely, puheentunnistus ja jopa musiikin tuotanto.
Google Translateesimerkiksi käyttää RNN-pohjaista järjestelmää kääntääkseen eri kielille, kun taas Siri, virtuaaliassistentti, käyttää RNN-pohjaista järjestelmää äänen havaitsemiseen. RNN:iä on käytetty myös osakekurssien ennustamiseen ja realistisen tekstin ja grafiikan luomiseen.
6. Kapseliverkot
Capsule Networks on uudenlainen hermoverkkosuunnittelu, joka tunnistaa datan kuvioita ja korrelaatioita tehokkaammin. Ne järjestävät neuronit "kapseleiksi", jotka koodaavat syötteen tiettyjä puolia.
Näin he voivat tehdä tarkempia ennusteita. Kapseliverkostot poimivat asteittain monimutkaisia ominaisuuksia syötetiedoista käyttämällä useita kapselikerroksia.
Capsule Networksin tekniikan avulla he voivat oppia tietyn syötteen hierarkkiset esitykset. Ne voivat koodata oikein kuvassa olevien kohteiden välisiä spatiaalisia yhteyksiä viestimällä kapseleiden välillä.
Objektin tunnistus, kuvan segmentointi ja luonnollisen kielen käsittely ovat kaikki Capsule Networksin sovelluksia.
Kapseliverkostoilla on potentiaalia työllistyä itsenäinen ajo teknologioita. Ne auttavat järjestelmää tunnistamaan ja erottamaan kohteet, kuten autot, ihmiset ja liikennemerkit. Nämä järjestelmät voivat välttää törmäyksiä tekemällä tarkempia ennusteita ympäristössä olevien esineiden käyttäytymisestä.
7. Variational Autoencoders (VAE)
VAE on syväoppimisen työkalu, jota käytetään ohjaamattomaan oppimiseen. Koodaamalla tiedot alemman ulottuvuuden tilaan ja dekoodaamalla sen sitten takaisin alkuperäiseen muotoon, he voivat oppia havaitsemaan datassa kuvioita.
He ovat kuin taikuri, joka voi muuttaa kanin hatuksi ja sitten takaisin pupuksi! VAE:t ovat hyödyllisiä realististen visuaalien tai musiikin luomisessa. Ja niitä voidaan käyttää tuottamaan uutta dataa, joka on verrattavissa alkuperäiseen tietoon.
VAE:t ovat samanlaisia kuin salainen koodinmurtaja. He voivat löytää taustan tietojen rakenne pilkkomalla se yksinkertaisempiin osiin, aivan kuten palapeli hajotetaan. He voivat käyttää näitä tietoja rakentaakseen uutta dataa, joka näyttää alkuperäiseltä, kun he ovat lajitellut osat.
Tämä voi olla kätevää pakattaessa valtavia tiedostoja tai tuottaessa uutta grafiikkaa tai musiikkia tietyllä tyylillä. VAE:t voivat myös tuottaa tuoretta sisältöä, kuten uutisia tai musiikin sanoituksia.
8. Generative Adversarial Networks (GAN)
GAN-verkot (Generative Adversarial Networks) ovat syväoppimisjärjestelmän muoto, joka tuottaa uutta dataa, joka muistuttaa alkuperäistä. Ne toimivat kouluttamalla kahta verkkoa: generaattorin ja erottimen verkon.
Generaattori tuottaa uutta dataa, joka on verrattavissa alkuperäiseen.
Ja erottelija yrittää erottaa alkuperäisen ja luodun tiedon. Kaksi verkkoa on koulutettu rinnakkain generaattorin yrittäessä pettää erottajaa ja erottajan yrittää tunnistaa alkuperäiset tiedot oikein.
Pidä GANeja väärentäjän ja etsivän risteytyksenä. Generaattori toimii samalla tavalla kuin väärentäjä ja tuottaa uusia taideteoksia, jotka muistuttavat alkuperäistä.
Syrjittäjä toimii etsivänä ja yrittää erottaa aidon taideteoksen väärennöksestä. Kaksi verkkoa on koulutettu rinnakkain, jolloin generaattori parantaa uskottavien väärennösten tekoa ja erottelija parantaa niiden tunnistamista.
GAN:illa on useita käyttötarkoituksia, jotka vaihtelevat realististen kuvien tuottamisesta ihmisistä tai eläimistä uuden musiikin tai kirjoittamisen luomiseen. Niitä voidaan käyttää myös tiedon lisäämiseen, mikä tarkoittaa tuotetun datan yhdistämistä todelliseen dataan suuremman tietojoukon rakentamiseksi koneoppimismallien harjoittelua varten.
9. Deep Q-Networks (DQN)
Deep Q-Networks (DQN) on eräänlainen päätöksentekoa vahvistava oppimisalgoritmi. Ne toimivat oppimalla Q-funktion, joka ennustaa odotetun palkkion tietyn toiminnon suorittamisesta tietyssä tilanteessa.
Q-funktio opetetaan yrityksen ja erehdyksen avulla, ja algoritmi yrittää erilaisia toimia ja oppii tuloksista.
Mieti sitä kuin a videopeli hahmo kokeilee erilaisia toimintoja ja selvittää mitkä niistä johtavat menestykseen! DQN:t kouluttavat Q-funktiota käyttämällä syvää neuroverkkoa, mikä tekee niistä tehokkaita työkaluja vaikeisiin päätöksentekotehtäviin.
He ovat jopa voittaneet ihmismestareita peleissä, kuten Go ja shakki, sekä robotiikassa ja itseohjautuvissa autoissa. Kaiken kaikkiaan DQN:t toimivat kokemuksesta oppimalla parantaakseen päätöksentekotaitojaan ajan myötä.
10. Radial Basis Function Network (RBFN)
Radial Basis Function Networks (RBFN) on eräänlainen hermoverkko, jota käytetään toimintojen approksimoimiseen ja luokitustehtävien suorittamiseen. Ne toimivat muuntamalla syöttödataa korkeamman ulottuvuuden avaruuteen käyttämällä kokoelmaa säteittäisiä kantafunktioita.
Verkon lähtö on lineaarinen yhdistelmä kantafunktioita, ja jokainen säteittäinen kantafunktio edustaa syöttöavaruuden keskipistettä.
RBFN:t ovat erityisen tehokkaita tilanteissa, joissa on monimutkaisia panos-lähtövuorovaikutuksia, ja niitä voidaan opettaa käyttämällä monenlaisia tekniikoita, mukaan lukien ohjattu ja valvomaton oppiminen. Niitä on käytetty kaikkeen taloudellisista ennusteista kuvan- ja puheentunnistukseen lääketieteelliseen diagnostiikkaan.
Ajattele RBFN:itä GPS-järjestelmänä, joka käyttää useita ankkuripisteitä löytääkseen tiensä haastavassa maastossa. Verkon lähtö on yhdistelmä ankkuripisteitä, jotka edustavat säteittäisiä kantafunktioita.
Voimme selata monimutkaista tietoa ja luoda tarkkoja ennusteita siitä, miten skenaario tulee käymään käyttämällä RBFN:itä.
11. Multilayer Perceptrons (MLP:t)
Tyypillistä hermoverkon muotoa, jota kutsutaan monikerroksiseksi perceptroniksi (MLP), käytetään valvotuissa oppimistehtävissä, kuten luokittelu ja regressio. Ne toimivat pinoamalla useita kerroksia linkitettyjä solmuja tai neuroneja, jolloin jokainen kerros muuttaa saapuvaa dataa epälineaarisesti.
MLP:ssä jokainen neuroni saa syötteen alla olevan kerroksen hermosoluilta ja lähettää signaalin yllä olevan kerroksen hermosoluille. Kunkin hermosolun ulostulo määritetään aktivointifunktiolla, joka antaa verkolle epälineaarisuuden.
Ne pystyvät oppimaan syöttötiedon kehittyneitä esityksiä, koska niillä voi olla useita piilotettuja kerroksia.
MLP:itä on sovellettu erilaisiin tehtäviin, kuten mielialan analysointiin, petosten havaitsemiseen sekä äänen ja kuvan tunnistamiseen. MLP:itä voidaan verrata ryhmään tutkijoita, jotka työskentelevät yhdessä murtaakseen vaikean tapauksen.
Yhdessä he voivat koota tosiasiat ja ratkaista rikoksen huolimatta siitä, että jokaisella on tietty erikoisala.
12. Konvoluutiohermoverkot (CNN)
Kuvia ja videoita käsitellään konvoluutiohermoverkkojen (CNN) avulla, joka on eräänlainen hermoverkko. Ne toimivat käyttämällä oppimiskelpoisia suodattimia tai ytimiä poimimaan merkittäviä ominaisuuksia syöttötiedoista.
Suodattimet liukuvat syötekuvan päällä ja suorittavat konvoluutioita rakentaakseen ominaisuuskartan, joka kaappaa kuvan olennaiset osat.
Koska CNN:t pystyvät oppimaan kuvan ominaisuuksien hierarkkisia esityksiä, ne ovat erityisen hyödyllisiä tilanteissa, joissa on valtavia määriä visuaalista dataa. Useat sovellukset ovat käyttäneet niitä, kuten kohteen tunnistus, kuvien luokittelu ja kasvojentunnistus.
Harkitse CNN:itä maalarina, joka käyttää useita siveltimiä mestariteoksen luomiseen. Jokainen sivellin on ydin, ja taiteilija voi rakentaa monimutkaisen, realistisen kuvan sekoittamalla useita ytimiä. Voimme poimia valokuvista merkittäviä ominaisuuksia ja hyödyntää niitä kuvan sisällön tarkkaan ennustamiseen CNN:itä hyödyntäen.
13. Deep Belief Networks (DBN)
DBN:t ovat neuroverkon muoto, jota käytetään valvomattomiin oppimistehtäviin, kuten ulottuvuuksien vähentämiseen ja ominaisuuksien oppimiseen. Ne toimivat pinoamalla useita kerroksia rajoitettuja Boltzmann-koneita (RBM), jotka ovat kaksikerroksisia hermoverkkoja, jotka pystyvät oppimaan muodostamaan uudelleen syöttödataa.
DBN:t ovat erittäin hyödyllisiä suuriulotteisissa tietoongelmissa, koska ne voivat oppia syötteen kompaktin ja tehokkaan esityksen. Niitä on käytetty kaikkeen äänentunnistuksesta kuvan luokitteluun ja huumeiden löytämiseen.
Esimerkiksi tutkijat käyttivät DBN:ää arvioidakseen lääkekandidaattien sitoutumisaffiniteettia estrogeenireseptoriin. DBN koulutettiin kokoelmaan kemiallisia ominaisuuksia ja sitoutumisaffiniteetteja, ja se pystyi ennustamaan tarkasti uusien lääkekandidaattien sitoutumisaffiniteetin.
Tämä korostaa DBN:ien käyttöä lääkekehityksessä ja muissa korkean ulottuvuuden datasovelluksissa.
14. Autoenkooderit
Autoenkooderit ovat hermoverkkoja, joita käytetään valvomattomiin oppimistehtäviin. Niiden tarkoituksena on rekonstruoida syötetiedot, mikä tarkoittaa, että he oppivat koodaamaan tiedot kompaktiksi esitykseksi ja sitten purkamaan sen takaisin alkuperäiseen syötteeseen.
Autoenkooderit ovat erittäin tehokkaita tietojen pakkaamisessa, kohinan poistamisessa ja poikkeamien havaitsemisessa. Niitä voidaan käyttää myös ominaisuusoppimiseen, jossa autoenkooderin kompakti esitys syötetään ohjattuun oppimistehtävään.
Pidä automaattisia koodaajia oppilaina, jotka tekevät muistiinpanoja luokassa. Opiskelija kuuntelee luennon ja kirjaa tärkeimmät kohdat muistiin ytimekkäästi ja tehokkaasti.
Myöhemmin opiskelija voi opiskella ja muistaa oppitunnin muistiinpanoillaan. Autoenkooderi puolestaan koodaa syötetyn datan kompaktiksi esitykseksi, jota voidaan myöhemmin käyttää eri tarkoituksiin, kuten poikkeamien havaitsemiseen tai tietojen pakkaamiseen.
15. Rajoitettu Boltzmann-koneet (renkaat)
RBM:t (Restricted Boltzmann Machines) ovat eräänlainen generatiivinen hermoverkko, jota käytetään ohjaamattomiin oppimistehtäviin. Ne koostuvat näkyvästä kerroksesta ja piilotetusta kerroksesta, joissa kussakin kerroksessa on neuroneja, jotka ovat yhteydessä toisiinsa, mutta eivät samassa kerroksessa.
RBM:t opetetaan käyttämällä kontrastiivista eroavaa tekniikkaa, joka edellyttää näkyvän ja piilotetun kerroksen painojen vaihtamista harjoitustietojen todennäköisyyden optimoimiseksi. RBM:t voivat luoda uutta dataa sen jälkeen, kun niitä on harjoiteltu ottamalla näytteitä opitusta jakaumasta.
Kuvan ja puheen tunnistus, yhteiskäyttöinen suodatus ja poikkeamien havaitseminen ovat kaikki sovelluksia, jotka ovat käyttäneet RBM:iä. Niitä on myös hyödynnetty suositusjärjestelmissä räätälöityjen suositusten luomiseen oppimalla malleja käyttäjien käyttäytymisestä.
RBM:iä on käytetty myös ominaisuusoppimisessa luomaan kompakti ja tehokas esitys korkeaulotteisesta tiedosta.
Yhteenveto ja lupaavia kehityskulkuja horisontissa
Syväoppimismenetelmät, kuten konvoluutiohermoverkot (CNN) ja toistuvat hermoverkot (RNN:t), ovat edistyneimpiä tekoälyn lähestymistapoja. CNN:t ovat muuttaneet kuvan ja äänen tunnistusta, kun taas RNN:t ovat edistyneet merkittävästi luonnollisen kielen käsittelyssä ja peräkkäisessä data-analyysissä.
Seuraava askel näiden lähestymistapojen kehityksessä keskittyy todennäköisesti niiden tehokkuuden ja skaalautuvuuden parantamiseen, jolloin ne voivat analysoida suurempia ja monimutkaisempia tietojoukkoja sekä parantaa niiden tulkittavuutta ja kykyä oppia vähemmän merkityistä tiedoista.
Syväoppiminen voi mahdollistaa läpimurtoja sellaisilla aloilla kuin terveydenhuolto, rahoitus ja autonomiset järjestelmät sen edetessä.
Jätä vastaus