Aastaid on sügav õppimine olnud tehnikavaldkonnas pealkirju. Ja seda on lihtne mõista, miks.
See tehisintellekti haru muudab sektoreid tervishoiust pangandusest transpordini, võimaldades seni mõeldamatuid edusamme.
Süvaõpe põhineb keerukatel algoritmidel, mis õpivad tohututest andmemahtudest keerulisi mustreid eraldama ja ennustama.
Selles postituses vaatleme 15 parimat süvaõppe algoritmi, alates konvolutsioonilistest närvivõrkudest kuni generatiivsete võistlevate võrkudeni kuni pika lühiajalise mälu võrkudeni.
See postitus annab olulise ülevaate sellest, kas olete a algaja või süvaõppe asjatundja.
1. Trafovõrgud
Trafovõrgud on muutunud arvuti nägemine ja loomuliku keele töötlemise (NLP) rakendused. Nad analüüsivad sissetulevaid andmeid ja kasutavad pikaajaliste suhete jäädvustamiseks tähelepanuprotsesse. See muudab need kiiremaks kui tavalised järjestusest järjestusmudelid.
Trafovõrke kirjeldati esmakordselt Vaswani jt väljaandes “Attention Is All You Need”.
Need koosnevad kodeerijast ja dekoodrist (2017). Trafo mudel on näidanud jõudlust mitmesugustes NLP-rakendustes, sealhulgas sentiment analüüs, teksti kategoriseerimine ja masintõlge.
Trafopõhiseid mudeleid saab kasutada ka rakenduste arvutinägemises. Nad saavad teostada objektide tuvastamist ja kujutiste pealdisi.
2. Pikaajalised lühiajalised mäluvõrgud (LSTM)
Pikaajalised lühiajalised mäluvõrgud (LSTM) on üks vorme Närvivõrgus spetsiaalselt ehitatud järjestikuse sisendi käsitlemiseks. Neid nimetatakse "pikaks lühiajaliseks", kuna nad suudavad meelde tuletada ammuseid teadmisi, unustades samal ajal mittevajaliku teabe.
LSTM-id toimivad teatud "väravate" kaudu, mis reguleerivad teabevoogu võrgus. Sõltuvalt sellest, kas teavet hinnatakse oluliseks või mitte, võivad need väravad seda sisse lasta või takistada.
See tehnika võimaldab LSTM-idel meelde tuletada või unustada minevikus saadud teavet, mis on kriitilise tähtsusega selliste ülesannete jaoks nagu kõnetuvastus, loomuliku keele töötlemine ja aegridade ennustamine.
LSTM-id on äärmiselt kasulikud igal juhul, kui teil on järjestikuseid andmeid, mida tuleb hinnata või prognoosida. Neid kasutatakse sageli kõnetuvastustarkvaras, et teisendada öeldud sõnad tekstiks või sisse aktsiaturg analüüs tulevaste hindade prognoosimiseks varasemate andmete põhjal.
3. Iseorganiseerivad kaardid (SOM)
SOM-id on omamoodi kunstlikud närvivõrk, mis suudab õppida ja esindavad keerulisi andmeid madalamõõtmelises keskkonnas. Meetod toimib, muutes suuremõõtmelised sisendandmed kahemõõtmeliseks ruudustikuks, kus iga üksus või neuron esindab sisendruumi erinevat osa.
Neuronid on omavahel seotud ja loovad topoloogilise struktuuri, võimaldades neil õppida ja sisendandmetega kohaneda. Seega põhineb SOM järelevalveta õppimisel.
Algoritm ei vaja märgistatud andmed millest õppida. Selle asemel kasutab see muutujate vahel mustrite ja korrelatsioonide avastamiseks sisendandmete statistilisi omadusi.
Treeningu etapis võistlevad neuronid selle nimel, et olla sisendandmete parim indikaator. Ja nad organiseeruvad ise tähenduslikuks struktuuriks. SOM-idel on lai valik rakendusi, sealhulgas pildi- ja kõnetuvastus, andmekaeve ja mustrituvastus.
Need on kasulikud keeruliste andmete visualiseerimine, rühmitades seotud andmepunkte ja tuvastades kõrvalekaldeid või kõrvalekaldeid.
4. Sügav tugevdamine õpe
Sügav Tugevdusõpe on omamoodi masinõpe, milles agenti koolitatakse tegema tasusüsteemil põhinevaid otsuseid. See toimib, lastes agendil oma ümbrusega suhelda ja katse-eksituse meetodil õppida.
Agent saab tasu iga tegevuse eest ja selle eesmärk on õppida, kuidas aja jooksul oma eeliseid optimeerida. Seda saab kasutada agentide õpetamiseks mänge mängima, autosid juhtima ja isegi roboteid haldama.
Q-Learning on hästi tuntud sügava tugevdamise õppemeetod. See toimib, hinnates teatud toimingu väärtust konkreetses olekus ja värskendades seda hinnangut, kui agent suhtleb keskkonnaga.
Seejärel kasutab agent neid hinnanguid, et teha kindlaks, milline tegevus toob kõige tõenäolisemalt kaasa suurima tasu. Q-Learningut on kasutatud agentide õpetamiseks Atari mänge mängima ning andmekeskuste energiakasutuse parandamiseks.
Deep Q-Networks on veel üks kuulus sügav tugevdamise õppemeetod (DQN). DQN-id on sarnased Q-Learningiga, kuna nad hindavad tegevusväärtusi sügava närvivõrgu, mitte tabeli abil.
See võimaldab neil toime tulla tohutute ja keeruliste seadistustega paljude alternatiivsete toimingute abil. DQN-e on kasutatud agentide koolitamiseks mängima selliseid mänge nagu Go ja Dota 2, samuti on loodud roboteid, mis õpivad kõndima.
5. Korduvad närvivõrgud (RNN)
RNN-id on omamoodi närvivõrk, mis suudab töödelda järjestikuseid andmeid, säilitades samal ajal sisemise oleku. Pidage seda sarnaseks inimesega, kes loeb raamatut, kus iga sõna seeditakse võrreldes sellega, mis oli enne seda.
Seetõttu on RNN-id ideaalsed selliste ülesannete jaoks nagu kõnetuvastus, keele tõlkimine ja isegi fraasi järgmise sõna ennustamine.
RNN-id töötavad tagasisidesilmuste abil, et ühendada iga ajasammu väljund tagasi järgmise ajaetapi sisendiga. See võimaldab võrgul kasutada eelnevat ajasammuteavet tulevaste ajaetappide prognoosimiseks. Kahjuks tähendab see ka seda, et RNN-id on haavatavad kaduva gradiendi probleemi suhtes, mille puhul koolituseks kasutatavad gradiendid muutuvad väga väikeseks ja võrgustikul on raskusi pikaajaliste suhete õppimisega.
Vaatamata sellele näilisele piirangule on RNN-id leidnud kasutust paljudes rakendustes. Need rakendused hõlmavad loomuliku keele töötlemist, kõnetuvastust ja isegi muusika tootmist.
Google'i tõlgeNäiteks kasutab RNN-põhist süsteemi, et tõlkida erinevatesse keeltesse, samas kui Siri, virtuaalne assistent, kasutab RNN-põhist süsteemi hääle tuvastamiseks. RNN-e on kasutatud ka aktsiahindade prognoosimiseks ning realistliku teksti ja graafika loomiseks.
6. Kapslivõrgud
Capsule Networks on uut tüüpi närvivõrgu disain, mis suudab tõhusamalt tuvastada andmete mustreid ja korrelatsioone. Nad korraldavad neuronid "kapsliteks", mis kodeerivad teatud sisendi aspekte.
Nii saavad nad teha täpsemaid ennustusi. Kapslivõrgud eraldavad sisendandmetest järjest keerukamaid omadusi, kasutades selleks arvukalt kapslikihte.
Capsule Networksi tehnika võimaldab neil õppida antud sisendi hierarhilisi esitusi. Nad suudavad õigesti kodeerida ruumilisi ühendusi pildi sees olevate üksuste vahel, suheldes kapslite vahel.
Objektide tuvastamine, piltide segmenteerimine ja loomuliku keele töötlemine on kõik Capsule Networksi rakendused.
Kapslivõrkudel on potentsiaali kasutada autonoomne sõit tehnoloogiaid. Need aitavad süsteemil tuvastada ja eristada selliseid objekte nagu autod, inimesed ja liiklusmärgid. Need süsteemid võivad vältida kokkupõrkeid, tehes täpsemaid ennustusi objektide käitumise kohta nende keskkonnas.
7. Variatsioonilised automaatkodeerijad (VAE)
VAE on süvaõppe tööriista vorm, mida kasutatakse juhendamata õppimiseks. Kodeerides andmed madalama mõõtmega ruumi ja seejärel dekodeerides need tagasi algsesse vormingusse, võivad nad õppida andmetes mustreid tuvastama.
Nad on nagu mustkunstnik, kes suudab muuta küüliku mütsiks ja siis tagasi jänkuks! VAE-d on kasulikud realistlike visuaalide või muusika loomiseks. Ja neid saab kasutada uute andmete saamiseks, mis on võrreldavad algandmetega.
VAE sarnaneb salajase koodimurdjaga. Nad saavad avastada selle aluseks olevad põhjused andmete struktuur jagades selle lihtsamateks osadeks, sarnaselt pusle jaotamisel. Nad võivad pärast osade sorteerimist kasutada seda teavet uute andmete loomiseks, mis näevad välja nagu originaalid.
See võib olla mugav tohutute failide tihendamiseks või värske graafika või teatud stiilis muusika loomiseks. VAE-d võivad toota ka värsket sisu, näiteks uudiseid või muusikasõnu.
8. Generatiivsed võistlevad võrgud (GAN-id)
GAN-id (Generative Adversarial Networks) on süvaõppesüsteemi vorm, mis genereerib uusi andmeid, mis meenutavad originaali. Nad töötavad kahe võrgu väljaõppega: generaatori ja diskrimineerija võrguga.
Generaator toodab uusi andmeid, mis on võrreldavad originaaliga.
Ja diskrimineerija püüab teha vahet algandmete ja loodud andmete vahel. Neid kahte võrku treenitakse paralleelselt, kusjuures generaator püüab diskrimineerijat petta ja diskrimineerija püüab algandmeid õigesti tuvastada.
Pidage GAN-e võltsija ja detektiivi ristmiks. Generaator töötab sarnaselt võltsijaga, luues uut kunstiteost, mis sarnaneb originaaliga.
Diskrimineerija tegutseb detektiivina, püüdes eristada ehtsat kunstiteost võltsingust. Neid kahte võrku õpetatakse paralleelselt, generaator parandab usutavate võltsingute tegemist ja diskrimineerija nende äratundmist.
GAN-idel on mitu kasutusala, alates inimestest või loomadest realistlike piltide loomisest kuni uue muusika või kirjutamise loomiseni. Neid võib kasutada ka andmete suurendamiseks, mis hõlmab toodetud andmete kombineerimist tegelike andmetega, et luua suurem andmekogum masinõppemudelite treenimiseks.
9. Sügavad Q-võrgud (DQN)
Deep Q-Networks (DQN-id) on omamoodi otsuste tegemise tugevdamise õppealgoritm. Nad töötavad, õppides ära Q-funktsiooni, mis ennustab eeldatavat tasu teatud toimingu sooritamise eest konkreetses olukorras.
Q-funktsiooni õpetatakse katse-eksituse meetodil, kusjuures algoritm proovib erinevaid toiminguid ja õpib tulemustest.
Võtke seda nagu a videomäng tegelane katsetab erinevaid tegevusi ja avastab, millised neist viivad eduni! DQN-id treenivad Q-funktsiooni sügava närvivõrgu abil, muutes need tõhusaks tööriistaks raskete otsustusülesannete jaoks.
Nad on isegi alistanud inimtšempionid sellistes mängudes nagu Go ja male, aga ka robootikas ja isejuhtivates autodes. Kokkuvõttes töötavad DQN-id kogemustest õppides, et aja jooksul oma otsustusoskusi täiustada.
10. Radial Basis Function Networks (RBFN)
Radial Basis Function Networks (RBFN-id) on teatud tüüpi närvivõrk, mida kasutatakse funktsioonide lähendamiseks ja klassifitseerimisülesannete täitmiseks. Need töötavad, muutes sisendandmed kõrgema mõõtmega ruumiks, kasutades radiaalsete baasfunktsioonide kogumit.
Võrgu väljund on põhifunktsioonide lineaarne kombinatsioon ja iga radiaalne baasfunktsioon tähistab sisendruumi keskpunkti.
RBFN-id on eriti tõhusad olukordades, kus on keeruline sisend-väljund interaktsioon, ja neid saab õpetada mitmesuguste tehnikate, sealhulgas juhendatud ja järelevalveta õppimise abil. Neid on kasutatud kõigeks alates finantsennustustest kuni pildi- ja kõnetuvastuse ja meditsiinilise diagnostikani.
Mõelge RBFN-idele kui GPS-süsteemile, mis kasutab raskel maastikul tee leidmiseks rida kinnituspunkte. Võrgu väljund on kombinatsioon kinnituspunktidest, mis tähistavad radiaalseid baasfunktsioone.
RBFN-ide abil saame sirvida keerulist teavet ja luua täpseid ennustusi selle kohta, kuidas stsenaarium välja kujuneb.
11. Mitmekihilised pertseptronid (MLP-d)
Tüüpilist närvivõrgu vormi, mida nimetatakse mitmekihiliseks pertseptroniks (MLP), kasutatakse juhendatud õppeülesannete jaoks, nagu klassifitseerimine ja regressioon. Need töötavad mitme lingitud sõlmede ehk neuronite kihina, kusjuures iga kiht muudab sissetulevaid andmeid mittelineaarselt.
MLP-s saab iga neuron sisendi alloleva kihi neuronitelt ja saadab signaali ülaltoodud kihi neuronitele. Iga neuroni väljund määratakse aktiveerimisfunktsiooni abil, mis annab võrgule mittelineaarsuse.
Nad on võimelised õppima sisendandmete keerukaid esitusi, kuna neil võib olla mitu peidetud kihti.
MLP-sid on rakendatud mitmesuguste ülesannete jaoks, nagu tundeanalüüs, pettuste tuvastamine ning hääle- ja pildituvastus. MLP-sid võib võrrelda uurijate rühmaga, kes töötavad koos keerulise juhtumi lahendamiseks.
Üheskoos saavad nad faktid kokku panna ja kuriteo lahendada, hoolimata asjaolust, et igaühel on konkreetne eriala.
12. Konvolutsioonilised närvivõrgud (CNN)
Pilte ja videoid töödeldakse konvolutsiooniliste närvivõrkude (CNN) abil, mis on närvivõrgu vorm. Need töötavad, kasutades õpitavate filtrite või tuumade komplekti, et eraldada sisendandmetest olulisi omadusi.
Filtrid libisevad üle sisendpildi, teostades keerdkäike, et luua funktsioonikaart, mis jäädvustab pildi olulisi aspekte.
Kuna CNN-id on võimelised õppima pildiomaduste hierarhilisi esitusi, on need eriti kasulikud olukordades, mis hõlmavad tohutul hulgal visuaalseid andmeid. Neid on kasutanud mitmed rakendused, näiteks objektide tuvastamine, piltide kategoriseerimine ja näotuvastus.
Mõelge CNN-idele kui maalikunstnikule, kes kasutab meistriteose loomiseks mitut pintslit. Iga pintsel on tuum ja kunstnik võib luua keeruka, realistliku pildi, segades paljusid tuumasid. Saame fotodest eraldada olulisi omadusi ja kasutada neid CNN-ide abil pildi sisu täpseks prognoosimiseks.
13. Deep Belief Networks (DBN-id)
DBN-id on närvivõrgu vorm, mida kasutatakse järelevalveta õppeülesannete jaoks, nagu mõõtmete vähendamine ja funktsioonide õppimine. Nende ülesanne on virnastada mitu kihti piiratud Boltzmanni masinaid (RBM), mis on kahekihilised närvivõrgud, mis on võimelised õppima sisendandmete taastamist.
DBN-id on väga kasulikud suuremõõtmeliste andmeprobleemide korral, kuna nad saavad õppida sisendi kompaktset ja tõhusat esitust. Neid on kasutatud kõigeks alates hääletuvastusest kuni piltide kategoriseerimiseni kuni ravimite avastamiseni.
Näiteks kasutasid teadlased DBN-i, et hinnata ravimikandidaatide seondumisafiinsust östrogeeniretseptoriga. DBN-i koolitati keemiliste omaduste ja seondumisafiinsuse kogumi kohta ning see suutis täpselt ennustada uute ravimikandidaatide seondumisafiinsust.
See toob esile DBN-ide kasutamise ravimiarenduses ja muudes suuremõõtmelistes andmerakendustes.
14. Autoenkoodrid
Autoencoders on närvivõrgud, mida kasutatakse järelevalveta õppeülesannete jaoks. Need on mõeldud sisendandmete rekonstrueerimiseks, mis tähendab, et nad õpivad kodeerima teavet kompaktseks esituseks ja seejärel dekodeerima selle tagasi algsesse sisendisse.
Autoencoderid on väga tõhusad andmete tihendamiseks, müra eemaldamiseks ja anomaaliate tuvastamiseks. Neid saab kasutada ka funktsioonide õppimiseks, kus autoencoderi kompaktne esitus suunatakse juhendatud õppeülesandesse.
Pidage automaatkodeerijaid õpilasteks, kes teevad tunnis märkmeid. Üliõpilane kuulab loengut ning paneb kõige olulisemad punktid lühidalt ja tõhusalt kirja.
Hiljem võib õpilane oma märkmeid kasutades õppida ja tundi meelde jätta. Autoenkooder aga kodeerib sisendandmed kompaktseks esituseks, mida saab hiljem kasutada erinevatel eesmärkidel, näiteks anomaaliate tuvastamiseks või andmete tihendamiseks.
15. Piiratud Boltzmanni masinad (spiraalköiteseadised)
RBM-id (Restricted Boltzmann Machines) on omamoodi generatiivne närvivõrk, mida kasutatakse järelevalveta õppeülesannete jaoks. Need koosnevad nähtavast kihist ja peidetud kihist, kusjuures igas kihis on neuronid, mis on seotud, kuid mitte samas kihis.
RBM-e treenitakse kontrastiivse lahknemisena tuntud tehnikaga, mis hõlmab nähtavate ja peidetud kihtide raskuste muutmist, et optimeerida treeningandmete tõenäosust. spiraalköiteseadised võivad luua värskeid andmeid pärast seda, kui neid on õpitud distributsioonist valimi abil välja õpetatud.
Pildi- ja kõnetuvastus, koostööfiltreerimine ja anomaaliate tuvastamine on kõik rakendused, mis on kasutanud RBM-e. Neid on kasutatud ka soovitussüsteemides, et luua kohandatud soovitusi, õppides kasutaja käitumisest mustreid.
RBM-e on kasutatud ka funktsiooniõppes, et luua kompaktne ja tõhus kõrgmõõtmeliste andmete esitus.
Kokkuvõte ja paljutõotavad arengud silmapiiril
Süvaõppe meetodid, nagu konvolutsioonilised närvivõrgud (CNN) ja korduvad närvivõrgud (RNN), on ühed kõige arenenumad tehisintellekti lähenemisviisid. CNN-id on muutnud pildi- ja helituvastust, samas kui RNN-id on loomuliku keele töötlemises ja andmete järjestikuses analüüsis oluliselt edasi arenenud.
Nende lähenemisviiside arendamise järgmine samm keskendub tõenäoliselt nende tõhususe ja mastaapsuse parandamisele, võimaldades neil analüüsida suuremaid ja keerukamaid andmekogumeid, samuti parandades nende tõlgendatavust ja võimet õppida vähem märgistatud andmetest.
Süvaõpe võimaldab edenedes võimaldada läbimurdeid sellistes valdkondades nagu tervishoid, rahandus ja autonoomsed süsteemid.
Jäta vastus