Godinama je duboko učenje bilo na naslovnicama u tehnologiji. I jednostavno je razumjeti zašto.
Ova grana umjetne inteligencije transformira sektore u rasponu od zdravstva preko bankarstva do transporta, omogućujući dosad nezamisliv napredak.
Duboko učenje izgrađeno je na skupu sofisticiranih algoritama koji uče izdvajati i predviđati komplicirane uzorke iz ogromnih količina podataka.
U ovom ćemo postu pogledati najboljih 15 algoritama dubokog učenja, od konvolucijskih neuronskih mreža do generativnih suparničkih mreža do mreža dugog kratkoročnog pamćenja.
Ovaj će vam post dati bitne uvide u to jeste li početnik ili stručnjak za duboko učenje.
1. Transformatorske mreže
Mreže transformatora su se transformirale računalni vid i aplikacije za obradu prirodnog jezika (NLP). Oni analiziraju dolazne podatke i koriste procese pažnje kako bi uhvatili dugoročne odnose. To ih čini bržima od konvencionalnih modela od sekvence do sekvence.
Mreže transformatora su prvi put opisane u publikaciji “Attention Is All You Need” autora Vaswani et al.
Sastoje se od kodera i dekodera (2017). Model transformatora pokazao je učinkovitost u raznim NLP primjenama, uključujući sentiment analiza, kategorizacija teksta i strojno prevođenje.
Modeli temeljeni na transformatorima također se mogu koristiti u računalnom vidu za aplikacije. Oni mogu izvršiti prepoznavanje objekata i opisivanje slika.
2. Mreže dugotrajne kratkoročne memorije (LSTM)
Mreže dugotrajne kratkoročne memorije (LSTM) su oblik neuronska mreža posebno napravljen za rukovanje sekvencijalnim unosom. Nazivaju ih "dugo kratkoročnim" jer se mogu prisjetiti znanja iz davnog vremena, a pritom zaboravljati nepotrebne informacije.
LSTM-ovi rade kroz neka "vrata" koja upravljaju protokom informacija unutar mreže. Ovisno o tome smatra li se da je informacija značajna ili ne, ova vrata je mogu propustiti ili spriječiti.
Ova tehnika omogućuje LSTM-ovima da se prisjete ili zaborave informacije iz prošlih vremenskih koraka, što je kritično za zadatke poput prepoznavanja govora, obrade prirodnog jezika i predviđanja vremenskih serija.
LSTM-ovi su iznimno korisni u svakom slučaju kada imate sekvencijalne podatke koje je potrebno procijeniti ili predvidjeti. Često se koriste u softveru za prepoznavanje glasa za pretvaranje izgovorenih riječi u tekst ili u berza analiza za predviđanje budućih cijena na temelju prethodnih podataka.
3. Samoorganizirajuće karte (SOM)
SOM-ovi su svojevrsni umjetni neuronska mreža koja može učiti i predstavljaju komplicirane podatke u niskodimenzionalnom okruženju. Metoda funkcionira pretvaranjem visokodimenzionalnih ulaznih podataka u dvodimenzionalnu mrežu, pri čemu svaka jedinica ili neuron predstavlja različiti dio ulaznog prostora.
Neuroni su međusobno povezani i stvaraju topološku strukturu, što im omogućuje učenje i prilagodbu ulaznim podacima. Dakle, SOM se temelji na učenju bez nadzora.
Algoritam ne treba označeni podaci učiti iz. Umjesto toga, koristi se statističkim značajkama ulaznih podataka za otkrivanje obrazaca i korelacija među varijablama.
Tijekom faze treninga neuroni se natječu tko će biti najbolji pokazatelj ulaznih podataka. I, oni se sami organiziraju u smislenu strukturu. SOM-ovi imaju širok raspon primjena, uključujući prepoznavanje slike i govora, rudarenje podataka i prepoznavanje uzoraka.
Korisni su za vizualizacija kompliciranih podataka, grupiranje povezanih podatkovnih točaka i otkrivanje abnormalnosti ili odstupanja.
4. Duboko potkrepljeno učenje
Duboko Učenje ojačanja je vrsta strojnog učenja u kojem se agent obučava da donosi odluke na temelju sustava nagrađivanja. Djeluje tako da agentu omogućuje interakciju s okolinom i učenje putem pokušaja i pogrešaka.
Agent je nagrađen za svaku radnju koju učini, a svrha mu je naučiti kako optimizirati svoje prednosti tijekom vremena. Ovo se može koristiti za podučavanje agenata igranju igara, vožnji automobila, pa čak i upravljanju robotima.
Q-Learning je dobro poznata metoda dubokog učenja s pojačanjem. Djeluje tako da procjenjuje vrijednost obavljanja određene akcije u određenom stanju i ažurira tu procjenu kako agent stupa u interakciju s okolinom.
Agent zatim koristi te procjene kako bi odredio koja će radnja najvjerojatnije rezultirati najvećom nagradom. Q-Learning je korišten za edukaciju agenata za igranje Atari igara, kao i za poboljšanje potrošnje energije u podatkovnim centrima.
Duboke Q-mreže su još jedna poznata metoda učenja dubokog pojačanja (DQN). DQN-ovi su slični Q-Learningu po tome što procjenjuju akcijske vrijednosti koristeći duboku neuronsku mrežu, a ne tablicu.
To im omogućuje da se nose s velikim, kompliciranim postavkama s brojnim alternativnim radnjama. DQN-ovi su korišteni za treniranje agenata za igranje igara kao što su Go i Dota 2, kao i za stvaranje robota koji mogu naučiti hodati.
5. Ponavljajuće neuronske mreže (RNN)
RNN-ovi su vrsta neuronske mreže koja može obraditi sekvencijalne podatke zadržavajući unutarnje stanje. Smatrajte to sličnim osobi koja čita knjigu, gdje se svaka riječ probavlja u odnosu na one koje su došle prije nje.
RNN-ovi su stoga idealni za zadatke poput prepoznavanja govora, prijevoda jezika, pa čak i predviđanja sljedeće riječi u frazi.
RNN-ovi rade pomoću povratnih petlji za povezivanje izlaza svakog vremenskog koraka natrag na ulaz sljedećeg vremenskog koraka. Ovo omogućuje mreži da koristi prethodne informacije o vremenskom koraku za informiranje svojih predviđanja za buduće vremenske korake. Nažalost, to također znači da su RNN-ovi osjetljivi na problem nestajanja gradijenta, u kojem gradijenti koji se koriste za obuku postaju vrlo maleni i mreža se bori da nauči dugoročne odnose.
Unatoč ovom prividnom ograničenju, RNN-ovi su našli primjenu u širokom rasponu primjena. Te aplikacije uključuju obradu prirodnog jezika, prepoznavanje govora, pa čak i glazbenu produkciju.
Google Translate, na primjer, koristi sustav temeljen na RNN-u za prevođenje na više jezika, dok Siri, virtualni asistent, koristi sustav temeljen na RNN-u za otkrivanje glasa. RNN-ovi su također korišteni za predviđanje cijena dionica i stvaranje realističnog teksta i grafike.
6. Mreže kapsula
Capsule Networks je nova vrsta dizajna neuronske mreže koja može učinkovitije identificirati obrasce i korelacije u podacima. Oni organiziraju neurone u "kapsule" koje kodiraju određene aspekte unosa.
Na taj način mogu napraviti točnija predviđanja. Capsule Networks izvlači progresivno komplicirana svojstva iz ulaznih podataka upotrebom brojnih slojeva kapsula.
Tehnika Capsule Networks omogućuje im da nauče hijerarhijske prikaze danog unosa. Oni mogu ispravno kodirati prostorne veze između stavki unutar slike komunicirajući između kapsula.
Identifikacija objekata, segmentacija slike i obrada prirodnog jezika sve su to primjene Capsule Networksa.
Capsule Networks imaju potencijal za zapošljavanje autonomna vožnja tehnologije. Oni pomažu sustavu u prepoznavanju i razlikovanju predmeta kao što su automobili, ljudi i prometni znakovi. Ovi sustavi mogu izbjeći sudare preciznijim predviđanjem ponašanja objekata u svom okruženju.
7. Varijacijski autokoderi (VAE)
VAE su oblik alata za duboko učenje koji se koristi za učenje bez nadzora. Kodiranjem podataka u nižedimenzionalni prostor i potom dekodiranjem natrag u izvorni format, oni mogu naučiti uočiti uzorke u podacima.
Oni su poput mađioničara koji može pretvoriti zeca u šešir, a zatim opet u zeku! VAE su korisni za generiranje realističnih slika ili glazbe. Također se mogu koristiti za proizvodnju novih podataka koji su usporedivi s izvornim podacima.
VAE su slični razbijaču tajnih kodova. Oni mogu otkriti temelj struktura podataka rastavljanjem na jednostavnije dijelove, slično kao što se rastavlja slagalica. Oni mogu upotrijebiti te informacije za izradu novih podataka koji izgledaju kao izvorni nakon što razvrstaju dijelove.
To može biti zgodno za komprimiranje golemih datoteka ili stvaranje svježe grafike ili glazbe u određenom stilu. VAE također mogu proizvoditi svježi sadržaj, kao što su vijesti ili glazbeni tekstovi.
8. Generativne kontradiktorne mreže (GAN)
GAN (Generative Adversarial Networks) oblik su sustava dubokog učenja koji generira nove podatke koji nalikuju izvornim. Oni rade trenirajući dvije mreže: generatorsku i diskriminatorsku mrežu.
Generator proizvodi nove podatke koji su usporedivi s izvornim.
Diskriminator pokušava razlikovati izvorne i stvorene podatke. Dvije mreže se treniraju u tandemu, pri čemu generator pokušava prevariti diskriminator, a diskriminator pokušava pravilno identificirati izvorne podatke.
GAN-ove smatrajte križanjem krivotvoritelja i detektiva. Generator radi slično krivotvoritelju, stvarajući nova umjetnička djela koja nalikuju originalu.
Diskriminator djeluje kao detektiv, pokušavajući razlikovati pravo umjetničko djelo od krivotvorine. Dvije mreže treniraju se u tandemu, pri čemu se generator poboljšava u izradi uvjerljivih krivotvorina, a diskriminator u njihovom prepoznavanju.
GAN-ovi imaju nekoliko namjena, od stvaranja realističnih slika ljudi ili životinja do stvaranja nove glazbe ili pisanja. Također se mogu koristiti za povećanje podataka, što uključuje kombiniranje proizvedenih podataka sa stvarnim podacima za izgradnju većeg skupa podataka za obuku modela strojnog učenja.
9. Duboke Q-mreže (DQN)
Duboke Q-mreže (DQN) su neka vrsta algoritma učenja za pojačanje donošenja odluka. Djeluju tako da uče Q-funkciju koja predviđa očekivanu nagradu za poduzimanje određene radnje u određenom stanju.
Q-funkcija se podučava metodom pokušaja i pogreške, pri čemu algoritam pokušava različite radnje i uči iz rezultata.
Smatrajte to kao a video igre lik koji eksperimentira s raznim radnjama i otkriva koje vode do uspjeha! DQN-ovi treniraju Q-funkciju pomoću duboke neuronske mreže, što ih čini učinkovitim alatima za teške zadatke donošenja odluka.
Čak su pobijedili ljudske prvake u igrama kao što su Go i šah, kao i u robotici i samovozećim automobilima. Dakle, sve u svemu, DQN-ovi rade učeći iz iskustva kako bi poboljšali svoje vještine donošenja odluka tijekom vremena.
10. Mreže radijalne osnovne funkcije (RBFN)
Mreže radijalne osnovne funkcije (RBFN) vrsta su neuronske mreže koja se koristi za aproksimaciju funkcija i obavljanje zadataka klasifikacije. Oni funkcioniraju transformirajući ulazne podatke u višedimenzionalni prostor koristeći skup radijalnih bazičnih funkcija.
Izlaz mreže je linearna kombinacija baznih funkcija, a svaka radijalna bazna funkcija predstavlja središnju točku u ulaznom prostoru.
RBFN-ovi su posebno učinkoviti u situacijama s kompliciranim ulazno-izlaznim interakcijama i mogu se poučavati pomoću širokog raspona tehnika, uključujući nadzirano i nenadzirano učenje. Korišteni su za sve, od financijskih predviđanja do prepoznavanja slike i govora do medicinske dijagnostike.
Razmotrite RBFN kao GPS sustav koji koristi niz sidrišnih točaka za pronalaženje puta preko zahtjevnog terena. Izlaz mreže je kombinacija sidrišnih točaka, koje predstavljaju radijalne osnovne funkcije.
Možemo pregledavati komplicirane informacije i generirati precizna predviđanja o tome kako će scenarij ispasti korištenjem RBFN-ova.
11. Višeslojni perceptroni (MLP)
Tipičan oblik neuronske mreže nazvan višeslojni perceptron (MLP) koristi se za nadzirane zadatke učenja poput klasifikacije i regresije. Oni rade slaganjem nekoliko slojeva povezanih čvorova ili neurona, pri čemu svaki sloj nelinearno mijenja dolazne podatke.
U MLP-u svaki neuron dobiva podatke od neurona u sloju ispod i šalje signal neuronima u sloju iznad. Izlaz svakog neurona određuje se pomoću aktivacijske funkcije, što mreži daje nelinearnost.
Oni su sposobni naučiti sofisticirane prikaze ulaznih podataka budući da mogu imati nekoliko skrivenih slojeva.
MLP-ovi su primijenjeni na razne zadatke, kao što su analiza raspoloženja, otkrivanje prijevara i prepoznavanje glasa i slike. MLP-ovi se mogu usporediti sa skupinom istražitelja koji zajedno rade na rješavanju teškog slučaja.
Zajedno, oni mogu sastaviti činjenice i riješiti zločin unatoč činjenici da svaki ima posebno područje specijalnosti.
12. Konvolucijske neuronske mreže (CNN)
Slike i videozapisi obrađuju se pomoću konvolucijskih neuronskih mreža (CNN), oblika neuronske mreže. Oni funkcioniraju korištenjem skupa filtara koji se mogu naučiti, ili kernela, za izdvajanje značajnih karakteristika iz ulaznih podataka.
Filtri klize preko ulazne slike, izvodeći zavoje za izradu mape značajki koja bilježi bitne aspekte slike.
Budući da CNN-ovi mogu naučiti hijerarhijske prikaze karakteristika slike, oni su osobito korisni u situacijama koje uključuju ogromne količine vizualnih podataka. Nekoliko ih je aplikacija iskoristilo, poput detekcije objekata, kategorizacije slika i detekcije lica.
Gledajte na CNN kao na slikara koji koristi nekoliko kistova da stvori remek-djelo. Svaki kist je jezgra, a umjetnik može izgraditi složenu, realističnu sliku miješajući mnoge jezgre. Možemo izdvojiti značajne karakteristike iz fotografija i upotrijebiti ih za točnu prognozu sadržaja slike koristeći CNN.
13. Mreže dubokih uvjerenja (DBN)
DBN-ovi su oblik neuronske mreže koja se koristi za zadatke učenja bez nadzora kao što je smanjenje dimenzionalnosti i učenje značajki. Oni funkcioniraju slaganjem nekoliko slojeva ograničenih Boltzmannovih strojeva (RBM), koji su dvoslojne neuronske mreže sposobne naučiti rekonstituirati ulazne podatke.
DBN-ovi su vrlo korisni za probleme s visokodimenzionalnim podacima jer mogu naučiti kompaktnu i učinkovitu reprezentaciju ulaza. Korišteni su za sve, od prepoznavanja glasa do kategorizacije slika do otkrivanja lijekova.
Na primjer, istraživači su koristili DBN za procjenu afiniteta vezanja kandidata za lijekove na estrogenski receptor. DBN je uvježban na zbirci kemijskih karakteristika i afiniteta vezanja, te je mogao točno predvidjeti afinitet vezanja novih kandidata za lijekove.
Ovo naglašava korištenje DBN-ova u razvoju lijekova i drugim visokodimenzionalnim podatkovnim aplikacijama.
14. Autokoderi
Autokoderi su neuronske mreže koje se koriste za zadatke učenja bez nadzora. Namijenjeni su rekonstrukciji ulaznih podataka, što znači da će naučiti kodirati informacije u kompaktnu reprezentaciju i potom ih dekodirati natrag u izvorni unos.
Autokoderi su vrlo učinkoviti za kompresiju podataka, uklanjanje šuma i otkrivanje anomalija. Također se mogu koristiti za učenje značajki, gdje se kompaktni prikaz autokodera unosi u nadzirani zadatak učenja.
Autokodere smatrajte studentima koji vode bilješke na satu. Student sluša predavanje i bilježi najrelevantnije točke na sažet i učinkovit način.
Kasnije, učenik može učiti i prisjetiti se lekcije koristeći svoje bilješke. Autokoder, s druge strane, kodira ulazne podatke u kompaktni prikaz koji se kasnije može koristiti u različite svrhe kao što je otkrivanje anomalija ili kompresija podataka.
15. Ograničeni Boltzmannovi strojevi (RBM)
RBM (ograničeni Boltzmannovi strojevi) vrsta su generativne neuronske mreže koja se koristi za zadatke učenja bez nadzora. Sastoje se od vidljivog sloja i skrivenog sloja, s neuronima u svakom sloju, povezanim, ali ne unutar istog sloja.
RBM-ovi se obučavaju pomoću tehnike poznate kao kontrastna divergencija, koja podrazumijeva promjenu težine između vidljivih i skrivenih slojeva kako bi se optimizirala vjerojatnost podataka o uvježbavanju. RBM-ovi mogu stvarati nove podatke nakon što su obučeni uzorkovanjem iz naučene distribucije.
Prepoznavanje slike i govora, kolaborativno filtriranje i otkrivanje anomalija sve su to aplikacije koje koriste RBM. Također su korišteni u sustavima preporuka za stvaranje prilagođenih preporuka učenjem obrazaca iz ponašanja korisnika.
RBM-ovi su također korišteni u učenju značajki za stvaranje kompaktne i učinkovite reprezentacije visokodimenzionalnih podataka.
Zaključak i obećavajući razvoj na horizontu
Metode dubinskog učenja, kao što su konvolucijske neuronske mreže (CNN) i rekurentne neuronske mreže (RNN), među najnaprednijim su pristupima umjetnoj inteligenciji. CNN-ovi su transformirali prepoznavanje slike i zvuka, dok su RNN-ovi značajno napredovali u obradi prirodnog jezika i sekvencijskoj analizi podataka.
Sljedeći korak u evoluciji ovih pristupa vjerojatno će se usredotočiti na poboljšanje njihove učinkovitosti i skalabilnosti, omogućujući im analizu većih i kompliciranijih skupova podataka, kao i poboljšanje njihove interpretabilnosti i sposobnosti učenja iz manje označenih podataka.
Duboko učenje ima mogućnost dopuštanja prodora u područjima kao što su zdravstvo, financije i autonomni sustavi kako napreduje.
Ostavi odgovor