Globoko učenje že leta polni naslovnice v tehnologiji. In preprosto je razumeti, zakaj.
Ta veja umetne inteligence preoblikuje sektorje, od zdravstva do bančništva in transporta, kar omogoča doslej nepredstavljiv napredek.
Globoko učenje je zgrajeno na nizu sofisticiranih algoritmov, ki se naučijo izluščiti in napovedati zapletene vzorce iz ogromnih količin podatkov.
V tem prispevku si bomo ogledali najboljših 15 algoritmov globokega učenja, od konvolucijskih nevronskih mrež do generativnih kontradiktornih omrežij do omrežij dolgotrajnega kratkoročnega spomina.
Ta objava vam bo dala bistven vpogled v to, ali ste začetnik ali strokovnjak za globoko učenje.
1. Transformatorska omrežja
Transformatorska omrežja so se spremenila računalniški vid in aplikacije za obdelavo naravnega jezika (NLP). Analizirajo dohodne podatke in uporabljajo procese pozornosti, da zajamejo dolgoročne odnose. Zaradi tega so hitrejši od običajnih modelov od zaporedja do zaporedja.
Transformatorska omrežja so bila prvič opisana v publikaciji "Attention Is All You Need" avtorja Vaswani et al.
Sestavljena sta iz kodirnika in dekoderja (2017). Model transformatorja je dokazal učinkovitost v različnih aplikacijah NLP, vključno z Analiza klime, kategorizacija besedila in strojno prevajanje.
Modele na osnovi transformatorjev je mogoče uporabiti tudi v računalniškem vidu za aplikacije. Lahko izvajajo prepoznavanje predmetov in dodajanje napisov slikam.
2. Omrežja dolgega kratkoročnega spomina (LSTM)
Omrežja dolgotrajnega kratkoročnega spomina (LSTM) so oblika nevronska mreža izdelan posebej za obdelavo zaporednega vnosa. Imenujejo se "dolgo kratkoročni", ker lahko prikličejo znanje iz davnega časa, hkrati pa pozabijo nepotrebne informacije.
LSTM delujejo skozi nekatera »vrata«, ki urejajo pretok informacij znotraj omrežja. Odvisno od tega, ali so informacije ocenjene kot pomembne ali ne, jih lahko ta vrata prepustijo ali preprečijo.
Ta tehnika omogoča LSTM-jem, da prikličejo ali pozabijo informacije iz preteklih časovnih korakov, kar je ključnega pomena za naloge, kot so prepoznavanje govora, obdelava naravnega jezika in napovedovanje časovnih vrst.
LSTM so izjemno koristni v vsakem primeru, ko imate zaporedne podatke, ki jih je treba ovrednotiti ali napovedati. Pogosto se uporabljajo v programski opremi za prepoznavanje glasu za pretvorbo izgovorjenih besed v besedilo ali v borza analizo za napovedovanje prihodnjih cen na podlagi prejšnjih podatkov.
3. Samoorganizirajoči se zemljevidi (SOM)
SOM so neke vrste umetni nevronska mreža, ki se lahko uči in predstavljajo zapletene podatke v nizkodimenzionalnem okolju. Metoda deluje tako, da visokodimenzionalne vhodne podatke pretvori v dvodimenzionalno mrežo, pri čemer vsaka enota ali nevron predstavlja drug del vhodnega prostora.
Nevroni so med seboj povezani in ustvarjajo topološko strukturo, ki jim omogoča učenje in prilagajanje vhodnim podatkom. SOM torej temelji na nenadzorovanem učenju.
Algoritem ne potrebuje označeni podatki učiti se od. Namesto tega uporablja statistične značilnosti vhodnih podatkov, da odkrije vzorce in korelacije med spremenljivkami.
Med fazo usposabljanja nevroni tekmujejo, kdo bo najbolje pokazal vhodne podatke. In se samoorganizirajo v smiselno strukturo. SOM imajo široko paleto aplikacij, vključno s prepoznavanjem slik in govora, rudarjenjem podatkov in prepoznavanjem vzorcev.
Uporabne so za vizualizacijo zapletenih podatkov, združevanje povezanih podatkovnih točk v gruče in odkrivanje nenormalnosti ali odstopanj.
4. Poglobljeno učenje s krepitvijo
Globoko Okrepitveno učenje je neke vrste strojno učenje, pri katerem je agent usposobljen za sprejemanje odločitev na podlagi sistema nagrajevanja. Deluje tako, da agentu omogoči interakcijo z okolico in učenje s poskusi in napakami.
Agent je nagrajen za vsako dejanje, ki ga naredi, njegov namen pa je naučiti se optimizirati svoje koristi skozi čas. To se lahko uporabi za učenje agentov igranja iger, vožnje avtomobilov in celo upravljanja robotov.
Q-Learning je znana metoda globokega krepitvenega učenja. Deluje tako, da oceni vrednost izvajanja določenega dejanja v določenem stanju in posodablja to oceno, ko agent komunicira z okoljem.
Agent nato uporabi te ocene, da ugotovi, katero dejanje bo najverjetneje prineslo največjo nagrado. Q-Learning je bil uporabljen za izobraževanje agentov za igranje iger Atari, pa tudi za izboljšanje porabe energije v podatkovnih centrih.
Deep Q-Networks je še ena znana metoda Deep Reinforcement Learning (DQN). DQN-ji so podobni Q-Learningu, saj ocenjujejo akcijske vrednosti z uporabo globoke nevronske mreže in ne tabele.
To jim omogoča, da se ukvarjajo z ogromnimi, zapletenimi nastavitvami s številnimi alternativnimi dejanji. DQN so bili uporabljeni za usposabljanje agentov za igranje iger, kot sta Go in Dota 2, pa tudi za ustvarjanje robotov, ki se lahko naučijo hoditi.
5. Ponavljajoče se nevronske mreže (RNN)
RNN so nekakšna nevronska mreža, ki lahko obdeluje zaporedne podatke, medtem ko ohranja notranje stanje. Razmislite o tem kot pri osebi, ki bere knjigo, kjer se vsaka beseda prebavi glede na tiste, ki so bile pred njo.
RNN so zato idealni za naloge, kot so prepoznavanje govora, prevajanje jezika in celo napovedovanje naslednje besede v frazi.
RNN delujejo tako, da uporabljajo povratne zanke za povezavo izhoda vsakega časovnega koraka nazaj z vhodom naslednjega časovnega koraka. To omrežju omogoča uporabo predhodnih informacij o časovnem koraku za informiranje o svojih napovedih za prihodnje časovne korake. Na žalost to tudi pomeni, da so omrežja RNN občutljiva na problem izginjajočega gradienta, pri katerem postanejo gradienti, ki se uporabljajo za usposabljanje, zelo majhni in se omrežje s težavo nauči dolgoročnih odnosov.
Kljub tej navidezni omejitvi so RNN našli uporabo v številnih aplikacijah. Te aplikacije vključujejo obdelavo naravnega jezika, prepoznavanje govora in celo glasbeno produkcijo.
Google Translate, na primer, uporablja sistem, ki temelji na RNN, za prevajanje v več jezikov, medtem ko Siri, virtualni pomočnik, uporablja sistem, ki temelji na RNN, za zaznavanje glasu. RNN so bili uporabljeni tudi za napovedovanje tečajev delnic ter ustvarjanje realističnega besedila in grafike.
6. Omrežja kapsul
Capsule Networks je nova vrsta zasnove nevronske mreže, ki lahko učinkoviteje identificira vzorce in korelacije v podatkih. Organizirajo nevrone v "kapsule", ki kodirajo določene vidike vnosa.
Tako lahko naredijo natančnejše napovedi. Capsule Networks izločajo postopoma zapletene lastnosti iz vhodnih podatkov z uporabo številnih plasti kapsul.
Tehnika Capsule Networks jim omogoča, da se naučijo hierarhičnih predstavitev danega vnosa. Lahko pravilno kodirajo prostorske povezave med elementi znotraj slike s komunikacijo med kapsulami.
Identifikacija objektov, segmentacija slike in obdelava naravnega jezika so vse aplikacije Capsule Networks.
Capsule Networks imajo potencial za zaposlitev avtonomna vožnja tehnologije. Sistemu pomagajo pri prepoznavanju in razlikovanju med predmeti, kot so avtomobili, ljudje in prometni znaki. Ti sistemi se lahko izognejo trkom z natančnejšimi napovedmi o obnašanju predmetov v njihovem okolju.
7. Variacijski samodejni kodirniki (VAE)
VAE so oblika orodja za globoko učenje, ki se uporablja za nenadzorovano učenje. S kodiranjem podatkov v nizkodimenzionalni prostor in nato dekodiranjem nazaj v izvirno obliko se lahko naučijo odkrivati vzorce v podatkih.
So kot čarovnik, ki lahko spremeni zajca v klobuk in nato nazaj v zajčka! VAE so koristni za ustvarjanje realističnih vizualnih podob ali glasbe. Poleg tega jih je mogoče uporabiti za ustvarjanje novih podatkov, ki so primerljivi z izvirnimi podatki.
VAE so podobni razbijalcu skrivnih kod. Lahko odkrijejo osnovo struktura podatkov z razčlenitvijo na enostavnejše koščke, podobno kot se sestavlja sestavljanka. Te informacije lahko uporabijo za ustvarjanje novih podatkov, ki so videti kot izvirnik, potem ko razvrstijo dele.
To je lahko priročno za stiskanje ogromnih datotek ali ustvarjanje sveže grafike ali glasbe v določenem slogu. VAE lahko ustvarijo tudi svežo vsebino, kot so novice ali glasbena besedila.
8. Generativna kontradiktorna omrežja (GAN)
GAN (Generative Adversarial Networks) so oblika sistema globokega učenja, ki ustvarja nove podatke, ki spominjajo na izvirnike. Delujejo tako, da trenirajo dve omrežji: generatorsko in diskriminatorsko.
Generator ustvari nove podatke, ki so primerljivi z originalom.
In diskriminator poskuša razlikovati med izvirnimi in ustvarjenimi podatki. Obe omrežji se usposabljata v tandemu, pri čemer generator poskuša prevarati diskriminator, diskriminator pa poskuša pravilno identificirati izvirne podatke.
GAN-je imejte za križanca med ponarejevalcem in detektivom. Generator deluje podobno kot ponarejevalnik in proizvaja novo umetniško delo, ki spominja na izvirnik.
Diskriminator deluje kot detektiv, ki poskuša razlikovati med pristno umetnino in ponaredkom. Obe omrežji se usposabljata v tandemu, pri čemer se generator izboljša pri ustvarjanju verjetnih ponaredkov, diskriminator pa pri njihovem prepoznavanju.
GAN imajo več uporab, od ustvarjanja realističnih slik ljudi ali živali do ustvarjanja nove glasbe ali pisanja. Uporabljajo se lahko tudi za povečanje podatkov, kar vključuje združevanje proizvedenih podatkov z resničnimi podatki za izgradnjo večjega nabora podatkov za usposabljanje modelov strojnega učenja.
9. Globoka Q-omrežja (DQN)
Deep Q-Networks (DQN) so nekakšen algoritem za krepitev učenja pri odločanju. Delujejo tako, da se naučijo Q-funkcije, ki napove pričakovano nagrado za določeno dejanje v določenem stanju.
Q-funkcija se uči s poskusi in napakami, pri čemer algoritem poskuša različna dejanja in se uči iz rezultatov.
Razmislite o tem kot o video igre lik, ki eksperimentira z različnimi dejanji in odkriva, katera vodijo do uspeha! DQN usposablja Q-funkcijo z uporabo globoke nevronske mreže, zaradi česar so učinkovita orodja za težke naloge odločanja.
Premagali so celo človeške prvake v igrah, kot sta Go in šah, pa tudi v robotiki in samovozečih avtomobilih. Skratka, DQN delujejo tako, da se učijo iz izkušenj, da sčasoma izboljšajo svoje sposobnosti odločanja.
10. Radialna osnovna funkcijska omrežja (RBFN)
Radialna osnovna funkcijska omrežja (RBFN) so nekakšna nevronska mreža, ki se uporablja za približevanje funkcij in izvajanje klasifikacijskih nalog. Delujejo tako, da vhodne podatke pretvorijo v prostor višje dimenzije z uporabo zbirke radialnih baznih funkcij.
Izhod omrežja je linearna kombinacija baznih funkcij, vsaka radialna bazna funkcija pa predstavlja središčno točko v vhodnem prostoru.
RBFN so še posebej učinkoviti v situacijah z zapletenimi vhodno-izhodnimi interakcijami in jih je mogoče učiti z uporabo širokega nabora tehnik, vključno z nadzorovanim in nenadzorovanim učenjem. Uporabljali so jih za vse, od finančnih napovedi do prepoznavanja slik in govora do medicinske diagnostike.
Razmislite o RBFN kot o sistemu GPS, ki uporablja niz sidrnih točk, da najde pot po zahtevnem terenu. Izhod mreže je kombinacija sidrnih točk, ki nadomeščajo radialne osnovne funkcije.
Z uporabo RBFN lahko brskamo po zapletenih informacijah in ustvarimo natančne napovedi o tem, kako se bo scenarij izšel.
11. Večplastni perceptroni (MLP)
Tipična oblika nevronske mreže, imenovana večplastni perceptron (MLP), se uporablja za naloge nadzorovanega učenja, kot sta klasifikacija in regresija. Delujejo tako, da zložijo več plasti povezanih vozlišč ali nevronov, pri čemer vsaka plast nelinearno spreminja vhodne podatke.
V MLP vsak nevron dobi vhod od nevronov v spodnji plasti in pošlje signal nevronom v zgornji plasti. Izhod vsakega nevrona se določi z uporabo aktivacijske funkcije, ki daje omrežju nelinearnost.
Sposobni so se naučiti sofisticiranih predstavitev vhodnih podatkov, saj imajo lahko več skritih plasti.
MLP so bili uporabljeni za različne naloge, kot so analiza razpoloženja, odkrivanje goljufij ter prepoznavanje glasu in slike. MLP lahko primerjamo s skupino preiskovalcev, ki sodelujejo pri reševanju težkega primera.
Skupaj lahko sestavijo dejstva in rešijo zločin kljub dejstvu, da ima vsak posebno področje specializacije.
12. Konvolucijske nevronske mreže (CNN)
Slike in videi se obdelujejo z uporabo konvolucijskih nevronskih mrež (CNN), oblike nevronske mreže. Delujejo tako, da uporabljajo nabor učljivih filtrov ali jeder, da iz vhodnih podatkov izločijo pomembne značilnosti.
Filtri drsijo po vhodni sliki in izvajajo zavoje, da ustvarijo zemljevid funkcij, ki zajame bistvene vidike slike.
Ker se CNN-ji lahko naučijo hierarhičnih predstavitev značilnosti slike, so še posebej koristni v situacijah, ki vključujejo ogromne količine vizualnih podatkov. Uporablja jih več aplikacij, kot so zaznavanje predmetov, kategorizacija slik in zaznavanje obrazov.
Razmislite o CNN kot o slikarju, ki uporablja več čopičev, da ustvari mojstrovino. Vsak čopič je jedro in umetnik lahko zgradi kompleksno, realistično podobo z mešanjem številnih jeder. Iz fotografij lahko izluščimo pomembne značilnosti in jih uporabimo za natančno napoved vsebine slike z uporabo CNN.
13. Mreže globokega prepričanja (DBN)
DBN so oblika nevronske mreže, ki se uporablja za nenadzorovane učne naloge, kot je zmanjšanje dimenzionalnosti in učenje funkcij. Delujejo z zlaganjem več plasti omejenih Boltzmannovih strojev (RBM), ki so dvoslojne nevronske mreže, ki se lahko naučijo rekonstruirati vhodne podatke.
DBN-ji so zelo koristni za težave z visokodimenzionalnimi podatki, ker se lahko naučijo kompaktne in učinkovite predstavitve vnosa. Uporabljali so jih za vse, od prepoznavanja glasu do kategorizacije slik do odkrivanja zdravil.
Na primer, raziskovalci so uporabili DBN za oceno vezavne afinitete kandidatov za zdravila na estrogenski receptor. DBN je bil usposobljen za zbirko kemičnih značilnosti in vezavnih afinitet in je lahko natančno napovedal vezavno afiniteto novih kandidatov za zdravila.
To poudarja uporabo DBN pri razvoju zdravil in drugih visokodimenzionalnih podatkovnih aplikacijah.
14. Avtokodirniki
Avtokodirniki so nevronske mreže, ki se uporabljajo za nenadzorovane učne naloge. Namenjeni so rekonstrukciji vhodnih podatkov, kar pomeni, da se bodo naučili kodirati informacije v kompaktno predstavitev in jih nato dekodirati nazaj v izvirni vhod.
Avtokodirniki so zelo učinkoviti za stiskanje podatkov, odstranjevanje šuma in odkrivanje nepravilnosti. Uporabljajo se lahko tudi za učenje funkcij, kjer se kompaktna predstavitev samodejnega kodirnika vnese v nalogo nadzorovanega učenja.
Samodejne kodirnike obravnavajte kot študente, ki delajo zapiske v razredu. Študent posluša predavanje in si na jedrnat in učinkovit način zapiše najpomembnejše.
Kasneje se lahko študent uči in si zapomni lekcijo z uporabo svojih zapiskov. Po drugi strani samodejni kodirnik kodira vhodne podatke v kompaktno predstavitev, ki se lahko kasneje uporabi za različne namene, kot je odkrivanje nepravilnosti ali stiskanje podatkov.
15. Omejeni Boltzmannovi stroji (RBM)
RBM (Restricted Boltzmann Machines) so nekakšna generativna nevronska mreža, ki se uporablja za nenadzorovane učne naloge. Sestavljeni so iz vidne plasti in skrite plasti, pri čemer so nevroni v vsaki plasti povezani, vendar niso v isti plasti.
RBM se usposabljajo s tehniko, znano kot kontrastna divergenca, ki vključuje spreminjanje uteži med vidnimi in skritimi plastmi, da se optimizira verjetnost podatkov o usposabljanju. RBM lahko ustvarijo sveže podatke, potem ko so usposobljeni z vzorčenjem iz naučene distribucije.
Prepoznavanje slik in govora, sodelovalno filtriranje in zaznavanje nepravilnosti so vse aplikacije, ki uporabljajo RBM. Uporabljeni so bili tudi v sistemih priporočil za ustvarjanje prilagojenih priporočil z učenjem vzorcev iz vedenja uporabnikov.
RBM-ji so bili uporabljeni tudi pri učenju funkcij za ustvarjanje kompaktne in učinkovite predstavitve visokodimenzionalnih podatkov.
Zaključek in obetaven razvoj dogodkov na obzorju
Metode globokega učenja, kot so konvolucijske nevronske mreže (CNN) in ponavljajoče se nevronske mreže (RNN), so med najnaprednejšimi pristopi umetne inteligence. CNN so spremenili prepoznavanje slike in zvoka, medtem ko so RNN znatno napredovali pri obdelavi naravnega jezika in zaporedni analizi podatkov.
Naslednji korak v razvoju teh pristopov se bo verjetno osredotočil na izboljšanje njihove učinkovitosti in razširljivosti, kar jim bo omogočilo analizo večjih in bolj zapletenih podatkovnih nizov, pa tudi izboljšanje njihove interpretabilnosti in zmožnosti učenja iz manj označenih podatkov.
Globoko učenje ima možnost omogočiti preboje na področjih, kot so zdravstvo, finance in avtonomni sistemi, ko napreduje.
Pustite Odgovori