Deep learning maak al jare lank die nuus in tegnologie. En dis maklik om te verstaan hoekom.
Hierdie tak van kunsmatige intelligensie is besig om sektore te transformeer wat wissel van gesondheidsorg tot bankwese tot vervoer, wat voorheen ondenkbare vooruitgang moontlik maak.
Diep leer is gebou op 'n stel gesofistikeerde algoritmes wat leer om ingewikkelde patrone uit massiewe volumes data te onttrek en te voorspel.
Ons sal in hierdie pos na die beste 15 diepleeralgoritmes kyk, van konvolusionele neurale netwerke tot generatiewe teenstandersnetwerke tot langkorttermyngeheuenetwerke.
Hierdie pos sal noodsaaklike insigte gee oor of jy 'n beginner of 'n kenner in diep leer.
1. Transformatornetwerke
Transformatornetwerke het getransformeer rekenaarvisie en natuurlike taalverwerking (NLP) toepassings. Hulle ontleed inkomende data en gebruik aandagprosesse om langafstandverhoudings vas te lê. Dit maak hulle vinniger as konvensionele reeks-tot-reeks modelle.
Transformatornetwerke is die eerste keer beskryf in die publikasie "Attention Is All You Need" deur Vaswani et al.
Hulle bestaan uit 'n enkodeerder en 'n dekodeerder (2017). Die transformatormodel het prestasie in 'n verskeidenheid NLP-toepassings getoon, insluitend sentiment analise, tekskategorisering en masjienvertaling.
Transformator-gebaseerde modelle kan ook in rekenaarvisie vir toepassings gebruik word. Hulle kan voorwerpherkenning en beeldbyskrifte uitvoer.
2. Lang-korttermyngeheuenetwerke (LSTM'e)
Lang-korttermyngeheuenetwerke (LSTM's) is 'n vorm van neurale netwerk spesiaal gebou om opeenvolgende invoer te hanteer. Daar word na hulle verwys as "lang kort termyn" omdat hulle kennis van 'n lang tyd gelede kan herroep terwyl hulle ook onnodige inligting vergeet.
LSTM's werk deur 'n paar "hekke" wat die vloei van inligting binne die netwerk beheer. Afhangende van of die inligting betekenisvol beoordeel word of nie, kan hierdie hekke dit óf inlaat óf verhoed.
Hierdie tegniek stel LSTM'e in staat om inligting van vorige tydstappe te herroep of te vergeet, wat van kritieke belang is vir take soos spraakherkenning, natuurlike taalverwerking en tydreeksvoorspelling.
LSTM's is uiters voordelig in enige geval waar jy opeenvolgende data het wat geëvalueer of voorspel moet word. Hulle word dikwels in stemherkenningsagteware gebruik om gesproke woorde in teks om te skakel, of in aandelemark analise om toekomstige pryse te voorspel gebaseer op vorige data.
3. Selforganiserende kaarte (SOM's)
SOM's is 'n soort kunsmatige neurale netwerk wat kan leer en verteenwoordig ingewikkelde data in 'n lae-dimensionele omgewing. Die metode werk deur hoëdimensionele insetdata in 'n tweedimensionele rooster te transformeer, met elke eenheid of neuron wat 'n ander deel van die insetruimte verteenwoordig.
Die neurone is aan mekaar gekoppel en skep 'n topologiese struktuur, wat hulle in staat stel om te leer en aan te pas by die insetdata. Dus, SOM is gebaseer op leer sonder toesig.
Die algoritme het nie nodig nie gemerkte data om van te leer. In plaas daarvan gebruik dit die statistiese kenmerke van die insetdata om patrone en korrelasies tussen die veranderlikes te ontdek.
Tydens die opleidingstadium kompeteer neurone om die beste aanduiding van die insetdata te wees. En hulle self-organiseer in 'n betekenisvolle struktuur. SOM's het 'n wye reeks toepassings, insluitend beeld- en spraakherkenning, data-ontginning en patroonherkenning.
Hulle is nuttig vir die visualisering van ingewikkelde data, groepering van verwante datapunte, en die opsporing van abnormaliteite of uitskieters.
4. Diep versterking leer
diep Versterking Leer is 'n soort masjienleer waarin 'n agent opgelei word om besluite te neem gebaseer op 'n beloningstelsel. Dit funksioneer deur die agent te laat interaksie met sy omgewing en leer deur middel van proef en fout.
Die agent word beloon vir elke aksie wat hy doen, en die doel daarvan is om te leer hoe om sy voordele mettertyd te optimaliseer. Dit kan gebruik word om agente te leer om speletjies te speel, motors te bestuur en selfs robotte te bestuur.
Q-Learning is 'n bekende Deep Reinforcement Learning-metode. Dit werk deur die waarde van 'n sekere aksie in 'n spesifieke toestand te bepaal en die skatting by te werk soos die agent met die omgewing in wisselwerking tree.
Die agent gebruik dan hierdie skattings om te bepaal watter aksie die meeste waarskynlik tot die grootste beloning sal lei. Q-Learning is gebruik om agente op te voed om Atari-speletjies te speel, asook om energiegebruik in datasentrums te verbeter.
Deep Q-Networks is nog 'n bekende Deep Reinforcement Learning-metode (DQN). DQN's is soortgelyk aan Q-Learning deurdat hulle aksiewaardes skat deur 'n diep neurale netwerk eerder as 'n tabel te gebruik.
Dit stel hulle in staat om groot, ingewikkelde instellings te hanteer met talle alternatiewe aksies. DQN's is gebruik om agente op te lei om speletjies soos Go en Dota 2 te speel, asook om robotte te skep wat kan leer loop.
5. Herhalende neurale netwerke (RNN'e)
RNN'e is 'n soort neurale netwerk wat opeenvolgende data kan verwerk terwyl dit 'n interne toestand behou. Beskou dit soortgelyk aan 'n persoon wat 'n boek lees, waar elke woord verteer word in verhouding tot die wat voor dit gekom het.
RNN'e is dus ideaal vir take soos spraakherkenning, taalvertaling en selfs die voorspelling van die volgende woord in 'n frase.
RNN'e werk deur terugvoerlusse te gebruik om die uitset van elke tydstap terug te koppel aan die insette van die volgende tydstap. Dit stel die netwerk in staat om vorige tydstapinligting te gebruik om sy voorspellings vir toekomstige tydstappe in te lig. Ongelukkig beteken dit ook dat RNN'e kwesbaar is vir die verdwynende gradiëntkwessie, waarin die gradiënte wat vir opleiding gebruik word, baie klein word en die netwerk sukkel om langtermynverhoudings aan te leer.
Ten spyte van hierdie oënskynlike beperking, het RNN'e gebruik gevind in 'n wye reeks toepassings. Hierdie toepassings sluit natuurlike taalverwerking, spraakherkenning en selfs musiekproduksie in.
Google Translate, byvoorbeeld, gebruik 'n RNN-gebaseerde stelsel om oor tale te vertaal, terwyl Siri, die virtuele assistent, 'n RNN-gebaseerde stelsel gebruik om stem op te spoor. RNN's is ook gebruik om aandeelpryse te voorspel en realistiese teks en grafika te skep.
6. Kapsulenetwerke
Capsule Networks is 'n nuwe soort neurale netwerkontwerp wat patrone en korrelasies in data meer effektief kan identifiseer. Hulle organiseer neurone in "kapsules" wat sekere aspekte van 'n inset kodeer.
Op hierdie manier kan hulle meer akkurate voorspellings maak. Kapsulenetwerke onttrek progressief ingewikkelde eienskappe uit invoerdata deur talle lae kapsules te gebruik.
Capsule Networks se tegniek stel hulle in staat om hiërargiese voorstellings van die gegewe insette te leer. Hulle kan ruimtelike verbindings tussen items binne 'n prentjie behoorlik enkodeer deur tussen kapsules te kommunikeer.
Objektidentifikasie, prentsegmentering en natuurlike taalverwerking is almal toepassings van Capsule Networks.
Capsule Networks het die potensiaal om in diens geneem te word outonome bestuur tegnologieë. Hulle help die stelsel om items soos motors, mense en verkeerstekens te herken en te onderskei. Hierdie stelsels kan botsings vermy deur meer presiese voorspellings te maak oor die gedrag van voorwerpe in hul omgewing.
7. Variasionele outo-enkodeerders (VAE's)
VAE's is 'n vorm van diep leerinstrument wat gebruik word vir leer sonder toesig. Deur data in 'n laer-dimensionele ruimte te enkodeer en dit dan weer in die oorspronklike formaat te dekodeer, kan hulle leer om patrone in data raak te sien.
Hulle is soos 'n towenaar wat 'n haas in 'n hoed kan omskep en dan weer in 'n hasie! VAE's is voordelig vir die generering van realistiese beeldmateriaal of musiek. En hulle kan gebruik word om nuwe data te produseer wat vergelykbaar is met die oorspronklike data.
VAE's is soortgelyk aan geheime kodebreker. Hulle kan die onderliggende ontdek struktuur van data deur dit op te breek in eenvoudiger stukkies, baie soos hoe 'n legkaart opgebreek word. Hulle kan daardie inligting gebruik om nuwe data te bou wat soos die oorspronklike lyk nadat hulle die dele uitgesorteer het.
Dit kan handig wees om enorme lêers saam te pers of vars grafika of musiek in 'n sekere styl te produseer. VAE's kan ook vars inhoud produseer, soos nuusstories of musieklirieke.
8. Generatiewe teenstandersnetwerke (GAN's)
GAN's (Generative Adversarial Networks) is 'n vorm van 'n diepleerstelsel wat nuwe data genereer wat soos die oorspronklike lyk. Hulle werk deur twee netwerke op te lei: 'n kragopwekker en 'n diskrimineerdernetwerk.
Die kragopwekker produseer nuwe data wat vergelykbaar is met die oorspronklike.
En die diskrimineerder poog om tussen die oorspronklike en geskepte data te onderskei. Die twee netwerke word in tandem opgelei, met die kragopwekker wat probeer om die diskrimineerder te mislei en die diskrimineerder wat probeer om die oorspronklike data behoorlik te identifiseer.
Beskou GAN's as 'n kruising tussen 'n vervalser en 'n speurder. Die kragopwekker funksioneer soortgelyk aan 'n vervalser, wat nuwe kunswerk produseer wat soos die oorspronklike lyk.
Die diskrimineerder tree op as 'n speurder en probeer om tussen egte kunswerk en vervalsing te onderskei. Die twee netwerke word in tandem opgelei, met die kragopwekker wat verbeter om geloofwaardige vervalsings te maak en die diskrimineerder om dit te herken.
GAN'e het verskeie gebruike, wat wissel van die vervaardiging van realistiese prente van mense of diere tot die skep van nuwe musiek of skryfwerk. Hulle kan ook gebruik word vir datavergroting, wat die kombinasie van vervaardigde data met werklike data behels om 'n groter datastel te bou vir die opleiding van masjienleermodelle.
9. Diep Q-netwerke (DQN'e)
Deep Q-Networks (DQN's) is 'n soort besluitnemingsversterkings-leeralgoritme. Hulle werk deur 'n Q-funksie aan te leer wat die verwagte beloning voorspel om 'n sekere aksie in 'n bepaalde toestand te doen.
Die Q-funksie word deur proef en fout geleer, met die algoritme wat verskeie aksies probeer en uit die uitkomste leer.
Beskou dit soos 'n video game karakter eksperimenteer met verskeie aksies en ontdek watter tot sukses lei! DQN'e lei die Q-funksie op met behulp van 'n diep neurale netwerk, wat hulle effektiewe gereedskap maak vir moeilike besluitnemingstake.
Hulle het selfs menslike kampioene verslaan in speletjies soos Go en skaak, sowel as in robotika en selfbesturende motors. Dus, in die algemeen, werk DQN'e deur uit ervaring te leer om hul besluitnemingsvaardighede oor tyd te verbeter.
10. Radiale Basisfunksienetwerke (RBFN'e)
Radiale Basisfunksienetwerke (RBFNs) is 'n soort neurale netwerk wat gebruik word om funksies te benader en klassifikasietake uit te voer. Hulle werk deur die insetdata in 'n hoër-dimensionele ruimte te transformeer deur 'n versameling radiale basisfunksies te gebruik.
Die uitset van die netwerk is 'n lineêre kombinasie van die basisfunksies, en elke radiale basisfunksie verteenwoordig 'n middelpunt in die insetruimte.
RBFN'e is veral effektief vir situasies met ingewikkelde inset-uitset-interaksies, en hulle kan met behulp van 'n wye reeks tegnieke onderrig word, insluitend leer onder toesig en sonder toesig. Hulle is gebruik vir enigiets van finansiële voorspellings tot beeld- en spraakherkenning tot mediese diagnostiek.
Beskou RBFN's as 'n GPS-stelsel wat 'n reeks ankerpunte gebruik om sy weg oor uitdagende terrein te vind. Die uitset van die netwerk is 'n kombinasie van die ankerpunte, wat instaan vir die radiale basisfunksies.
Ons kan deur ingewikkelde inligting blaai en presiese voorspellings genereer oor hoe 'n scenario sal uitdraai deur RBFN's te gebruik.
11. Meerlaagperseptrone (MLP's)
'n Tipiese vorm van neurale netwerk genoem 'n meerlaagperseptron (MLP) word gebruik vir leertake onder toesig soos klassifikasie en regressie. Hulle werk deur verskeie lae gekoppelde nodusse, of neurone, te stapel, met elke laag wat die inkomende data nie-lineêr verander.
In 'n MLP kry elke neuron insette van die neurone in die laag onder en stuur 'n sein na die neurone in die laag hierbo. Elke neuron se uitset word bepaal met behulp van 'n aktiveringsfunksie, wat die netwerk nie-lineariteit gee.
Hulle is in staat om gesofistikeerde voorstellings van die invoerdata te leer aangesien hulle verskeie versteekte lae kan hê.
MLP's is toegepas op 'n verskeidenheid take, soos sentimentanalise, bedrogopsporing en stem- en prentherkenning. MLP's kan vergelyk word met 'n groep ondersoekers wat saamwerk om 'n moeilike saak op te los.
Saam kan hulle die feite saamstel en die misdaad oplos ten spyte van die feit dat elkeen 'n spesifieke spesialiteitsgebied het.
12. Convolutional Neurale Networks (CNN's)
Beelde en video's word verwerk deur gebruik te maak van konvolusionele neurale netwerke (CNN's), 'n vorm van neurale netwerk. Hulle funksioneer deur 'n stel leerbare filters, of pitte, te gebruik om beduidende kenmerke uit die insetdata te onttrek.
Die filters gly oor die invoerprent en voer konvolusies uit om 'n kenmerkkaart te bou wat noodsaaklike aspekte van die beeld vasvang.
Aangesien CNN's hiërargiese voorstellings van die prenteienskappe kan leer, is hulle veral nuttig vir situasies wat enorme volumes visuele data behels. Verskeie toepassings het daarvan gebruik gemaak, soos voorwerpopsporing, prentkategorisering en gesigbespeuring.
Beskou CNN's as 'n skilder wat verskeie borsels gebruik om 'n meesterstuk te skep. Elke kwas is 'n pit, en die kunstenaar kan 'n komplekse, realistiese beeld bou deur baie pitte te meng. Ons kan beduidende kenmerke uit foto's onttrek en dit gebruik om die inhoud van die beeld akkuraat te voorspel deur CNN's te gebruik.
13. Deep Belief Networks (DBN'e)
DBN'e is 'n vorm van neurale netwerk wat gebruik word vir leertake sonder toesig, soos dimensievermindering en kenmerkleer. Hulle funksioneer deur verskeie lae beperkte Boltzmann-masjiene (RBM's) te stapel, wat twee-laag neurale netwerke is wat in staat is om te leer om insetdata te rekonstitueer.
DBN'e is baie voordelig vir hoëdimensionele datakwessies omdat hulle 'n kompakte en doeltreffende voorstelling van die insette kan leer. Hulle is gebruik vir enigiets van stemherkenning tot prentkategorisering tot dwelmontdekking.
Navorsers het byvoorbeeld 'n DBN gebruik om die bindingsaffiniteit van medikasiekandidate vir die estrogeenreseptor te skat. Die DBN is opgelei op 'n versameling chemiese eienskappe en bindingsaffiniteite, en dit was in staat om die bindingsaffiniteit van nuwe geneesmiddelkandidate akkuraat te voorspel.
Dit beklemtoon die gebruik van DBN'e in geneesmiddelontwikkeling en ander hoëdimensionele datatoepassings.
14. Outo-enkodeerders
Outo-enkodeerders is neurale netwerke wat gebruik word vir leertake sonder toesig. Hulle is bedoel om die invoerdata te rekonstrueer, wat impliseer dat hulle sal leer om die inligting in 'n kompakte voorstelling te enkodeer en dit dan terug te dekodeer in die oorspronklike invoer.
Outo-enkodeerders is baie effektief vir datakompressie, geraasverwydering en anomalie-opsporing. Hulle kan ook gebruik word vir kenmerkleer, waar die outo-enkodeerder se kompakte voorstelling in 'n leertaak onder toesig ingevoer word.
Oorweeg outo-enkodeerders as studente wat aantekeninge in die klas neem. Die student luister na die lesing en skryf die mees relevante punte op 'n bondige en doeltreffende wyse neer.
Later kan die student die les bestudeer en onthou deur hul notas te gebruik. 'n Outo-enkodeerder, aan die ander kant, kodeer die invoerdata in 'n kompakte voorstelling wat later vir verskillende doeleindes aangewend kan word, soos anomalie-opsporing of datakompressie.
15. Beperkte Boltzmann-masjiene (RBM'e)
RBM's (Restricted Boltzmann Machines) is 'n soort generatiewe neurale netwerk wat gebruik word vir leertake sonder toesig. Hulle bestaan uit 'n sigbare laag en 'n versteekte laag, met neurone in elke laag, gekoppel maar nie binne dieselfde laag nie.
RBM's word opgelei met behulp van 'n tegniek bekend as kontrastiewe divergensie, wat behels dat die gewigte tussen die sigbare en verborge lae verander word om die waarskynlikheid van die opleidingsdata te optimaliseer. RBM's kan vars data skep nadat hulle opgelei is deur steekproefneming uit die aangeleerde verspreiding.
Beeld- en spraakherkenning, samewerkende filtering en anomalie-opsporing is almal toepassings wat RBM's gebruik het. Hulle is ook in aanbevelingstelsels gebruik om doelgemaakte aanbevelings te skep deur patrone van gebruikersgedrag te leer.
RBM's is ook gebruik in kenmerkleer om 'n kompakte en doeltreffende voorstelling van hoëdimensionele data te skep.
Samevatting en belowende ontwikkelings op die horison
Diep leermetodes, soos Convolutional Neural Networks (CNNs) en Recurrent Neural Networks (RNNs), is van die mees gevorderde kunsmatige intelligensie-benaderings. CNN's het beeld- en klankherkenning verander, terwyl RNN's aansienlik gevorder het in natuurlike taalverwerking en opeenvolgende data-analise.
Die volgende stap in die evolusie van hierdie benaderings sal waarskynlik daarop fokus om hul doeltreffendheid en skaalbaarheid te verbeter, wat hulle in staat sal stel om groter en meer ingewikkelde datastelle te ontleed, sowel as om hul interpreteerbaarheid en vermoë om te leer uit minder benoemde data te verbeter.
Diep leer het die moontlikheid om deurbrake in velde soos gesondheidsorg, finansies en outonome stelsels toe te laat soos dit vorder.
Lewer Kommentaar