Jierrenlang hat djip learen de koppen makke yn tech. En, it is ienfâldich om te begripen wêrom.
Dizze tûke fan keunstmjittige yntelliginsje transformeart sektoaren, fariearjend fan sûnenssoarch oant bankieren oant ferfier, wêrtroch earder net te tinken foarútgong mooglik is.
Djip learen is boud op in set ferfine algoritmen dy't leare om yngewikkelde patroanen te ekstrahearjen en te foarsizzen út massive voluminten gegevens.
Wy sille de bêste 15 algoritmen foar djippe learen yn dizze post besjen, fan konvolúsjonele neurale netwurken oant generative adversariale netwurken oant netwurken foar lange koarte termyn ûnthâld.
Dizze post sil jaan essinsjele ynsjoch yn oft jo binne in begjinner as in ekspert yn djip learen.
1. Transformer Networks
Transformatornetwurken binne feroare kompjûterfisy en natuerlike taalferwurking (NLP) applikaasjes. Se analysearje ynkommende gegevens en brûke oandachtprosessen om relaasjes op lange berik te fangen. Dit makket se flugger as konvinsjonele modellen fan sekwinsje-nei-sekwinsje.
Transformatornetwurken waarden earst beskreaun yn 'e publikaasje "Attention Is All You Need" troch Vaswani et al.
Se besteane út in encoder en in decoder (2017). It transformatormodel hat prestaasjes oantoand yn in ferskaat oan NLP-tapassingen, ynklusyf sentimint analyse, tekst kategorisearring, en masine oersetting.
Transformator-basearre modellen kinne ek brûkt wurde yn kompjûterfisy foar applikaasjes. Se kinne objektherkenning en ôfbyldingsûnderskrift útfiere.
2. Lange koarte termyn ûnthâld netwurken (LSTM's)
Long Short-Term Memory Networks (LSTMs) binne in foarm fan neuronale netwurk spesjaal boud om sekwinsjele ynfier te behanneljen. Se wurde oantsjutten as "lange koarte termyn", om't se kennis fan in lange tiid lyn kinne weromhelje, wylst se ek ûnnedige ynformaasje ferjitte.
LSTM's operearje troch guon "poarten" dy't de stream fan ynformaasje yn it netwurk regelje. Ofhinklik fan oft de ynformaasje as wichtich beoardiele wurdt of net, kinne dizze poarten it ynlitte of foarkomme.
Dizze technyk stelt LSTM's yn steat om ynformaasje fan ferline tiidstappen werom te heljen of te ferjitten, wat kritysk is foar taken lykas spraakherkenning, natuerlike taalferwurking en foarsizzing fan tiidsearjes.
LSTM's binne ekstreem foardielich yn alle gefallen wêr't jo opfolgjende gegevens hawwe dy't moatte wurde evaluearre of foarsizze. Se wurde faak brûkt yn spraakherkenningssoftware om sprutsen wurden yn tekst te konvertearjen, of yn stock merk analyze om takomstige prizen te foarsizzen basearre op eardere gegevens.
3. Self-organisearjende kaarten (SOM's)
SOM's binne in soarte fan keunstmjittige neural netwurk dat kin leare en fertsjintwurdigje yngewikkelde gegevens yn in leechdimensjonale omjouwing. De metoade wurket troch it transformearjen fan heechdimensjonale ynfiergegevens yn in twadimensjonaal raster, wêrby't elke ienheid as neuron in oar diel fan 'e ynfierromte fertsjintwurdiget.
De neuroanen binne keppele oan elkoar en meitsje in topologyske struktuer, wêrtroch't se kinne leare en oanpasse oan 'e ynfiergegevens. Dat, SOM is basearre op learen sûnder tafersjoch.
It algoritme is net nedich label data fan te learen. Ynstee brûkt it de statistyske skaaimerken fan 'e ynfiergegevens om patroanen en korrelaasjes tusken de fariabelen te ûntdekken.
Tidens it trainingsstadium konkurrearje neuroanen om de bêste yndikaasje te wêzen fan 'e ynfiergegevens. En se organisearje sels yn in sinfolle struktuer. SOM's hawwe in breed oanbod fan tapassingen, ynklusyf byld- en spraakherkenning, data mining, en patroanherkenning.
Se binne nuttich foar fisualisearjen fan yngewikkelde gegevens.
4. Deep Reinforcement Learning
Djip Learjen fan fersterking is in soarte fan masine learen wêryn in agint wurdt oplaat om besluten te nimmen basearre op in beleanningssysteem. It funksjonearret troch de agint te litten ynteraksje mei syn omjouwing en leare fia proef en flater.
De agint wurdt beleanne foar elke aksje dy't it docht, en har doel is om te learen hoe't er syn foardielen oer de tiid optimalisearje kin. Dit kin brûkt wurde om aginten te learen spultsjes te spyljen, auto's te riden en sels robots te behearjen.
Q-Learning is in bekende metoade foar Deep Reinforcement Learning. It wurket troch de wearde te beoardieljen fan it dwaan fan in bepaalde aksje yn in bepaalde steat en it bywurkjen fan dy skatting as de agint ynteraksje mei it miljeu.
De agint brûkt dan dizze skattings om te bepalen hokker aksje it meast wierskynlik sil resultearje yn 'e grutste beleanning. Q-Learning is brûkt om aginten op te learen om Atari-spultsjes te spyljen, en ek om enerzjygebrûk yn datasintra te ferbetterjen.
Deep Q-Networks is in oare ferneamde metoade foar Deep Reinforcement Learning (DQN). DQN's binne fergelykber mei Q-Learning yn dat se aksjewearden skatte mei in djip neuraal netwurk ynstee fan in tabel.
Dit stelt se yn steat om te gean mei enoarme, yngewikkelde ynstellingen mei in protte alternative aksjes. DQN's binne brûkt om aginten te trenen om spultsjes te spyljen lykas Go en Dota 2, en ek om robots te meitsjen dy't leare kinne te rinnen.
5. Weromkommende neurale netwurken (RNN's)
RNN's binne in soarte fan neuraal netwurk dat opfolgjende gegevens kin ferwurkje wylst se in ynterne steat hâlde. Beskôgje it fergelykber mei in persoan dy't in boek lêze, wêrby't elk wurd wurdt ferwurke yn relaasje ta dejingen dy't der foar kamen.
RNN's binne dêrom ideaal foar taken lykas spraakherkenning, taaloersetting, en sels it foarsizzen fan it folgjende wurd yn in sin.
RNN's wurkje troch feedbackloops te brûken om de útfier fan elke tiidstap werom te ferbinen mei de ynfier fan 'e folgjende tiidstap. Dit stelt it netwurk yn steat om foarôfgeande tiidstapynformaasje te brûken om syn foarsizzingen foar takomstige tiidstappen te ynformearjen. Spitigernôch betsjut dit ek dat RNN's kwetsber binne foar it ferdwinende gradientprobleem, wêrby't de gradiënten dy't brûkt wurde foar training tige lyts wurde en it netwurk muoite hat om relaasjes op lange termyn te learen.
Nettsjinsteande dizze skynbere beheining, hawwe RNN's gebrûk fûn yn in breed skala oan applikaasjes. Dizze applikaasjes omfetsje natuerlike taalferwurking, spraakherkenning, en sels muzykproduksje.
Google-oersetter, bygelyks, brûkt in RNN-basearre systeem om oer talen oer te setten, wylst Siri, de firtuele assistint, in RNN-basearre systeem brûkt om stim te ûntdekken. RNN's binne ek brûkt om oandielprizen te foarsizzen en realistyske tekst en grafiken te meitsjen.
6. Capsule Networks
Capsule Networks is in nij soarte fan neural netwurkûntwerp dat patroanen en korrelaasjes yn gegevens effektiver kin identifisearje. Se organisearje neuroanen yn "kapsules" dy't bepaalde aspekten fan in ynfier kodearje.
Op dizze manier kinne se krekter foarsizzingen meitsje. Capsule Networks ekstrahearje stadichoan yngewikkelde eigenskippen út ynfiergegevens troch ferskate lagen kapsules te brûken.
Capsule Networks 'technyk stelt se yn steat om hiërargyske foarstellings te learen fan' e opjûne ynfier. Se kinne romtlike ferbiningen tusken items binnen in foto goed kodearje troch te kommunisearjen tusken kapsules.
Objektidentifikaasje, ôfbyldingssegmentaasje en natuerlike taalferwurking binne allegear tapassingen fan Capsule Networks.
Capsule Networks hawwe it potensjeel om yn te wurkjen autonoom riden technologyen. Se helpe it systeem by it herkennen en ûnderskieden tusken items lykas auto's, minsken en ferkearsbuorden. Dizze systemen kinne botsingen foarkomme troch krekter foarsizzingen te meitsjen oer it gedrach fan objekten yn har omjouwing.
7. Variational Autoencoders (VAE's)
VAE's binne in foarm fan ark foar djip learen dat wurdt brûkt foar learen sûnder tafersjoch. Troch gegevens te kodearjen yn in legere diminsjonale romte en it dan werom te dekodearjen yn it orizjinele formaat, kinne se leare om patroanen yn gegevens te spotten.
Se binne as in tsjoender dy't in konijn kin feroarje yn in hoed en dan werom yn in konijn! VAE's binne foardielich foar it generearjen fan realistyske fisuele as muzyk. En se kinne brûkt wurde om nije gegevens te produsearjen dy't te fergelykjen binne mei de orizjinele gegevens.
VAE's binne fergelykber mei geheime codebreaker. Se kinne de ûnderlizzende ûntdekke struktuer fan gegevens troch it op te brekken yn ienfâldiger stikjes, krekt as hoe't in puzel wurdt ôfbrutsen. Se kinne dizze ynformaasje brûke om nije gegevens te bouwen dy't lykje op it orizjineel neidat se de dielen hawwe sorteare.
Dit kin handich wêze foar it komprimearjen fan enoarme bestannen of it produsearjen fan frisse grafiken of muzyk yn in bepaalde styl. VAE's kinne ek farske ynhâld produsearje, lykas nijsferhalen of muzykteksten.
8. Generative Adversarial Networks (GAN's)
GAN's (Generative Adversarial Networks) binne in foarm fan in djip learsysteem dat nije gegevens genereart dy't lykje op it orizjineel. Se wurkje troch twa netwurken op te leiden: in generator en in diskriminatornetwurk.
De generator produseart nije gegevens dy't te fergelykjen binne mei it orizjineel.
En, de diskriminator besiket te ûnderskieden tusken de oarspronklike en makke gegevens. De twa netwurken wurde yn tandem oplaat, mei de generator dy't besykje de diskriminator te ferrifeljen en de diskriminator dy't besykje de orizjinele gegevens goed te identifisearjen.
Beskôgje GAN's as in krusing tusken in ferfalger en in detektive. De generator funksjonearret fergelykber mei in ferfalger, en produsearret nij keunstwurk dat liket op it orizjineel.
De diskriminator fungearret as in detektive, besiket ûnderskied te meitsjen tusken echt keunstwurk en ferfalsking. De twa netwurken wurde oplaat yn tandem, mei de generator ferbetterjen by it meitsjen fan plausibele fakes en de diskriminator ferbetterjen by it werkennen fan harren.
GAN's hawwe ferskate gebrûk, fariearjend fan it produsearjen fan realistyske foto's fan minsken of bisten oant it meitsjen fan nije muzyk of skriuwen. Se kinne ek brûkt wurde foar gegevensfergrutting, wêrby't it kombinearjen fan produsearre gegevens mei echte gegevens omfettet om in gruttere dataset te bouwen foar training fan masine-learmodellen.
9. Deep Q-Networks (DQN's)
Deep Q-Networks (DQN's) binne in soarte fan learalgoritme foar fersterking fan beslútfoarming. Se operearje troch in Q-funksje te learen dy't de ferwachte beleanning foarsizze foar it dwaan fan in bepaalde aksje yn in bepaalde betingst.
De Q-funksje wurdt leard troch probearjen en flater, wêrby't it algoritme ferskate aksjes besiket en leart fan 'e útkomsten.
Beskôgje it as in fideospultsje karakter eksperimintearret mei ferskate aksjes en ûntdekt hokker liede ta sukses! DQN's traine de Q-funksje mei in djip neuraal netwurk, wêrtroch se effektive ark meitsje foar lestige beslútfoarmingtaken.
Se hawwe sels minsklike kampioenen ferslein yn spultsjes lykas Go en skaken, lykas yn robotika en selsridende auto's. Dat, al mei al, wurkje DQN's troch te learen fan ûnderfining om har beslútfoarmingsfeardigens oer de tiid te ferbetterjen.
10. Radiale basisfunksjenetwurken (RBFN's)
Radial Basis Function Networks (RBFN's) binne in soarte fan neural netwurk dat wurdt brûkt om funksjes te benaderjen en klassifikaasjetaken út te fieren. Se operearje troch de ynfiergegevens te transformearjen yn in hegere diminsjonale romte mei in samling radiale basisfunksjes.
De útfier fan it netwurk is in lineêre kombinaasje fan 'e basisfunksjes, en elke radiale basisfunksje fertsjintwurdiget in sintrumpunt yn' e ynfierromte.
RBFN's binne benammen effektyf foar situaasjes mei yngewikkelde ynfier-útfier-ynteraksjes, en se kinne leard wurde mei in breed oanbod fan techniken, ynklusyf learen ûnder tafersjoch en sûnder tafersjoch. Se binne brûkt foar alles fan finansjele foarsizzings oant byld- en spraakherkenning oant medyske diagnostyk.
Beskôgje RBFN's as in GPS-systeem dat in searje ankerpunten brûkt om syn wei te finen oer útdaagjend terrein. De útfier fan it netwurk is in kombinaasje fan de ankerpunten, dy't steane yn foar de radiale basisfunksjes.
Wy kinne troch yngewikkelde ynformaasje blêdzje en krekte foarsizzingen generearje oer hoe't in senario sil útdraaie troch RBFN's yn te wurkjen.
11. Multilayer Perceptrons (MLP's)
In typyske foarm fan neural netwurk neamd in multilayer perceptron (MLP) wurdt brûkt foar begeliede leartaken lykas klassifikaasje en regression. Se operearje troch it stapeljen fan ferskate lagen fan keppele knopen, as neuronen, wêrby't elke laach de ynkommende gegevens netlineêr feroaret.
Yn in MLP krijt elke neuron ynfier fan 'e neuroanen yn' e laach hjirûnder en stjoert in sinjaal nei de neuroanen yn 'e laach boppe. De útfier fan elke neuron wurdt bepaald mei in aktivearringsfunksje, dy't it netwurk netlineariteit jout.
Se binne yn steat om ferfine represintaasjes te learen fan 'e ynfiergegevens, om't se ferskate ferburgen lagen kinne hawwe.
MLP's binne tapast op in ferskaat oan taken, lykas sentimintanalyse, fraudedeteksje, en stim- en bylderkenning. MLP's kinne wurde fergelike mei in groep ûndersikers dy't gearwurkje om in lestige saak te kraken.
Tegearre kinne se de feiten gearwurkje en de misdied oplosse nettsjinsteande it feit dat elk in bepaald spesjaliteitsgebiet hat.
12. Convolutional Neural Networks (CNN's)
Ofbyldings en fideo's wurde ferwurke mei convolutional neural networks (CNN's), in foarm fan neural netwurk. Se funksjonearje troch it brûken fan in set learbare filters, as kernels, om wichtige skaaimerken te ekstrahearjen út 'e ynfiergegevens.
De filters glide oer de ynfierôfbylding, en útfiere konvolúsjes om in funksjekaart te bouwen dy't essensjele aspekten fan 'e ôfbylding fange.
Om't CNN's yn steat binne om hiërargyske foarstellings fan 'e skaaimerken fan' e ôfbylding te learen, binne se benammen nuttich foar situaasjes wêrby't enoarme voluminten fisuele gegevens binne. Ferskate applikaasjes hawwe der gebrûk fan makke, lykas objektdeteksje, ôfbyldingskategorisearring en gesichtsdeteksje.
Beskôgje CNN's as in skilder dy't ferskate borstels brûkt om in masterstik te meitsjen. Elke kwast is in kearn, en de keunstner kin in kompleks, realistysk byld bouwe troch in protte kernels te mingjen. Wy kinne wichtige skaaimerken út foto's ekstrahearje en se brûke om de ynhâld fan 'e ôfbylding krekt te foarsizzen troch CNN's te brûken.
13. Deep Belief Networks (DBN's)
DBN's binne in foarm fan neuraal netwurk dat wurdt brûkt foar leartaken sûnder tafersjoch, lykas dimensjereduksje en learen fan funksjes. Se funksjonearje troch it stapeljen fan ferskate lagen fan beheinde Boltzmann-masines (RBM's), dy't twa-laach neurale netwurken binne dy't by steat binne om te learen om ynfiergegevens te rekonstituearjen.
DBN's binne tige foardielich foar hege-dimensionale gegevensproblemen, om't se in kompakte en effisjinte fertsjintwurdiging fan 'e ynfier kinne leare. Se binne brûkt foar alles fan stimherkenning oant ôfbyldingskategorisearring oant drugsûntdekking.
Bygelyks, ûndersikers brûkten in DBN om de binende affiniteit fan medikaasjekandidaten te skatten foar de estrogenreceptor. De DBN waard oplaat op in samling gemyske skaaimerken en binende affiniteiten, en it koe de binende affiniteit fan nije medisynkandidaten sekuer foarsizze.
Dit markearret it gebrûk fan DBN's yn medisynûntwikkeling en oare heechdimensjonale gegevensapplikaasjes.
14. Autoencoders
Autoencoders binne neurale netwurken dy't wurde brûkt foar net-begeliede leartaken. Se binne bedoeld om de ynfiergegevens te rekonstruearjen, wat ymplisearret dat se sille leare om de ynformaasje te kodearjen yn in kompakte foarstelling en dan werom te dekodearjen yn 'e oarspronklike ynfier.
Autoencoders binne heul effektyf foar gegevenskompresje, lûdferwidering en deteksje fan anomaly. Se kinne ek brûkt wurde foar learen fan funksjes, wêrby't de kompakte fertsjintwurdiging fan 'e autoencoder wurdt fied yn in begeliede leartaak.
Beskôgje autoencoders as studinten dy't notysjes yn 'e klasse nimme. De studint harket nei de lêzing en notearret de meast relevante punten op in bondige en effisjinte manier.
Letter kin de studint de les studearje en ûnthâlde mei har oantekeningen. In autoencoder, oan 'e oare kant, kodearret de ynfiergegevens yn in kompakte fertsjintwurdiging dy't letter kin wurde brûkt foar ferskate doelen, lykas anomalydeteksje of gegevenskompresje.
15. Beheinde Boltzmann-masines (RBM's)
RBM's (Restricted Boltzmann Machines) binne in soarte fan generatyf neuraal netwurk dat wurdt brûkt foar leartaken sûnder tafersjoch. Se besteane út in sichtbere laach en in ferburgen laach, mei neuroanen yn elke laach, keppele, mar net binnen deselde laach.
RBM's wurde oplaat mei in technyk bekend as kontrastive diverginsje, dy't it feroarjen fan de gewichten tusken de sichtbere en ferburgen lagen omfettet om de kâns fan 'e trainingsgegevens te optimalisearjen. RBM's kinne nije gegevens oanmeitsje nei't se traind binne troch sampling út 'e learde distribúsje.
Ofbylding- en spraakherkenning, gearwurkjende filtering, en anomaly-deteksje binne allegear applikaasjes dy't RBM's hawwe brûkt. Se binne ek brûkt yn oanbefellingssystemen om oanbefellings op maat te meitsjen troch patroanen te learen fan brûkersgedrach.
RBM's binne ek brûkt yn learen fan funksjes om in kompakte en effisjinte foarstelling te meitsjen fan heechdimensjonale gegevens.
Wrap-Up en belofte ûntwikkelings op 'e horizon
Djippe learmetoaden, lykas Convolutional Neural Networks (CNN's) en Recurrent Neural Networks (RNN's), binne ûnder de meast avansearre oanpak foar keunstmjittige yntelliginsje. CNN's hawwe byld- en audio-erkenning omfoarme, wylst RNN's signifikant avansearre binne yn natuerlike taalferwurking en sekwinsjele gegevensanalyse.
De folgjende stap yn 'e evolúsje fan dizze oanpak sil wierskynlik rjochtsje op it ferbetterjen fan har effisjinsje en skalberens, wêrtroch't se gruttere en komplisearre datasets kinne analysearje, en ek har ynterpretabiliteit en fermogen om te learen fan minder markearre gegevens te ferbetterjen.
Djip learen hat de mooglikheid om trochbraken te tastean op fjilden lykas sûnenssoarch, finânsjes en autonome systemen as it foarútgong.
Leave a Reply