Gadiem ilgi padziļināta mācīšanās ir bijusi tehnoloģiju virsrakstos. Un ir vienkārši saprast, kāpēc.
Šī mākslīgā intelekta nozare pārveido nozares, sākot no veselības aprūpes līdz banku pakalpojumiem un beidzot ar transportu, ļaujot sasniegt iepriekš neiedomājamus sasniegumus.
Padziļināta apmācība ir balstīta uz sarežģītu algoritmu kopumu, kas mācās iegūt un paredzēt sarežģītus modeļus no liela apjoma datu.
Šajā ziņā mēs apskatīsim labākos 15 dziļās mācīšanās algoritmus, sākot no konvolucionālajiem neironu tīkliem līdz ģeneratīvajiem pretrunīgiem tīkliem un beidzot ar ilgtermiņa īstermiņa atmiņas tīkliem.
Šis ieraksts sniegs būtisku ieskatu par to, vai esat a iesācējs vai dziļās mācīšanās eksperts.
1. Transformatoru tīkli
Transformatoru tīkli ir pārveidoti datora vīzija un dabiskās valodas apstrādes (NLP) lietojumprogrammas. Viņi analizē ienākošos datus un izmanto uzmanības procesus, lai fiksētu ilgtermiņa attiecības. Tas padara tos ātrākus nekā parastie modeļi no secības uz secību.
Transformatoru tīkli pirmo reizi tika aprakstīti Vaswani et al publikācijā “Attention Is All You Need”.
Tie sastāv no kodētāja un dekodētāja (2017). Transformatora modelis ir demonstrējis veiktspēju dažādās NLP lietojumprogrammās, tostarp sentimenta analīze, teksta kategorizēšana un mašīntulkošana.
Uz transformatoriem balstītus modeļus var izmantot arī lietojumprogrammu datorredzēšanā. Viņi var veikt objektu atpazīšanu un attēlu parakstīšanu.
2. Ilgtermiņa īstermiņa atmiņas tīkli (LSTM)
Ilgtermiņa īstermiņa atmiņas tīkli (LSTM) ir sava veida neironu tīklu īpaši izstrādāts, lai apstrādātu secīgu ievadi. Viņus sauc par “ilgtermiņa īstermiņa”, jo viņi var atcerēties sen senas zināšanas, vienlaikus aizmirstot arī nevajadzīgu informāciju.
LSTM darbojas caur dažiem “vārtiem”, kas regulē informācijas plūsmu tīklā. Atkarībā no tā, vai informācija tiek uzskatīta par nozīmīgu vai nē, šie vārti var to ielaist vai novērst.
Šis paņēmiens ļauj LSTM atsaukt vai aizmirst informāciju no pagātnes laika posmiem, kas ir būtiski tādiem uzdevumiem kā runas atpazīšana, dabiskās valodas apstrāde un laikrindu prognozēšana.
LSTM ir ārkārtīgi izdevīgi jebkurā gadījumā, ja jums ir secīgi dati, kas ir jānovērtē vai jāprognozē. Tos bieži izmanto balss atpazīšanas programmatūrā, lai pārvērstu runātos vārdus tekstā vai valodā akciju tirgus analīze, lai prognozētu nākotnes cenas, pamatojoties uz iepriekšējiem datiem.
3. Pašorganizējošas kartes (SOM)
SOM ir sava veida mākslīgi radīti neironu tīkls, kas var mācīties un attēlo sarežģītus datus zemas dimensijas vidē. Metode darbojas, pārveidojot augstas dimensijas ievades datus divdimensiju režģī, kur katra vienība vai neirons pārstāv citu ievades telpas daļu.
Neironi ir savienoti kopā un veido topoloģisku struktūru, ļaujot tiem mācīties un pielāgoties ievades datiem. Tātad SOM pamatā ir nekontrolēta mācīšanās.
Algoritmam nav nepieciešams marķēti dati no kā mācīties. Tā vietā tā izmanto ieejas datu statistiskās pazīmes, lai atklātu modeļus un korelācijas starp mainīgajiem.
Apmācības posmā neironi sacenšas par labāko ievades datu norādi. Un viņi paši organizējas jēgpilnā struktūrā. SOM ir plašs lietojumu klāsts, tostarp attēla un runas atpazīšana, datu ieguve un modeļu atpazīšana.
Tie ir noderīgi, lai sarežģītu datu vizualizācija, grupējot saistītus datu punktus un atklājot novirzes vai novirzes.
4. Dziļās pastiprināšanas mācības
dziļi Pastiprināšanas mācības ir sava veida mašīnmācīšanās, kurā aģents ir apmācīts pieņemt lēmumus, pamatojoties uz atlīdzības sistēmu. Tas darbojas, ļaujot aģentam mijiedarboties ar apkārtni un mācīties, izmantojot izmēģinājumus un kļūdas.
Aģents tiek atalgots par katru veikto darbību, un tā mērķis ir uzzināt, kā laika gaitā optimizēt tā priekšrocības. To var izmantot, lai mācītu aģentiem spēlēt spēles, vadīt automašīnas un pat pārvaldīt robotus.
Q-Learning ir plaši pazīstama dziļās pastiprināšanas mācīšanās metode. Tas darbojas, novērtējot noteiktas darbības veikšanas vērtību noteiktā stāvoklī un atjauninot šo novērtējumu, aģentam mijiedarbojoties ar vidi.
Pēc tam aģents izmanto šos aprēķinus, lai noteiktu, kura darbība, visticamāk, dos lielāko atlīdzību. Q-Learning ir izmantots, lai izglītotu aģentus spēlēt Atari spēles, kā arī uzlabotu enerģijas patēriņu datu centros.
Deep Q-Networks ir vēl viena slavena dziļās stiprināšanas mācīšanās metode (DQN). DQN ir līdzīgi Q-Learning, jo tie novērtē darbības vērtības, izmantojot dziļu neironu tīklu, nevis tabulu.
Tas viņiem ļauj tikt galā ar milzīgiem, sarežģītiem iestatījumiem ar daudzām alternatīvām darbībām. DQN ir izmantoti, lai apmācītu aģentus spēlēt tādas spēles kā Go un Dota 2, kā arī lai izveidotu robotus, kas var iemācīties staigāt.
5. Atkārtoti neironu tīkli (RNN)
RNN ir sava veida neironu tīkls, kas var apstrādāt secīgus datus, vienlaikus saglabājot iekšējo stāvokli. Uzskatiet to par līdzīgu cilvēkam, kurš lasa grāmatu, kur katrs vārds tiek sagremots saistībā ar tiem, kas bija pirms tam.
Tāpēc RNN ir ideāli piemēroti tādiem uzdevumiem kā runas atpazīšana, valodas tulkošana un pat frāzes nākamā vārda prognozēšana.
RNN darbojas, izmantojot atgriezeniskās saites cilpas, lai savienotu katra laika posma izvadi ar nākamā laika posma ievadi. Tas ļauj tīklam izmantot informāciju par iepriekšējo laika posmu, lai informētu par nākotnes laika posmiem. Diemžēl tas nozīmē arī to, ka RNN ir neaizsargāti pret izzūdošo gradientu problēmu, kurā apmācībai izmantotie gradienti kļūst ļoti niecīgi un tīkls cīnās, lai apgūtu ilgtermiņa attiecības.
Neskatoties uz šo acīmredzamo ierobežojumu, RNN ir izmantoti plašā lietojumu klāstā. Šīs lietojumprogrammas ietver dabiskās valodas apstrādi, runas atpazīšanu un pat mūzikas producēšanu.
Google tulkotājsPiemēram, tulkošanai dažādās valodās izmanto uz RNN balstītu sistēmu, savukārt virtuālais palīgs Siri balss noteikšanai izmanto uz RNN balstītu sistēmu. RNN ir izmantoti arī, lai prognozētu akciju cenas un izveidotu reālistisku tekstu un grafiku.
6. Kapsulas tīkli
Capsule Networks ir jauna veida neironu tīklu dizains, kas var efektīvāk identificēt datu modeļus un korelācijas. Viņi organizē neironus "kapsulās", kas kodē noteiktus ievades aspektus.
Tādā veidā viņi var veikt precīzākas prognozes. Kapsulas tīkli iegūst pakāpeniski sarežģītas īpašības no ievades datiem, izmantojot daudzus kapsulu slāņus.
Capsule Networks tehnika ļauj viņiem apgūt dotās ievades hierarhiskus attēlojumus. Tie var pareizi kodēt telpiskos savienojumus starp vienumiem attēlā, sazinoties starp kapsulām.
Objektu identificēšana, attēlu segmentēšana un dabiskās valodas apstrāde ir visas kapsulu tīklu lietojumprogrammas.
Kapsulas tīkliem ir iespējas tikt nodarbinātiem autonoma braukšana tehnoloģijas. Tie palīdz sistēmai atpazīt un atšķirt tādus priekšmetus kā automašīnas, cilvēki un ceļa zīmes. Šīs sistēmas var izvairīties no sadursmēm, veicot precīzākas prognozes par objektu uzvedību savā vidē.
7. Variācijas autokodētāji (VAE)
VAE ir dziļas mācīšanās rīka veids, ko izmanto mācībām bez uzraudzības. Kodējot datus zemākas dimensijas telpā un pēc tam dekodējot tos atpakaļ sākotnējā formātā, viņi var iemācīties pamanīt datu modeļus.
Viņi ir kā burvis, kas var pārvērst trusi par cepuri un tad atkal par zaķi! VAE ir noderīgi, lai radītu reālistiskus attēlus vai mūziku. Un tos var izmantot, lai iegūtu jaunus datus, kas ir salīdzināmi ar sākotnējiem datiem.
VAE ir līdzīgas slepenajam kodu lauzējam. Viņi var atklāt pamatu datu struktūra sadalot to vienkāršākos gabaliņos, līdzīgi kā mīkla tiek sadalīta. Viņi var izmantot šo informāciju, lai izveidotu jaunus datus, kas izskatās kā oriģinālie pēc detaļu sakārtošanas.
Tas var būt noderīgi, lai saspiestu milzīgus failus vai izveidotu jaunu grafiku vai mūziku noteiktā stilā. VAE var arī radīt jaunu saturu, piemēram, ziņas vai mūzikas tekstus.
8. Ģeneratīvie pretrunīgie tīkli (GAN)
GAN (ģeneratīvie pretrunīgie tīkli) ir dziļas mācīšanās sistēmas forma, kas ģenerē jaunus datus, kas līdzinās oriģinālam. Tie darbojas, apmācot divus tīklus: ģeneratoru un diskriminācijas tīklu.
Ģenerators rada jaunus datus, kas ir salīdzināmi ar oriģinālajiem datiem.
Un diskriminētājs mēģina atšķirt sākotnējos un izveidotos datus. Abi tīkli tiek apmācīti tandēmā, ģeneratoram cenšoties maldināt diskriminatoru un diskriminētājam pareizi identificēt sākotnējos datus.
Uzskatiet, ka GAN ir viltotāja un detektīva krustojums. Ģenerators darbojas līdzīgi kā viltotājs, radot jaunus mākslas darbus, kas līdzinās oriģinālam.
Diskriminētājs darbojas kā detektīvs, mēģinot atšķirt īstu mākslas darbu un viltojumu. Abi tīkli tiek apmācīti tandēmā, ģeneratoram uzlabojot ticamu viltojumu izgatavošanu, bet diskriminētājam uzlabojot to atpazīšanu.
GAN ir vairāki pielietojumi, sākot no reālistisku cilvēku vai dzīvnieku attēlu veidošanas līdz jaunas mūzikas vai rakstīšanas radīšanai. Tos var izmantot arī datu papildināšanai, kas ietver iegūto datu apvienošanu ar reāliem datiem, lai izveidotu lielāku datu kopu mašīnmācīšanās modeļu apmācībai.
9. Deep Q-Networks (DQN)
Deep Q-Networks (DQN) ir sava veida lēmumu pieņemšanas pastiprināšanas mācīšanās algoritms. Tie darbojas, apgūstot Q funkciju, kas paredz sagaidāmo atlīdzību par noteiktas darbības veikšanu noteiktā stāvoklī.
Q funkcija tiek apgūta izmēģinājumu un kļūdu veidā, algoritmam izmēģinot dažādas darbības un mācoties no rezultātiem.
Apsveriet to kā a videospēle varonis eksperimentē ar dažādām darbībām un atklāj, kuras no tām noved pie panākumiem! DQN apmāca Q funkciju, izmantojot dziļu neironu tīklu, padarot tos par efektīviem instrumentiem sarežģītu lēmumu pieņemšanas uzdevumu veikšanai.
Viņi pat ir uzvarējuši cilvēku čempionus tādās spēlēs kā Go un šahs, kā arī robotikā un pašbraucošos automobiļos. Kopumā DQN strādā, mācoties no pieredzes, lai laika gaitā uzlabotu savas lēmumu pieņemšanas prasmes.
10. Radiālie pamatfunkciju tīkli (RBFN)
Radiālie pamatfunkciju tīkli (RBFN) ir sava veida neironu tīkls, ko izmanto, lai tuvinātu funkcijas un veiktu klasifikācijas uzdevumus. Tie darbojas, pārveidojot ievades datus augstākas dimensijas telpā, izmantojot radiālo bāzes funkciju kolekciju.
Tīkla izvade ir lineāra bāzes funkciju kombinācija, un katra radiālā bāzes funkcija apzīmē centra punktu ievades telpā.
RBFN ir īpaši efektīvi situācijās ar sarežģītu ievades-izejas mijiedarbību, un tos var mācīt, izmantojot plašu metožu klāstu, tostarp uzraudzītu un neuzraudzītu mācīšanos. Tie ir izmantoti jebko, sākot no finanšu prognozēm līdz attēla un runas atpazīšanai un beidzot ar medicīnisko diagnostiku.
Apsveriet RBFN kā GPS sistēmu, kas izmanto virkni enkura punktu, lai atrastu ceļu pāri sarežģītiem reljefiem. Tīkla izvade ir enkura punktu kombinācija, kas aizvieto radiālās bāzes funkcijas.
Izmantojot RBFN, mēs varam pārlūkot sarežģītu informāciju un radīt precīzas prognozes par to, kā scenārijs izrādīsies.
11. Daudzslāņu perceptroni (MLP)
Tipisks neironu tīkla veids, ko sauc par daudzslāņu perceptronu (MLP), tiek izmantots uzraudzītiem mācību uzdevumiem, piemēram, klasifikācijai un regresijai. Tie darbojas, sakraujot vairākus saistītu mezglu vai neironu slāņus, katrs slānis nelineāri mainot ienākošos datus.
MLP katrs neirons saņem ievadi no neironiem zemāk esošajā slānī un nosūta signālu uz augšējā slāņa neironiem. Katra neirona izvade tiek noteikta, izmantojot aktivizācijas funkciju, kas nodrošina tīkla nelinearitāti.
Tie spēj apgūt sarežģītus ievades datu attēlojumus, jo tiem var būt vairāki slēpti slāņi.
MLP ir izmantotas dažādiem uzdevumiem, piemēram, noskaņojuma analīzei, krāpšanas atklāšanai un balss un attēla atpazīšanai. MLP var salīdzināt ar izmeklētāju grupu, kas strādā kopā, lai atrisinātu sarežģītu lietu.
Kopā viņi var apkopot faktus un atrisināt noziegumu, neskatoties uz to, ka katram ir noteikta specialitātes joma.
12. Konvolucionālie neironu tīkli (CNN)
Attēli un video tiek apstrādāti, izmantojot konvolucionālos neironu tīklus (CNN), kas ir neironu tīkla forma. Tie darbojas, izmantojot apgūstamu filtru vai kodolu kopu, lai iegūtu nozīmīgus raksturlielumus no ievades datiem.
Filtri slīd pāri ievades attēlam, veicot līkumus, lai izveidotu funkciju karti, kas tver galvenos attēla aspektus.
Tā kā CNN spēj apgūt attēla raksturlielumu hierarhiskus attēlojumus, tie ir īpaši noderīgi situācijās, kas saistītas ar milzīgu vizuālo datu apjomu. Tās ir izmantojušas vairākas lietojumprogrammas, piemēram, objektu noteikšana, attēlu kategorizēšana un sejas noteikšana.
Apsveriet CNN kā gleznotāju, kurš izmanto vairākas otas, lai izveidotu šedevru. Katra ota ir kodols, un mākslinieks var izveidot sarežģītu, reālistisku attēlu, sajaucot daudzus kodolus. Mēs varam iegūt nozīmīgus raksturlielumus no fotoattēliem un izmantot tos, lai precīzi prognozētu attēla saturu, izmantojot CNN.
13. Deep Belief Networks (DBN)
DBN ir neironu tīkla veids, ko izmanto neuzraugotiem mācību uzdevumiem, piemēram, dimensiju samazināšanai un funkciju apguvei. Tie darbojas, sakraujot vairākus ierobežoto Boltzmann mašīnu (RBM) slāņus, kas ir divslāņu neironu tīkli, kas spēj iemācīties atjaunot ievades datus.
DBN ir ļoti noderīgi augstas dimensijas datu problēmām, jo tie var iemācīties kompaktu un efektīvu ievades attēlojumu. Tie ir izmantoti jebko, sākot no balss atpazīšanas līdz attēlu kategorizēšanai un beidzot ar narkotiku atklāšanu.
Piemēram, pētnieki izmantoja DBN, lai novērtētu medikamentu kandidātu saistīšanās afinitāti ar estrogēna receptoriem. DBN tika apmācīts par ķīmisko īpašību un saistīšanās afinitātes kolekciju, un tas varēja precīzi paredzēt jaunu zāļu kandidātu saistīšanās afinitāti.
Tas izceļ DBN izmantošanu zāļu izstrādē un citās augstas dimensijas datu lietojumprogrammās.
14. Autoenkoderi
Autokodētāji ir neironu tīkli, kas tiek izmantoti neuzraudzītu mācību uzdevumu veikšanai. Tie ir paredzēti, lai rekonstruētu ievades datus, kas nozīmē, ka viņi iemācīsies iekodēt informāciju kompaktā attēlojumā un pēc tam atšifrēt to atpakaļ sākotnējā ievadē.
Autokodētāji ir ļoti efektīvi datu saspiešanai, trokšņu noņemšanai un anomāliju noteikšanai. Tos var izmantot arī funkciju apguvei, kur automātiskā kodētāja kompaktais attēlojums tiek ievadīts uzraudzītā mācību uzdevumā.
Uzskatiet, ka automātiskie kodētāji ir skolēni, kas stundā veic piezīmes. Students klausās lekciju un kodolīgi un efektīvi pieraksta svarīgākos punktus.
Vēlāk students var mācīties un atcerēties stundu, izmantojot savas piezīmes. No otras puses, automātiskais kodētājs kodē ievades datus kompaktā attēlojumā, ko vēlāk var izmantot dažādiem mērķiem, piemēram, anomāliju noteikšanai vai datu saspiešanai.
15. Ierobežotas Boltzmann mašīnas (RBM)
RBM (Restricted Boltzmann Machines) ir sava veida ģeneratīvs neironu tīkls, kas tiek izmantots neuzraudzītiem mācību uzdevumiem. Tos veido redzams slānis un slēpts slānis ar neironiem katrā slānī, kas ir saistīti, bet ne tajā pašā slānī.
RBM tiek apmācīti, izmantojot paņēmienu, kas pazīstams kā kontrastējošā atšķirība, kas ietver redzamā un slēptā slāņa svara maiņu, lai optimizētu apmācības datu varbūtību. RBM var izveidot jaunus datus pēc tam, kad tie ir apmācīti, ņemot paraugus no apgūtā sadalījuma.
Attēlu un runas atpazīšana, sadarbības filtrēšana un anomāliju noteikšana ir visas lietojumprogrammas, kurās ir izmantoti RBM. Tie ir izmantoti arī ieteikumu sistēmās, lai izveidotu pielāgotus ieteikumus, apgūstot lietotāju uzvedības modeļus.
RBM ir izmantoti arī funkciju apguvē, lai izveidotu kompaktu un efektīvu augstas dimensijas datu attēlojumu.
Kopsavilkums un daudzsološas norises pie apvāršņa
Dziļās mācīšanās metodes, piemēram, konvolucionālie neironu tīkli (CNN) un atkārtotie neironu tīkli (RNN), ir vienas no vismodernākajām mākslīgā intelekta pieejām. CNN ir pārveidojuši attēla un audio atpazīšanu, savukārt RNN ir ievērojami uzlabojuši dabiskās valodas apstrādi un secīgu datu analīzi.
Nākamais solis šo pieeju attīstībā, visticamāk, būs vērsts uz to efektivitātes un mērogojamības uzlabošanu, ļaujot tām analizēt lielākas un sarežģītākas datu kopas, kā arī uzlabot to interpretējamību un spēju mācīties no mazāk marķētiem datiem.
Padziļināta apmācība var nodrošināt sasniegumus tādās jomās kā veselības aprūpe, finanses un autonomās sistēmas, tai attīstoties.
Atstāj atbildi