На працягу многіх гадоў глыбокае навучанне займае загалоўкі ў тэхналогіях. І лёгка зразумець чаму.
Гэтая галіна штучнага інтэлекту трансфармуе розныя сектары, пачынаючы ад аховы здароўя і заканчваючы банкаўскай справай і транспартам, што дазваляе раней неймаверныя дасягненні.
Глыбокае навучанне пабудавана на наборы складаных алгарытмаў, якія вучацца здабываць і прагназаваць складаныя заканамернасці з велізарных аб'ёмаў даных.
У гэтай публікацыі мы разгледзім 15 лепшых алгарытмаў глыбокага навучання, ад згортачных нейронавых сетак да генератыўных спаборніцкіх сетак і сетак доўгатэрміновай памяці.
Гэты пост дасць істотную інфармацыю аб тым, ці з'яўляецеся вы пачатковец або эксперт у паглыбленым навучанні.
1. Трансфарматарныя сеткі
Трансфарматарныя сеткі трансфармаваліся машыннае зрок і прыкладання апрацоўкі натуральнай мовы (NLP). Яны аналізуюць паступаючыя даныя і выкарыстоўваюць працэсы ўвагі, каб захапіць доўгатэрміновыя адносіны. Гэта робіць іх больш хуткімі, чым звычайныя мадэлі паслядоўнасці.
Трансфарматарныя сеткі былі ўпершыню апісаны ў публікацыі «Увага - усё, што вам трэба» Васвані і інш.
Яны складаюцца з кадавальніка і дэкодэра (2017). Мадэль-трансформер прадэманстравала прадукцыйнасць у розных прыкладаннях НЛП, у т.л аналіз настрояў, катэгарызацыі тэксту і машыннага перакладу.
Мадэлі на аснове трансфарматараў таксама могуць быць выкарыстаны ў камп'ютэрным зроку для прыкладанняў. Яны могуць распазнаваць аб'екты і ствараць подпісы да малюнкаў.
2. Сеткі доўгай кароткачасовай памяці (LSTM)
Сеткі доўгай кароткатэрміновай памяці (LSTM) з'яўляюцца адной з формаў нейронных сеткі спецыяльна створаны для апрацоўкі паслядоўнага ўводу. Іх называюць «доўгатэрміновымі», таму што яны могуць успомніць даўнія веды, адначасова забываючы непатрэбную інфармацыю.
LSTM працуюць праз некаторыя «вароты», якія кіруюць патокам інфармацыі ўнутры сеткі. У залежнасці ад таго, прызнана інфармацыя значнай ці не, гэтыя вароты могуць альбо прапусціць яе, альбо прадухіліць.
Гэты метад дазваляе LSTM успомніць або забыць інфармацыю з мінулых часовых этапаў, што вельмі важна для такіх задач, як распазнаванне маўлення, апрацоўка натуральнай мовы і прагназаванне часовых шэрагаў.
LSTM вельмі карысныя ў любым выпадку, калі ў вас ёсць паслядоўныя даныя, якія трэба ацаніць або прагназаваць. Яны часта выкарыстоўваюцца ў праграмах распазнання голасу для пераўтварэння вымаўленых слоў у тэкст або ў фондавы рынак аналіз для прагназавання будучых цэн на аснове папярэдніх дадзеных.
3. Самаарганізуючыя карты (SOM)
SOMs - гэта свайго роду штучныя нейронавая сетка, якая можа вучыцца і прадстаўляюць складаныя даныя ў маламерным асяроддзі. Метад дзейнічае шляхам пераўтварэння шматмерных ўваходных даных у двухмерную сетку, дзе кожны блок або нейрон прадстаўляе іншую частку ўваходнай прасторы.
Нейроны звязаны паміж сабой і ствараюць тапалагічную структуру, што дазваляе ім вучыцца і прыстасоўвацца да ўваходных дадзеных. Такім чынам, SOM заснаваны на навучанні без нагляду.
Алгарытм не патрэбны пазначаныя дадзеныя вучыцца. Замест гэтага ён выкарыстоўвае статыстычныя характарыстыкі ўваходных даных, каб выявіць заканамернасці і карэляцыі паміж зменнымі.
На стадыі навучання нейроны спаборнічаюць за лепшы індыкатар ўваходных даных. І яны самаарганізуюцца ў значную структуру. SOM маюць шырокі спектр прымянення, уключаючы распазнаванне малюнкаў і гаворкі, інтэлектуальны аналіз дадзеных і распазнаванне вобразаў.
Яны карысныя для візуалізацыя складаных дадзеных, кластэрызацыя звязаных пунктаў даных і выяўленне адхіленняў або выкідаў.
4. Глыбокае навучанне з падмацаваннем
глыбокая Армаванне навучання гэта свайго роду машыннае навучанне, пры якім агент навучаецца прымаць рашэнні на аснове сістэмы ўзнагароджання. Ён функцыянуе, дазваляючы агенту ўзаемадзейнічаць з навакольным асяроддзем і вучыцца метадам спроб і памылак.
Агент атрымлівае ўзнагароду за кожнае дзеянне, якое ён робіць, і яго мэта - навучыцца аптымізаваць свае перавагі з цягам часу. Гэта можа выкарыстоўвацца, каб навучыць агентаў гуляць у гульні, кіраваць аўтамабілямі і нават кіраваць робатамі.
Q-Learning з'яўляецца добра вядомым метадам Deep Reinforcement Learning. Ён дзейнічае, ацэньваючы каштоўнасць выканання пэўнага дзеяння ў пэўным стане і абнаўляючы гэтую ацэнку па меры ўзаемадзеяння агента з навакольным асяроддзем.
Затым агент выкарыстоўвае гэтыя ацэнкі, каб вызначыць, якое дзеянне, хутчэй за ўсё, прывядзе да найбольшай узнагароды. Q-Learning выкарыстоўваўся для навучання агентаў гульні Atari, а таксама для паляпшэння выкарыстання энергіі ў цэнтрах апрацоўкі дадзеных.
Deep Q-Networks - яшчэ адзін вядомы метад Deep Reinforcement Learning (DQN). DQN падобныя на Q-Learning тым, што яны ацэньваюць значэнні дзеянняў з дапамогай глыбокай нейронавай сеткі, а не табліцы.
Гэта дазваляе ім мець справу з велізарнымі, складанымі наладамі з мноствам альтэрнатыўных дзеянняў. DQN выкарыстоўваліся для навучання агентаў гуляць у такія гульні, як Go і Dota 2, а таксама для стварэння робатаў, якія могуць навучыцца хадзіць.
5. Перыядычныя нейронавыя сеткі (RNN)
RNN - гэта свайго роду нейронныя сеткі, якія могуць апрацоўваць паслядоўныя даныя, захоўваючы ўнутраны стан. Лічыце гэта падобным да чалавека, які чытае кнігу, дзе кожнае слова пераварваецца ў адносінах да тых, што былі раней.
Таму RNN ідэальна падыходзяць для такіх задач, як распазнаванне маўлення, пераклад на мову і нават прагназаванне наступнага слова ў фразе.
RNN працуюць з выкарыстаннем цыклаў зваротнай сувязі для злучэння вываду кожнага часовага кроку з уваходам наступнага часовага кроку. Гэта дазваляе сетцы выкарыстоўваць папярэднюю інфармацыю аб часавых этапах для інфармавання сваіх прагнозаў для будучых часавых крокаў. На жаль, гэта таксама азначае, што RNN уразлівыя перад праблемай знікнення градыентаў, пры якой градыенты, якія выкарыстоўваюцца для навучання, становяцца вельмі малымі, а сетцы цяжка навучыцца доўгатэрміновым адносінам.
Нягледзячы на гэта відавочнае абмежаванне, RNN знайшлі прымяненне ў шырокім дыяпазоне прымянення. Гэтыя праграмы ўключаюць апрацоўку натуральнай мовы, распазнаванне маўлення і нават вытворчасць музыкі.
Google Перакладчык, напрыклад, выкарыстоўвае сістэму на аснове RNN для перакладу на розныя мовы, у той час як Siri, віртуальны памочнік, выкарыстоўвае сістэму на аснове RNN для выяўлення голасу. RNN таксама выкарыстоўваліся для прагназавання коштаў на акцыі і стварэння рэалістычнага тэксту і графікі.
6. Капсульныя сеткі
Capsule Networks - гэта новы від нейроннай сеткі, які можа больш эфектыўна вызначаць заканамернасці і карэляцыі ў дадзеных. Яны арганізуюць нейроны ў «капсулы», якія кадуюць пэўныя аспекты ўводу.
Такім чынам яны могуць рабіць больш дакладныя прагнозы. Capsule Networks здабываюць усё больш складаныя ўласцівасці з ўваходных даных, выкарыстоўваючы мноства слаёў капсул.
Тэхніка Capsule Networks дазваляе ім вывучаць іерархічныя прадстаўленні зададзенага ўваходу. Яны могуць належным чынам кадзіраваць прасторавыя сувязі паміж прадметамі ўнутры выявы шляхам зносін паміж капсуламі.
Ідэнтыфікацыя аб'ектаў, сегментацыя малюнкаў і апрацоўка натуральнай мовы - усё гэта прымяненне Capsule Networks.
Capsule Networks маюць патэнцыял для выкарыстання аўтаномнае кіраванне аўтамабілем тэхналогій. Яны дапамагаюць сістэме распазнаваць і адрозніваць такія прадметы, як аўтамабілі, людзі і дарожныя знакі. Гэтыя сістэмы могуць пазбегнуць сутыкненняў, робячы больш дакладныя прагнозы аб паводзінах аб'ектаў у іх асяроддзі.
7. Варыяцыйныя аўтакадавальнікі (VAE)
VAE - гэта форма глыбокага навучання, якая выкарыстоўваецца для навучання без нагляду. Шляхам кадзіравання даных у нізкамерную прастору, а затым дэкадзіравання іх назад у зыходны фармат, яны могуць навучыцца выяўляць заканамернасці ў даных.
Яны падобныя на чараўніка, які можа ператварыць труса ў капялюш, а потым зноў у зайчыка! VAE карысныя для стварэння рэалістычных візуальных эфектаў або музыкі. І яны могуць быць выкарыстаны для атрымання новых дадзеных, якія супастаўныя з зыходнымі дадзенымі.
VAE падобныя на сакрэтны ўзломшчык кодаў. Яны могуць выявіць асноўнае структура дадзеных разбіваючы яго на больш простыя часткі, падобна таму, як разбіваецца галаваломка. Яны могуць выкарыстоўваць гэтую інфармацыю для стварэння новых даных, якія выглядаюць як арыгінал пасля таго, як яны разбяруцца па частках.
Гэта можа быць зручна для сціску велізарных файлаў або стварэння свежай графікі або музыкі ў пэўным стылі. VAE таксама можа ствараць свежы кантэнт, напрыклад, навіны ці музычныя тэксты.
8. Генератыўныя канкурэнтныя сеткі (GAN)
GAN (Generate Adversarial Networks) - гэта форма сістэмы глыбокага навучання, якая стварае новыя даныя, падобныя на арыгінальныя. Яны працуюць шляхам навучання дзвюх сетак: генератара і сеткі дыскрымінатара.
Генератар стварае новыя даныя, супастаўныя з арыгіналамі.
І дыскрымінатар спрабуе адрозніць зыходныя і створаныя дадзеныя. Дзве сеткі навучаюцца ў тандэме, пры гэтым генератар спрабуе падмануць дыскрымінатар, а дыскрымінатар спрабуе правільна ідэнтыфікаваць зыходныя даныя.
Лічыце GAN нешта сярэдняе паміж фальсіфікатарам і дэтэктывам. Генератар функцыянуе падобна да фальсіфікатара, ствараючы новы твор мастацтва, які нагадвае арыгінал.
Дыскрымінатар дзейнічае як дэтэктыў, спрабуючы адрозніць сапраўдны твор мастацтва ад падробкі. Дзве сеткі навучаюцца ў тандэме, пры гэтым генератар удасканальваецца ў стварэнні праўдападобных падробак, а дыскрымінатар удасканальваецца ў іх распазнаванні.
GAN маюць некалькі варыянтаў выкарыстання: ад стварэння рэалістычных малюнкаў людзей і жывёл да стварэння новай музыкі або пісьма. Яны таксама могуць выкарыстоўвацца для павелічэння даных, што прадугледжвае аб'яднанне атрыманых даных з рэальнымі для стварэння большага набору даных для навучання мадэлям машыннага навучання.
9. Глыбокія Q-сеткі (DQN)
Глыбокія Q-сеткі (DQN) - гэта своеасаблівы алгарытм навучання з падмацаваннем прыняцця рашэнняў. Яны працуюць, вывучаючы Q-функцыю, якая прадказвае чаканую ўзнагароду за выкананне пэўнага дзеяння ў пэўных умовах.
Q-функцыя выкладаецца метадам спроб і памылак, пры гэтым алгарытм выконвае розныя дзеянні і вучыцца на выніках.
Разглядайце гэта як а відэагульня персанаж эксперыментуе з рознымі дзеяннямі і выяўляе, якія з іх прыводзяць да поспеху! DQN навучаюць Q-функцыю з дапамогай глыбокай нейронавай сеткі, што робіць іх эфектыўнымі інструментамі для складаных задач прыняцця рашэнняў.
Яны нават перамагалі чалавечых чэмпіёнаў у такіх гульнях, як го і шахматы, а таксама ў робататэхніцы і беспілотных аўтамабілях. Такім чынам, увогуле, DQN працуюць на аснове вопыту, каб з часам палепшыць свае навыкі прыняцця рашэнняў.
10. Сеткі з радыяльнай базавай функцыяй (RBFN)
Сеткі радыяльных асноўных функцый (RBFN) - гэта свайго роду нейронныя сеткі, якія выкарыстоўваюцца для апраксімацыі функцый і выканання задач класіфікацыі. Яны працуюць шляхам пераўтварэння ўваходных даных у прастору большай памернасці з выкарыстаннем калекцыі радыяльных базісных функцый.
Выхад сеткі ўяўляе сабой лінейную камбінацыю базісных функцый, і кожная радыяльная базісная функцыя ўяўляе сабой цэнтральную кропку ва ўваходнай прасторы.
RBFN асабліва эфектыўныя ў сітуацыях са складаным узаемадзеяннем уводу-вываду, і іх можна выкладаць з выкарыстаннем шырокага спектру метадаў, уключаючы навучанне пад наглядам і без нагляду. Яны выкарыстоўваліся для чаго заўгодна: ад фінансавых прагнозаў да распазнавання малюнкаў і гаворкі да медыцынскай дыягностыкі.
Разглядайце RBFN як сістэму GPS, якая выкарыстоўвае шэраг апорных кропак, каб знайсці шлях па складанай мясцовасці. Выхад сеткі - гэта камбінацыя апорных кропак, якія замяняюць радыяльныя базісныя функцыі.
Мы можам праглядаць складаную інфармацыю і ствараць дакладныя прагнозы аб тым, як будзе развівацца сцэнар, выкарыстоўваючы RBFN.
11. Шматслойныя персептроны (MLP)
Тыповая форма нейронавай сеткі, званая шматслойным персептронам (MLP), выкарыстоўваецца для задач навучання пад наглядам, такіх як класіфікацыя і рэгрэсія. Яны працуюць, складаючы некалькі слаёў звязаных вузлоў або нейронаў, прычым кожны пласт нелінейна змяняе ўваходныя даныя.
У MLP кожны нейрон атрымлівае ўваходныя дадзеныя ад нейронаў ніжэйшага пласта і пасылае сігнал нейронам верхняга пласта. Выхад кожнага нейрона вызначаецца з дапамогай функцыі актывацыі, якая надае сетцы нелінейнасць.
Яны здольныя вывучаць складаныя ўяўленні ўваходных даных, паколькі яны могуць мець некалькі схаваных слаёў.
MLP прымяняюцца для розных задач, такіх як аналіз пачуццяў, выяўленне махлярства і распазнаванне голасу і малюнкаў. MLP можна параўнаць з групай следчых, якія разам працуюць над раскрыццём складанай справы.
Разам яны могуць сабраць разам факты і раскрыць злачынства, нягледзячы на тое, што кожны з іх мае асаблівую спецыяльнасць.
12. Згорткавыя нейронавыя сеткі (CNN)
Выявы і відэа апрацоўваюцца з дапамогай сверточных нейронавых сетак (CNN), адной з форм нейронавай сеткі. Яны функцыянуюць, выкарыстоўваючы набор навучальных фільтраў або ядраў, каб атрымаць важныя характарыстыкі з уваходных даных.
Фільтры слізгаюць па ўваходным малюнку, выконваючы згорткі для стварэння карты функцый, якая адлюстроўвае істотныя аспекты выявы.
Паколькі CNN здольны вывучаць іерархічныя прадстаўленні характарыстык малюнка, яны асабліва карысныя ў сітуацыях, звязаных з велізарнымі аб'ёмамі візуальных даных. Некалькі прыкладанняў выкарыстоўвалі іх, напрыклад, выяўленне аб'ектаў, катэгарызацыі малюнкаў і выяўленне твараў.
Разглядайце CNN як мастака, які выкарыстоўвае некалькі пэндзляў для стварэння шэдэўра. Кожная пэндзаль - гэта ядро, і мастак можа стварыць складаны, рэалістычны вобраз, змяшаўшы шмат ядраў. Мы можам атрымаць важныя характарыстыкі з фатаграфій і выкарыстоўваць іх для дакладнага прагназавання зместу выявы з дапамогай CNN.
13. Сеткі глыбокай веры (DBN)
DBN - гэта форма нейронавай сеткі, якая выкарыстоўваецца для некантраляваных навучальных задач, такіх як памяншэнне памернасці і вывучэнне функцый. Яны функцыянуюць, складаючы некалькі слаёў абмежаваных машын Больцмана (RBM), якія ўяўляюць сабой двухслаёвыя нейронныя сеткі, здольныя навучыцца аднаўляць ўваходныя даныя.
DBN вельмі карысныя для праблем з вялікімі дадзенымі, таму што яны могуць вывучыць кампактнае і эфектыўнае прадстаўленне ўваходных дадзеных. Яны выкарыстоўваліся для чаго заўгодна: ад распазнавання голасу да катэгарызацыі малюнкаў і адкрыцця лекаў.
Напрыклад, даследчыкі выкарыстоўвалі DBN для ацэнкі сродства звязвання лекаў-кандыдатаў з рэцэптарам эстрагену. DBN быў навучаны збору хімічных характарыстык і сродства звязвання, і ён змог дакладна прадказаць сродства звязвання новых кандыдатаў у лекі.
Гэта падкрэслівае выкарыстанне DBN у распрацоўцы лекаў і іншых прыкладаннях для даных высокай памернасці.
14. Аўтакадавальнікі
Аўтакадавальнікі - гэта нейронавыя сеткі, якія выкарыстоўваюцца для некантраляваных навучальных задач. Яны прызначаны для рэканструкцыі ўваходных даных, што азначае, што яны навучацца кадзіраваць інфармацыю ў кампактнае прадстаўленне, а затым дэкадаваць яе назад у зыходны ўваход.
Аўтакадавальнікі вельмі эфектыўныя для сціску даных, выдалення шумоў і выяўлення анамалій. Іх таксама можна выкарыстоўваць для вывучэння функцый, калі кампактнае прадстаўленне аўтакадавальніка ўводзіцца ў задачу навучання пад кантролем.
Разглядайце аўтакадавальнікі як студэнтаў, якія робяць нататкі ў класе. Студэнт слухае лекцыю і сцісла і эфектыўна запісвае найбольш актуальныя моманты.
Пазней студэнт можа вывучыць і запомніць урок, выкарыстоўваючы свае нататкі. З іншага боку, аўтакадавальнік кадуе ўваходныя даныя ў кампактнае прадстаўленне, якое пасля можа быць выкарыстана для розных мэтаў, такіх як выяўленне анамалій або сцісканне даных.
15. Абмежаваныя машыны Больцмана (RBM)
RBM (абмежаваныя машыны Больцмана) - гэта свайго роду генератыўная нейронавая сетка, якая выкарыстоўваецца для некантраляваных навучальных задач. Яны складаюцца з бачнага пласта і схаванага пласта, з нейронамі ў кожным пласце, звязанымі, але не ў межах аднаго пласта.
RBM навучаюцца з выкарыстаннем тэхнікі, вядомай як кантрасная дывергенцыя, якая цягне за сабой змяненне вагі паміж бачным і схаваным пластамі з мэтай аптымізацыі верагоднасці навучальных даных. RBM могуць ствараць свежыя даныя пасля навучання шляхам выбаркі з вывучанага размеркавання.
Распазнаванне малюнкаў і гаворкі, сумесная фільтрацыя і выяўленне анамалій - усё гэта прыкладанні, якія выкарыстоўваюць RBM. Яны таксама выкарыстоўваліся ў сістэмах рэкамендацый для стварэння індывідуальных рэкамендацый шляхам вывучэння шаблонаў з паводзін карыстальнікаў.
RBM таксама выкарыстоўваліся ў вывучэнні функцый для стварэння кампактнага і эфектыўнага прадстаўлення шматмерных даных.
Падвядзенне вынікаў і перспектыўныя падзеі на гарызонце
Метады глыбокага навучання, такія як згорткавыя нейронавыя сеткі (CNN) і рэкурэнтныя нейронавыя сеткі (RNN), з'яўляюцца аднымі з самых перадавых падыходаў да штучнага інтэлекту. CNN змянілі распазнаванне выявы і гуку, у той час як RNN значна прасунуліся ў апрацоўцы натуральнай мовы і паслядоўным аналізе даных.
Наступны крок у развіцці гэтых падыходаў, хутчэй за ўсё, будзе сканцэнтраваны на павышэнні іх эфектыўнасці і маштабаванасці, што дазволіць ім аналізаваць вялікія і больш складаныя наборы даных, а таксама палепшыць іх інтэрпрэтацыйнасць і здольнасць вучыцца на менш пазначаных дадзеных.
Глыбокае навучанне па меры развіцця можа зрабіць прарыў у такіх галінах, як ахова здароўя, фінансы і аўтаномныя сістэмы.
Пакінуць каментар