От години задълбоченото обучение прави заглавия в технологиите. И е лесно да се разбере защо.
Този клон на изкуствения интелект трансформира сектори, вариращи от здравеопазване до банкиране и транспорт, позволявайки немислим досега напредък.
Дълбокото обучение е изградено върху набор от сложни алгоритми, които се учат да извличат и предсказват сложни модели от огромни обеми данни.
Ще разгледаме най-добрите 15 алгоритма за задълбочено обучение в тази публикация, от конволюционни невронни мрежи до генериращи състезателни мрежи до мрежи за дълга краткосрочна памет.
Тази публикация ще даде съществена представа дали сте начинаещ или експерт в дълбокото обучение.
1. Трансформаторни мрежи
Трансформаторните мрежи се трансформираха компютърно зрение и приложения за обработка на естествен език (NLP). Те анализират входящи данни и използват процеси на внимание, за да уловят дългосрочни връзки. Това ги прави по-бързи от конвенционалните модели последователност към последователност.
Трансформаторните мрежи са описани за първи път в публикацията „Вниманието е всичко, от което се нуждаете“ от Vaswani et al.
Те се състоят от енкодер и декодер (2017). Моделът на трансформатора демонстрира ефективност в различни приложения на НЛП, включително анализ на чувствата, категоризиране на текст и машинен превод.
Базираните на трансформатор модели могат също да се използват в компютърното зрение за приложения. Те могат да извършват разпознаване на обекти и надписи на изображения.
2. Мрежи с дълга краткосрочна памет (LSTM)
Мрежите с дълга краткосрочна памет (LSTM) са форма на невронна мрежа специално създаден за работа с последователно въвеждане. Те се наричат „дългосрочни, краткосрочни“, защото могат да си припомнят знания от преди много време, като същевременно забравят ненужната информация.
LSTM работят през някои „врати“, които управляват потока от информация в мрежата. В зависимост от това дали информацията се счита за значима или не, тези порти могат или да я пропускат, или да я предотвратят.
Тази техника позволява на LSTM да си спомнят или забравят информация от минали времеви стъпки, което е критично за задачи като разпознаване на реч, обработка на естествен език и прогнозиране на времеви серии.
LSTM са изключително полезни във всеки случай, когато имате последователни данни, които трябва да бъдат оценени или прогнозирани. Те често се използват в софтуер за гласово разпознаване за преобразуване на изговорени думи в текст или в фондова борса анализ за прогнозиране на бъдещи цени въз основа на предишни данни.
3. Самоорганизиращи се карти (SOM)
SOM са нещо като изкуствени невронна мрежа, която може да се учи и представят сложни данни в нискоразмерна среда. Методът работи чрез трансформиране на високоразмерни входни данни в двуизмерна мрежа, като всяка единица или неврон представлява различна част от входното пространство.
Невроните са свързани помежду си и създават топологична структура, която им позволява да учат и да се адаптират към входните данни. И така, SOM се основава на обучение без надзор.
Алгоритъмът не се нуждае етикетирани данни да се учим от. Вместо това той използва статистическите характеристики на входните данни, за да открие модели и корелации между променливите.
По време на етапа на обучение невроните се състезават да бъдат най-добрата индикация на входните данни. И те се самоорганизират в смислена структура. SOM имат широк спектър от приложения, включително разпознаване на изображения и реч, извличане на данни и разпознаване на образи.
Те са полезни за визуализиране на сложни данни, групиране на свързани точки от данни и откриване на аномалии или извънредни стойности.
4. Обучение с дълбоко укрепване
Дълбок Укрепване на обучението е вид машинно обучение, при което агентът е обучен да взема решения въз основа на система за възнаграждение. Той функционира, като позволява на агента да взаимодейства със заобикалящата го среда и да се учи чрез проба и грешка.
Агентът се възнаграждава за всяко действие, което прави, и целта му е да се научи как да оптимизира своите ползи във времето. Това може да се използва за обучение на агенти да играят игри, да карат автомобили и дори да управляват роботи.
Q-Learning е добре познат метод за дълбоко укрепване на обучението. Той работи, като оценява стойността на извършването на определено действие в определено състояние и актуализира тази оценка, докато агентът взаимодейства с околната среда.
След това агентът използва тези оценки, за да определи кое действие е най-вероятно да доведе до най-голяма награда. Q-Learning се използва за обучение на агенти да играят игри на Atari, както и за подобряване на използването на енергия в центровете за данни.
Deep Q-Networks е друг известен метод за дълбоко укрепване на обучението (DQN). DQN са подобни на Q-Learning по това, че оценяват стойностите на действие, използвайки дълбока невронна мрежа, а не таблица.
Това им позволява да се справят с огромни, сложни настройки с множество алтернативни действия. DQN са използвани за обучение на агенти да играят игри като Go и Dota 2, както и за създаване на роботи, които могат да се научат да ходят.
5. Повтарящи се невронни мрежи (RNN)
RNN са нещо като невронна мрежа, която може да обработва последователни данни, като същевременно запазва вътрешно състояние. Считайте го за подобно на човек, който чете книга, където всяка дума се усвоява във връзка с тези, които са дошли преди нея.
Следователно RNN са идеални за задачи като разпознаване на реч, езиков превод и дори прогнозиране на следващата дума във фраза.
RNN работят, като използват вериги за обратна връзка, за да свържат изхода на всяка времева стъпка обратно към входа на следващата времева стъпка. Това позволява на мрежата да използва информация за предишна времева стъпка, за да информира своите прогнози за бъдещи времеви стъпки. За съжаление, това също означава, че RNN са уязвими към проблема с изчезващия градиент, при който градиентите, използвани за обучение, стават много малки и мрежата се бори да научи дългосрочни взаимоотношения.
Въпреки това очевидно ограничение, RNN са намерили приложение в широк спектър от приложения. Тези приложения включват обработка на естествен език, разпознаване на реч и дори създаване на музика.
Google Translate, например, използва базирана на RNN система за превод на различни езици, докато Siri, виртуалният асистент, използва базирана на RNN система за откриване на глас. RNN също се използват за прогнозиране на цените на акциите и създаване на реалистичен текст и графики.
6. Капсулни мрежи
Capsule Networks е нов вид дизайн на невронни мрежи, който може да идентифицира модели и корелации в данните по-ефективно. Те организират невроните в „капсули“, които кодират определени аспекти на входа.
По този начин те могат да правят по-точни прогнози. Capsule Networks извличат прогресивно сложни свойства от входните данни чрез използване на множество слоеве от капсули.
Техниката на Capsule Networks им позволява да научат йерархични представяния на даден вход. Те могат правилно да кодират пространствени връзки между елементи в картина чрез комуникация между капсули.
Идентификация на обекти, сегментиране на картина и обработка на естествен език са всички приложения на Capsule Networks.
Капсулните мрежи имат потенциал да бъдат използвани автономно шофиране технологии. Те помагат на системата при разпознаването и разграничаването на елементи като автомобили, хора и пътни знаци. Тези системи могат да избягват сблъсъци, като правят по-точни прогнози за поведението на обектите в тяхната среда.
7. Вариационни автоенкодери (VAE)
VAE са форма на инструмент за дълбоко обучение, който се използва за обучение без надзор. Чрез кодиране на данни в пространство с по-ниско измерение и след това декодиране обратно в оригиналния формат, те могат да се научат да откриват модели в данните.
Те са като магьосник, който може да превърне заек в шапка и след това отново в зайче! VAE са полезни за генериране на реалистични визуализации или музика. И те могат да се използват за създаване на нови данни, които са сравними с оригиналните данни.
VAE са подобни на разбивача на секретни кодове. Те могат да открият основата структура на данните като го разделите на по-прости части, подобно на това как се разгражда пъзел. Те могат да използват тази информация, за да създадат нови данни, които изглеждат като оригинала, след като са сортирали частите.
Това може да бъде удобно за компресиране на огромни файлове или създаване на свежи графики или музика в определен стил. VAE могат също да произвеждат ново съдържание, като новини или музикални текстове.
8. Генеративни състезателни мрежи (GAN)
GANs (Generative Adversarial Networks) са форма на система за дълбоко обучение, която генерира нови данни, които приличат на оригинала. Те работят чрез обучение на две мрежи: генераторна и дискриминаторна мрежа.
Генераторът произвежда нови данни, които са сравними с оригинала.
И дискриминаторът се опитва да направи разлика между оригиналните и създадените данни. Двете мрежи се обучават в тандем, като генераторът се опитва да измами дискриминатора, а дискриминаторът се опитва да идентифицира правилно оригиналните данни.
Считайте GAN за нещо средно между фалшификатор и детектив. Генераторът функционира подобно на фалшификатор, създавайки нови произведения на изкуството, които приличат на оригинала.
Дискриминаторът действа като детектив, опитвайки се да направи разлика между истинско произведение на изкуството и фалшификат. Двете мрежи се обучават в тандем, като генераторът се подобрява при правенето на правдоподобни фалшификати, а дискриминаторът се подобрява при разпознаването им.
GAN имат няколко приложения, вариращи от създаване на реалистични снимки на хора или животни до създаване на нова музика или писане. Те могат също да се използват за увеличаване на данните, което включва комбиниране на произведени данни с реални данни за изграждане на по-голям набор от данни за обучение на модели за машинно обучение.
9. Дълбоки Q-мрежи (DQN)
Дълбоките Q-мрежи (DQN) са нещо като алгоритъм за обучение за подсилване при вземане на решения. Те работят чрез изучаване на Q-функция, която прогнозира очакваната награда за извършване на определено действие в определено състояние.
Q-функцията се обучава чрез проба и грешка, като алгоритъмът опитва различни действия и се учи от резултатите.
Считайте го като a видео игра герой, който експериментира с различни действия и открива кои от тях водят до успех! DQN обучават Q-функцията с помощта на дълбока невронна мрежа, което ги прави ефективни инструменти за трудни задачи за вземане на решения.
Те дори са побеждавали човешки шампиони в игри като Го и шах, както и в роботиката и самоуправляващите се автомобили. Така че, като цяло, DQN работят, като се учат от опита, за да подобрят своите умения за вземане на решения с течение на времето.
10. Радиални базови функционални мрежи (RBFN)
Радиалните базисни функционални мрежи (RBFN) са вид невронни мрежи, които се използват за приближаване на функции и изпълнение на задачи за класификация. Те работят чрез трансформиране на входните данни в пространство с по-високо измерение, използвайки колекция от радиални базисни функции.
Изходът на мрежата е линейна комбинация от базисните функции и всяка радиална базисна функция представлява централна точка във входното пространство.
RBFN са особено ефективни за ситуации със сложни входно-изходни взаимодействия и могат да бъдат преподавани с помощта на широк набор от техники, включително контролирано и неконтролирано обучение. Те са били използвани за всичко - от финансови прогнози до разпознаване на картина и реч до медицинска диагностика.
Разгледайте RBFN като GPS система, която използва поредица от опорни точки, за да намери пътя си през предизвикателен терен. Резултатът от мрежата е комбинация от опорните точки, които заместват функциите на радиалната основа.
Можем да преглеждаме сложна информация и да генерираме точни прогнози за това как ще се развие даден сценарий, като използваме RBFN.
11. Многослойни перцептрони (MLP)
Типична форма на невронна мрежа, наречена многослоен перцептрон (MLP), се използва за контролирани учебни задачи като класификация и регресия. Те работят чрез подреждане на няколко слоя от свързани възли или неврони, като всеки слой променя нелинейно входящите данни.
В MLP всеки неврон получава информация от невроните в слоя по-долу и изпраща сигнал до невроните в слоя по-горе. Изходът на всеки неврон се определя с помощта на функция за активиране, която дава на мрежата нелинейност.
Те са в състояние да научат сложни представяния на входните данни, тъй като могат да имат няколко скрити слоя.
MLP се прилагат за различни задачи, като анализ на настроението, откриване на измами и разпознаване на глас и картина. MLP могат да бъдат сравнени с група следователи, работещи заедно, за да разкрият труден случай.
Заедно те могат да съберат фактите и да разкрият престъплението въпреки факта, че всеки има определена област на специалност.
12. Конволюционни невронни мрежи (CNN)
Изображенията и видеоклиповете се обработват с помощта на конволюционни невронни мрежи (CNN), форма на невронна мрежа. Те функционират, като използват набор от обучаеми филтри или ядра, за да извлекат значими характеристики от входните данни.
Филтрите се плъзгат върху входната картина, изпълнявайки навивки, за да изградят карта на характеристиките, която улавя основните аспекти на изображението.
Тъй като CNN могат да научат йерархични представяния на характеристиките на картината, те са особено полезни за ситуации, включващи огромни обеми визуални данни. Няколко приложения са ги използвали, като откриване на обекти, категоризиране на картини и разпознаване на лица.
Помислете за CNN като за художник, който използва няколко четки, за да създаде шедьовър. Всяка четка е ядро и художникът може да изгради сложен, реалистичен образ чрез смесване на много ядра. Можем да извлечем важни характеристики от снимките и да ги използваме, за да прогнозираме точно съдържанието на изображението, като използваме CNN.
13. Мрежи за дълбоки вярвания (DBN)
DBN са форма на невронна мрежа, която се използва за задачи за обучение без надзор, като намаляване на размерността и обучение на функции. Те функционират чрез подреждане на няколко слоя от ограничени машини на Болцман (RBM), които са двуслойни невронни мрежи, способни да се научат да възстановяват входните данни.
DBN са много полезни за проблеми с високоразмерни данни, защото могат да научат компактно и ефективно представяне на входа. Те са били използвани за какво ли не - от разпознаване на глас до категоризиране на снимки до откриване на лекарства.
Например, изследователите са използвали DBN, за да оценят афинитета на свързване на кандидатите за лекарства към естрогенния рецептор. DBN беше обучен на колекция от химични характеристики и афинитети на свързване и беше в състояние точно да предскаже афинитета на свързване на нови кандидати за лекарства.
Това подчертава използването на DBN в разработването на лекарства и други приложения с високоразмерни данни.
14. Автоенкодери
Автоенкодерите са невронни мрежи, които се използват за неконтролирани учебни задачи. Те са предназначени да реконструират входните данни, което означава, че те ще се научат да кодират информацията в компактно представяне и след това да я декодират обратно в оригиналния вход.
Автоенкодерите са много ефективни за компресиране на данни, премахване на шум и откриване на аномалии. Те могат да се използват и за обучение на функции, където компактното представяне на автокодера се въвежда в задача за контролирано обучение.
Считайте, че автокодерите са ученици, които си водят бележки в клас. Студентът слуша лекцията и записва най-подходящите точки по кратък и ефективен начин.
По-късно ученикът може да изучава и да помни урока, като използва бележките си. Автокодерът, от друга страна, кодира входните данни в компактно представяне, което впоследствие може да се използва за различни цели, като откриване на аномалии или компресиране на данни.
15. Ограничени машини на Болцман (RBM)
RBM (ограничени машини на Болцман) са вид генеративна невронна мрежа, която се използва за задачи за обучение без надзор. Те се състоят от видим слой и скрит слой, с неврони във всеки слой, свързани, но не в рамките на същия слой.
RBM се обучават с помощта на техника, известна като контрастна дивергенция, която включва промяна на теглата между видимите и скритите слоеве, за да се оптимизира вероятността от данните за обучение. RBM могат да създават нови данни, след като бъдат обучени чрез вземане на проби от наученото разпределение.
Разпознаването на изображения и реч, съвместното филтриране и откриването на аномалии са всички приложения, които използват RBM. Те също са били използвани в системи за препоръки за създаване на персонализирани препоръки чрез изучаване на модели от поведението на потребителите.
RBM също са били използвани в обучението на функции за създаване на компактно и ефективно представяне на данни с голям размер.
Обобщение и обещаващи развития на хоризонта
Методите за дълбоко обучение, като конволюционните невронни мрежи (CNN) и повтарящите се невронни мрежи (RNN), са сред най-напредналите подходи за изкуствен интелект. CNN са трансформирали разпознаването на картина и звук, докато RNN са напреднали значително в обработката на естествен език и последователния анализ на данни.
Следващата стъпка в еволюцията на тези подходи вероятно ще се съсредоточи върху подобряването на тяхната ефективност и мащабируемост, което им позволява да анализират по-големи и по-сложни набори от данни, както и подобряване на тяхната интерпретируемост и способност да се учат от по-малко етикетирани данни.
Дълбокото обучение има възможността да позволи пробиви в области като здравеопазване, финанси и автономни системи, докато напредва.
Оставете коментар