Жылдар бойы терең білім алу технологияның тақырыптарына айналды. Және неге екенін түсіну оңай.
Жасанды интеллекттің бұл саласы денсаулық сақтаудан банк ісіне дейін көлікке дейінгі секторларды өзгертіп, бұрын ойланбаған жетістіктерге қол жеткізуге мүмкіндік береді.
Терең оқыту деректердің үлкен көлемінен күрделі үлгілерді шығарып алуды және болжауды үйренетін күрделі алгоритмдер жиынтығына негізделген.
Біз осы постта конволюционды нейрондық желілерден генеративті қарсылас желілерге дейін ұзақ мерзімді қысқа мерзімді жады желілеріне дейінгі ең жақсы 15 терең оқыту алгоритмдерін қарастырамыз.
Бұл пост сіздің а екеніңіз туралы маңызды түсінік береді бастаушы немесе терең оқытудың сарапшысы.
1. Трансформаторлық желілер
Трансформаторлық желілер трансформацияланды компьютерлік көру және табиғи тілді өңдеу (NLP) қолданбалары. Олар кіріс деректерді талдайды және ұзақ мерзімді қарым-қатынастарды түсіру үшін назар аудару процестерін пайдаланады. Бұл оларды әдеттегі реттілік үлгілеріне қарағанда жылдамырақ етеді.
Трансформаторлық желілер алғаш рет Васвани және т.б.
Олар кодтауыш пен дешифратордан тұрады (2017). Трансформатор үлгісі әртүрлі NLP қолданбаларында өнімділікті көрсетті, соның ішінде көңіл-күйді талдау, мәтінді санаттау және машиналық аударма.
Трансформаторға негізделген модельдерді қолданбалар үшін компьютерлік көруде де қолдануға болады. Олар нысанды тану және суретке жазуды орындай алады.
2. Ұзақ қысқа мерзімді жад желілері (LSTMs)
Ұзақ қысқа мерзімді жад желілері (LSTM) бір түрі болып табылады нейрондық желі әсіресе дәйекті енгізуді өңдеу үшін жасалған. Олар «ұзақ қысқа мерзімді» деп аталады, өйткені олар бұрыннан алынған білімді еске түсіре алады, сонымен бірге қажетсіз ақпаратты ұмытады.
LSTM желі ішіндегі ақпарат ағынын басқаратын кейбір «қақпалар» арқылы жұмыс істейді. Ақпараттың маңызды немесе маңызды емес екендігіне байланысты, бұл қақпалар оны кіргізе алады немесе оны болдырмайды.
Бұл әдіс LSTM-ге өткен уақыт қадамдарынан ақпаратты еске түсіруге немесе ұмытуға мүмкіндік береді, бұл сөйлеуді тану, табиғи тілді өңдеу және уақыт қатарын болжау сияқты тапсырмалар үшін өте маңызды.
LSTMs бағалануы немесе болжауы қажет дәйекті деректер бар кез келген жағдайда өте пайдалы. Олар көбінесе ауызша сөздерді мәтінге немесе мәтінге түрлендіру үшін дауысты тану бағдарламалық құралында қолданылады қор биржасы алдыңғы деректер негізінде болашақ бағаларды болжау үшін талдау.
3. Өзін-өзі ұйымдастыру карталары (SOMs)
SOM - бұл жасанды үйренуге болатын нейрондық желі және төмен өлшемді ортада күрделі деректерді көрсетеді. Әдіс жоғары өлшемді кіріс деректерін әрбір бірлік немесе нейрон кіріс кеңістігінің басқа бөлігін көрсететін екі өлшемді торға түрлендіру арқылы жұмыс істейді.
Нейрондар бір-бірімен байланысты және топологиялық құрылымды жасайды, бұл оларға кіріс деректерін үйренуге және реттеуге мүмкіндік береді. Сонымен, SOM бақылаусыз оқытуға негізделген.
Алгоритм қажет емес таңбаланған деректер үйрену үшін. Оның орнына ол айнымалылар арасындағы үлгілер мен корреляцияларды табу үшін кіріс деректерінің статистикалық мүмкіндіктерін пайдаланады.
Жаттығу кезеңінде нейрондар кіріс деректерінің ең жақсы көрсеткіші болу үшін бәсекелеседі. Және олар мағыналы құрылымға өзін-өзі ұйымдастырады. SOM қолданбаларының кең ауқымы бар, соның ішінде сурет пен сөзді тану, деректерді іздеу және үлгіні тану.
Олар үшін пайдалы күрделі деректерді визуализациялау, қатысты деректер нүктелерін кластерлеу және ауытқуларды немесе ауытқуларды анықтау.
4. Тереңдетіп оқыту
терең Арматуралық оқыту агентті марапаттау жүйесіне негізделген шешім қабылдауға үйрететін машиналық оқытудың бір түрі. Ол агентке қоршаған ортамен әрекеттесуге және сынақ және қате арқылы үйренуге мүмкіндік беру арқылы жұмыс істейді.
Агент әрбір жасаған әрекеті үшін марапатталады және оның мақсаты уақыт өте келе оның артықшылықтарын оңтайландыруды үйрену. Бұл агенттерді ойын ойнауға, көлік жүргізуге және тіпті роботтарды басқаруға үйрету үшін пайдаланылуы мүмкін.
Q-Learning - тереңдетіп оқытудың белгілі әдісі. Ол белгілі бір күйде белгілі бір әрекетті орындаудың мәнін бағалау және агент ортамен әрекеттескенде сол бағалауды жаңарту арқылы жұмыс істейді.
Содан кейін агент ең үлкен сыйақыға әкелетін әрекетті анықтау үшін осы бағалауларды пайдаланады. Q-Learning агенттерді Atari ойындарын ойнауға үйрету үшін, сондай-ақ деректер орталықтарында энергияны пайдалануды жақсарту үшін пайдаланылды.
Deep Q-Networks - тағы бір әйгілі Deep Reinforcement Learning әдісі (DQN). DQN Q-Learning-ке ұқсас, өйткені олар кестені емес, терең нейрондық желіні пайдаланып әрекет мәндерін бағалайды.
Бұл оларға көптеген балама әрекеттері бар үлкен, күрделі параметрлермен күресуге мүмкіндік береді. DQN агенттерді Go және Dota 2 сияқты ойындарды ойнауға үйрету үшін, сондай-ақ жүруді үйренетін роботтарды жасау үшін пайдаланылды.
5. Қайталанатын нейрондық желілер (RNNs)
RNN - ішкі күйді сақтай отырып, жүйелі деректерді өңдей алатын нейрондық желінің бір түрі. Оны кітап оқып отырған адамға ұқсап көрейік, мұнда әрбір сөз өзінен бұрынғы сөздерге қатысты қорытылады.
Сондықтан RNN сөздерді тану, тілді аудару және тіпті сөз тіркесіндегі келесі сөзді болжау сияқты тапсырмалар үшін өте қолайлы.
RNN әр уақыт қадамының шығысын келесі уақыт қадамының кірісіне қосу үшін кері байланыс циклдерін пайдалану арқылы жұмыс істейді. Бұл желіге алдағы уақыт қадамдары туралы болжамдарды хабарлау үшін алдыңғы уақыт қадамы туралы ақпаратты пайдалануға мүмкіндік береді. Өкінішке орай, бұл сонымен қатар RNN-нің жоғалып бара жатқан градиент мәселесіне осал екенін білдіреді, онда оқыту үшін пайдаланылатын градиенттер өте кішкентай болады және желі ұзақ мерзімді қарым-қатынастарды үйренуге тырысады.
Осы айқын шектеулерге қарамастан, RNN қолданбалардың кең ауқымында қолданылды. Бұл қолданбаларға табиғи тілді өңдеу, сөйлеуді тану және тіпті музыканы шығару кіреді.
Google Аудармашы, мысалы, тілдерден аудару үшін RNN негізіндегі жүйені пайдаланады, ал виртуалды көмекші Siri дауысты анықтау үшін RNN негізіндегі жүйені пайдаланады. RNNs акциялардың бағасын болжау және шынайы мәтін мен графиканы жасау үшін де пайдаланылды.
6. Капсула желілері
Capsule Networks — деректердегі үлгілер мен корреляцияларды тиімдірек анықтай алатын нейрондық желі дизайнының жаңа түрі. Олар нейрондарды кірістің белгілі бір аспектілерін кодтайтын «капсулаларға» ұйымдастырады.
Осылайша олар дәлірек болжам жасай алады. Капсула желілері капсулалардың көптеген қабаттарын қолдану арқылы кіріс деректерінен біртіндеп күрделі сипаттарды шығарады.
Capsule Networks техникасы берілген кірістің иерархиялық көріністерін үйренуге мүмкіндік береді. Олар капсулалар арасындағы байланыс арқылы сурет ішіндегі элементтер арасындағы кеңістіктік байланыстарды дұрыс кодтай алады.
Объектіні сәйкестендіру, суретті сегменттеу және табиғи тілді өңдеу - барлығы Capsule Networks қолданбалары.
Капсулалық желілерде жұмысқа орналасу мүмкіндігі бар автономды жүргізу технологиялар. Олар жүйеге автомобильдер, адамдар және жол белгілері сияқты заттарды тануға және ажыратуға көмектеседі. Бұл жүйелер қоршаған ортадағы объектілердің әрекеті туралы дәлірек болжам жасау арқылы соқтығысудан аулақ бола алады.
7. Вариациялық автокодерлер (VAEs)
VAE - бақылаусыз оқыту үшін қолданылатын терең оқыту құралының бір түрі. Деректерді төменгі өлшемді кеңістікке кодтау және оны бастапқы пішімге қайта декодтау арқылы олар деректердегі үлгілерді анықтауды үйренуі мүмкін.
Олар қоянды қалпаққа айналдырып, кейін қайтадан қоянға айналдыра алатын сиқыршы сияқты! VAE шынайы көрнекі бейнелерді немесе музыканы жасау үшін пайдалы. Және олар бастапқы деректермен салыстырылатын жаңа деректерді шығару үшін пайдаланылуы мүмкін.
VAE құпия код бұзушыға ұқсас. Олар астарын аша алады мәліметтер құрылымы басқатырғыштың қалай бөлінетіні сияқты, оны қарапайым биттерге бөлу арқылы. Олар бөліктерді сұрыптағаннан кейін түпнұсқаға ұқсайтын жаңа деректерді құру үшін бұл ақпаратты пайдалана алады.
Бұл үлкен файлдарды қысу немесе белгілі бір стильде жаңа графика немесе музыка шығару үшін ыңғайлы болуы мүмкін. VAE сонымен қатар жаңалықтар немесе музыкалық мәтіндер сияқты жаңа мазмұнды жасай алады.
8. Генеративті қарсыластық желілер (GANs)
GANs (Generative Adversarial Networks) - түпнұсқаға ұқсайтын жаңа деректерді генерациялайтын терең оқыту жүйесінің бір түрі. Олар екі желіні оқыту арқылы жұмыс істейді: генератор және дискриминатор желісі.
Генератор түпнұсқамен салыстырылатын жаңа деректерді шығарады.
Ал, дискриминатор бастапқы және жасалған деректерді ажыратуға тырысады. Екі желі тандемде оқытылады, генератор дискриминаторды алдауға тырысады және дискриминатор бастапқы деректерді дұрыс анықтауға тырысады.
GAN-ларды жалған және детектив арасындағы крест деп санаңыз. Генератор жалған құрылғыға ұқсас жұмыс істейді, түпнұсқаға ұқсайтын жаңа өнер туындысын шығарады.
Дискриминатор шынайы өнер туындысы мен жалғандықты ажыратуға тырысып, детектив ретінде әрекет етеді. Екі желі тандемде оқытылады, генератор ақылға қонымды жалған жасауды жақсартады, ал дискриминатор оларды тану кезінде жақсарады.
GAN адамдардың немесе жануарлардың шынайы суреттерін жасаудан жаңа музыка немесе жазуды жасауға дейін бірнеше мақсатқа ие. Олар сондай-ақ машиналық оқыту үлгілерін оқытуға арналған үлкен деректер жинағын құру үшін өндірілген деректерді нақты деректермен біріктіруді қамтитын деректерді ұлғайту үшін пайдаланылуы мүмкін.
9. Deep Q-Networks (DQNs)
Deep Q-Networks (DQNs) - бұл шешім қабылдауды күшейтетін оқыту алгоритмінің бір түрі. Олар белгілі бір жағдайда белгілі бір әрекетті орындау үшін күтілетін сыйақыны болжайтын Q-функциясын үйрену арқылы жұмыс істейді.
Q-функциясы сынақ және қате арқылы оқытылады, алгоритм әртүрлі әрекеттерді орындап, нәтижелерден сабақ алады.
А сияқты қарастырыңыз Видео ойын әр түрлі әрекеттермен тәжірибе жасап, олардың қайсысы табысқа апаратынын анықтау! DQN терең нейрондық желіні пайдаланып Q-функциясын жаттықтырады, бұл оларды қиын шешім қабылдау тапсырмалары үшін тиімді құрал етеді.
Олар тіпті Go және шахмат сияқты ойындарда, сондай-ақ робототехника мен өздігінен жүретін автомобильдерде адам чемпиондарын жеңді. Жалпы алғанда, DQN уақыт өте келе шешім қабылдау дағдыларын жақсарту үшін тәжірибеден үйрену арқылы жұмыс істейді.
10. Радиалды функционалдық желілер (RBFNs)
Радиалды функционалды желілер (RBFNs) - функцияларды жуықтау және жіктеу тапсырмаларын орындау үшін пайдаланылатын нейрондық желінің бір түрі. Олар кіріс деректерін радиалды негізді функциялар жиынын пайдаланып жоғары өлшемді кеңістікке түрлендіру арқылы жұмыс істейді.
Желінің шығысы негізгі функциялардың сызықтық комбинациясы болып табылады және әрбір радиалды негіз функциясы кіріс кеңістігіндегі орталық нүктені білдіреді.
RBFNs әсіресе күрделі кіріс-шығыс өзара әрекеттесуі бар жағдайлар үшін тиімді және оларды бақылаудағы және бақылаусыз оқытуды қоса алғанда, кең ауқымды әдістерді пайдалана отырып оқытуға болады. Олар қаржылық болжамдардан сурет пен сөйлеуді тануға дейін медициналық диагностикаға дейін қолданылған.
RBFN-ді қиын жерлерде өз жолын табу үшін бірқатар тірек нүктелерін пайдаланатын GPS жүйесі ретінде қарастырыңыз. Желінің шығысы радиалды негіз функцияларын орындайтын бекіту нүктелерінің тіркесімі болып табылады.
Біз күрделі ақпаратты шолып, RBFN қолдану арқылы сценарийдің қалай болатыны туралы нақты болжамдар жасай аламыз.
11. Көп қабатты перцептрондар (MLPs)
Көпқабатты перцептрон (MLP) деп аталатын нейрондық желінің типтік түрі классификация және регрессия сияқты бақыланатын оқу тапсырмалары үшін пайдаланылады. Олар байланысқан түйіндердің немесе нейрондардың бірнеше қабаттарын жинақтау арқылы жұмыс істейді, әрбір қабат кіріс деректерді сызықты емес өзгертеді.
MLP-де әрбір нейрон төменгі қабаттағы нейрондардан кіріс алады және жоғарыдағы қабаттағы нейрондарға сигнал жібереді. Әрбір нейронның шығысы желіге бейсызықтылықты беретін активтендіру функциясы арқылы анықталады.
Олар кіріс деректерінің күрделі көріністерін үйренуге қабілетті, өйткені оларда бірнеше жасырын қабаттар болуы мүмкін.
MLP көңіл-күйді талдау, алаяқтықты анықтау, дауыс пен суретті тану сияқты әртүрлі тапсырмаларға қолданылды. MLP-ті қиын істі шешу үшін бірге жұмыс істейтін тергеушілер тобымен салыстыруға болады.
Бірге олар фактілерді біріктіріп, әрқайсысының белгілі бір мамандығы бар екеніне қарамастан қылмысты аша алады.
12. Конволюционды нейрондық желілер (CNNs)
Суреттер мен бейнелер нейрондық желінің бір түрі конволюционды нейрондық желілер (CNN) арқылы өңделеді. Олар кіріс деректерінен маңызды сипаттамаларды алу үшін үйренетін сүзгілердің немесе ядролардың жиынтығын қолдану арқылы жұмыс істейді.
Сүзгілер кескіннің маңызды аспектілерін түсіретін мүмкіндік картасын құру үшін конверсияларды орындай отырып, кіріс суреттің үстінен сырғып өтеді.
CNN сурет сипаттамаларының иерархиялық көріністерін біле алатындықтан, олар көрнекі деректердің үлкен көлемін қамтитын жағдайлар үшін әсіресе пайдалы. Бірнеше қолданбалар оларды объектіні анықтау, суретті санаттау және бетті анықтау сияқты пайдаланды.
CNN-ді шедевр жасау үшін бірнеше қылқалам қолданатын суретші ретінде қарастырыңыз. Әрбір қылқалам өзек болып табылады және суретші көптеген ядроларды араластыру арқылы күрделі, шынайы бейнені құра алады. Біз фотосуреттерден маңызды сипаттамаларды шығарып, оларды CNN көмегімен кескіннің мазмұнын дәл болжау үшін пайдалана аламыз.
13. Deep Belief Networks (DBNs)
DBN - өлшемді азайту және мүмкіндіктерді үйрену сияқты бақылаусыз оқыту тапсырмалары үшін пайдаланылатын нейрондық желінің түрі. Олар кіріс деректерін қалпына келтіруді үйренуге қабілетті екі қабатты нейрондық желілер болып табылатын Шектеулі Больцман машиналарының (RBMs) бірнеше қабаттарын жинақтау арқылы жұмыс істейді.
DBN жоғары өлшемді деректер мәселелері үшін өте тиімді, өйткені олар кірістің ықшам және тиімді көрінісін үйрене алады. Олар дауысты танудан суретті санатқа бөлуге дейін, есірткіні табуға дейін кез келген нәрсе үшін қолданылған.
Мысалы, зерттеушілер дәрі-дәрмекке үміткерлердің эстроген рецепторларымен байланысуын бағалау үшін DBN пайдаланды. DBN химиялық сипаттамалар мен байланыстыру ұқсастықтарының жиынтығы бойынша оқытылды және ол жаңа дәрі-дәрмекке үміткерлердің байланысу жақындығын дәл болжай алды.
Бұл дәрілік заттарды әзірлеуде және басқа да жоғары өлшемді деректер қолданбаларында DBN пайдалануды көрсетеді.
14. Автокодерлер
Автокодерлер - бұл бақылаусыз оқу тапсырмалары үшін пайдаланылатын нейрондық желілер. Олар кіріс деректерін қайта құруға арналған, бұл олар ақпаратты ықшам көрініске кодтауды үйренеді, содан кейін оны бастапқы кіріске қайтарады.
Автокодерлер деректерді қысу, шуды жою және аномалияларды анықтау үшін өте тиімді. Сондай-ақ, олар автокодердің жинақы көрінісі бақыланатын оқу тапсырмасына берілетін мүмкіндіктерді үйрену үшін де пайдаланылуы мүмкін.
Автокодерлерді сыныпта жазып алатын студенттер деп қарастырыңыз. Студент лекцияны тыңдап, ең өзекті ойларды қысқа және тиімді түрде жазып алады.
Кейінірек студент өз жазбалары арқылы сабақты оқып, есте сақтай алады. Автокодер, екінші жағынан, кіріс деректерін кейіннен аномалияны анықтау немесе деректерді қысу сияқты әртүрлі мақсаттарда қолдануға болатын ықшам көрініске кодтайды.
15. Шектеулі Больцман машиналары (РБМ)
RBMs (Restricted Boltzmann Machines) – бақыланбайтын оқу тапсырмалары үшін пайдаланылатын генеративті нейрондық желінің бір түрі. Олар көрінетін және жасырын қабаттан тұрады, әрбір қабатта нейрондар байланысқан, бірақ бір қабат ішінде емес.
RBMs оқу деректерінің ықтималдығын оңтайландыру үшін көрінетін және жасырын қабаттар арасындағы салмақтарды өзгертуді талап ететін контрасттық дивергенция деп аталатын әдісті қолдана отырып оқытылады. RBMs үйренген таратудан үлгі алу арқылы оқытылғаннан кейін жаңа деректерді жасай алады.
Кескінді және сөзді тану, бірлескен сүзгілеу және аномалияны анықтау - барлығы RBM пайдаланатын қолданбалар. Олар сондай-ақ пайдаланушы мінез-құлқынан үлгілерді үйрену арқылы бейімделген ұсыныстар жасау үшін ұсыныс жүйелерінде пайдаланылды.
RBMs сонымен қатар жоғары өлшемді деректердің ықшам және тиімді көрінісін жасау үшін мүмкіндіктерді оқытуда пайдаланылды.
Қорытынды және көкжиектегі перспективалы оқиғалар
Конволюциялық нейрондық желілер (CNN) және қайталанатын нейрондық желілер (RNNs) сияқты терең оқыту әдістері жасанды интеллекттің ең озық әдістерінің бірі болып табылады. CNN сурет пен дыбысты тануды өзгертті, ал RNN табиғи тілді өңдеуде және деректерді дәйекті талдауда айтарлықтай алға жылжыды.
Бұл тәсілдер эволюциясының келесі қадамы олардың тиімділігі мен ауқымдылығын арттыруға, үлкенірек және күрделірек деректер жиынын талдауға мүмкіндік беретін, сондай-ақ олардың түсіндірмелілігі мен таңбаланбаған деректерден үйрену қабілетін арттыруға бағытталған болуы мүмкін.
Терең оқыту денсаулық сақтау, қаржы және автономды жүйелер сияқты салаларда жетістіктерге жетуге мүмкіндік береді.
пікір қалдыру