Ko'p yillar davomida chuqur o'rganish texnologiyaning sarlavhalariga aylandi. Va buning sababini tushunish oson.
Sun'iy intellektning ushbu tarmog'i sog'liqni saqlashdan tortib bank ishigacha, transportgacha bo'lgan sohalarni o'zgartirib, ilgari tasavvur qilib bo'lmaydigan yutuqlarga erishmoqda.
Chuqur o'rganish katta hajmdagi ma'lumotlardan murakkab naqshlarni ajratib olishni va bashorat qilishni o'rganadigan murakkab algoritmlar to'plamiga asoslanadi.
Biz ushbu postda konvolyutsion neyron tarmoqlardan tortib generativ raqib tarmoqlarigacha bo'lgan uzoq qisqa muddatli xotira tarmoqlarigacha bo'lgan eng yaxshi 15 ta chuqur o'rganish algoritmlarini ko'rib chiqamiz.
Ushbu post siz a'zo ekanligingiz haqida muhim ma'lumotlarni beradi boshlang'ich yoki chuqur o'rganish bo'yicha mutaxassis.
1. Transformator tarmoqlari
Transformator tarmoqlari o'zgartirildi kompyuterni ko'rish va tabiiy tilni qayta ishlash (NLP) ilovalari. Ular kiruvchi ma'lumotlarni tahlil qiladi va uzoq muddatli munosabatlarni qo'lga kiritish uchun diqqat jarayonlarini qo'llaydi. Bu ularni an'anaviy ketma-ketlik modellariga qaraganda tezroq qiladi.
Transformator tarmoqlari birinchi marta Vaswani va boshqalar tomonidan "Diqqat sizga kerak" nashrida tasvirlangan.
Ular kodlovchi va dekoderdan iborat (2017). Transformator modeli turli xil NLP ilovalarida, jumladan, ishlashni namoyish etdi hissiyotlarni tahlil qilish, matnni turkumlashtirish va mashina tarjimasi.
Transformatorga asoslangan modellar ilovalar uchun kompyuterni ko'rishda ham qo'llanilishi mumkin. Ular ob'ektni tanib olish va tasvir sarlavhalarini bajarishlari mumkin.
2. Uzoq muddatli qisqa muddatli xotira tarmoqlari (LSTM)
Uzoq qisqa muddatli xotira tarmoqlari (LSTM) ning bir shaklidir neyron tarmoq ayniqsa, ketma-ket kiritishni boshqarish uchun qurilgan. Ular "uzoq qisqa muddatli" deb nomlanadi, chunki ular keraksiz ma'lumotlarni unutib, uzoq vaqt oldin olingan bilimlarni esga olishlari mumkin.
LSTMlar tarmoq ichidagi axborot oqimini boshqaradigan ba'zi "eshiklar" orqali ishlaydi. Ma'lumotlarning ahamiyatli yoki ahamiyatsiz ekanligiga qarab, bu eshiklar uni ichkariga kiritishi yoki oldini olishi mumkin.
Ushbu uslub LSTM-larga o'tgan vaqt qadamlaridagi ma'lumotlarni eslab qolish yoki unutish imkonini beradi, bu nutqni aniqlash, tabiiy tilni qayta ishlash va vaqt seriyalarini bashorat qilish kabi vazifalar uchun juda muhimdir.
LSTMlar baholanishi yoki prognoz qilinishi kerak bo'lgan ketma-ket ma'lumotlarga ega bo'lgan har qanday holatda juda foydali. Ular ko'pincha ovozni aniqlash dasturida og'zaki so'zlarni matnga yoki matnga aylantirish uchun ishlatiladi fond birgasi oldingi ma'lumotlar asosida kelajakdagi narxlarni prognoz qilish uchun tahlil.
3. Oʻz-oʻzini tashkil qiluvchi xaritalar (SOM)
SOMlar o'ziga xos sun'iydir o'rganishi mumkin bo'lgan neyron tarmoq va past o'lchamli muhitda murakkab ma'lumotlarni ifodalaydi. Usul yuqori o'lchamli kirish ma'lumotlarini ikki o'lchovli tarmoqqa aylantirish orqali ishlaydi, har bir birlik yoki neyron kirish maydonining boshqa qismini ifodalaydi.
Neyronlar bir-biriga bog'langan va topologik tuzilmani yaratadi, bu ularga kirish ma'lumotlarini o'rganish va moslashtirish imkonini beradi. Shunday qilib, SOM nazoratsiz o'rganishga asoslangan.
Algoritm kerak emas etiketli ma'lumotlar dan o'rganish. Buning o'rniga, u o'zgaruvchilar orasidagi naqsh va korrelyatsiyalarni aniqlash uchun kiritilgan ma'lumotlarning statistik xususiyatlaridan foydalanadi.
Trening bosqichida neyronlar kiritilgan ma'lumotlarning eng yaxshi ko'rsatkichi bo'lish uchun raqobatlashadi. Va ular o'z-o'zidan mazmunli tuzilishga aylanadi. SOMlar keng koʻlamli ilovalarga ega, jumladan, tasvir va nutqni aniqlash, maʼlumotlarni qidirish va naqshni aniqlash.
Ular uchun foydalidir murakkab ma'lumotlarni vizualizatsiya qilish, tegishli ma'lumotlar nuqtalarini klasterlash va g'ayritabiiyliklarni yoki chegaralarni aniqlash.
4. Chuqur mustahkamlashni o‘rganish
chuqur Takomillashtirish agent mukofot tizimi asosida qaror qabul qilishga o'rgatilgan mashinani o'rganishning bir turi. U agentga atrofdagilar bilan o'zaro munosabatda bo'lish va sinov va xato orqali o'rganish imkonini berish orqali ishlaydi.
Agent qilgan har bir harakati uchun mukofotlanadi va uning maqsadi vaqt o'tishi bilan uning afzalliklarini optimallashtirishni o'rganishdir. Bu agentlarga o'yin o'ynash, avtomobil haydash va hatto robotlarni boshqarishni o'rgatish uchun ishlatilishi mumkin.
Q-Learning - bu chuqur o'rganishning mashhur usuli. U ma'lum bir holatda ma'lum bir harakatni bajarish qiymatini baholash va agentning atrof-muhit bilan o'zaro ta'sirida ushbu bahoni yangilash orqali ishlaydi.
Keyin agent ushbu hisob-kitoblardan qaysi harakat eng katta mukofotga olib kelishi mumkinligini aniqlash uchun foydalanadi. Q-Learning agentlarni Atari o'yinlarini o'ynashga o'rgatish, shuningdek, ma'lumotlar markazlarida energiya sarfini yaxshilash uchun ishlatilgan.
Deep Q-Networks yana bir mashhur Deep Reinforcement Learning usuli (DQN). DQNlar Q-Learning-ga o'xshaydi, chunki ular jadvaldan ko'ra chuqur neyron tarmog'idan foydalangan holda harakat qiymatlarini baholaydilar.
Bu ularga ko'plab muqobil harakatlar bilan ulkan, murakkab sozlamalar bilan shug'ullanish imkonini beradi. DQN agentlarni Go va Dota 2 kabi oʻyinlarni oʻynashga oʻrgatish, shuningdek, yurishni oʻrgana oladigan robotlarni yaratishda foydalanilgan.
5. Takrorlanuvchi neyron tarmoqlari (RNN)
RNN - bu ichki holatni saqlagan holda ketma-ket ma'lumotlarni qayta ishlashga qodir bo'lgan neyron tarmoqning bir turi. Buni kitob o'qiyotgan odamga o'xshatib ko'ring, bu erda har bir so'z o'zidan oldingi so'zlarga nisbatan hazm qilinadi.
Shuning uchun RNNlar nutqni aniqlash, tilni tarjima qilish va hatto iboradagi keyingi so'zni prognoz qilish kabi vazifalar uchun idealdir.
RNN har bir qadamning chiqishini keyingi vaqt bosqichining kirishiga ulash uchun qayta aloqa halqalari yordamida ishlaydi. Bu tarmoqqa kelajakdagi vaqt qadamlari uchun bashorat qilish uchun oldingi vaqt qadami ma'lumotlaridan foydalanish imkonini beradi. Afsuski, bu, shuningdek, RNN-larning yo'qolib borayotgan gradient muammosiga nisbatan zaif ekanligini anglatadi, bunda o'qitish uchun ishlatiladigan gradientlar juda kichik bo'lib qoladi va tarmoq uzoq muddatli munosabatlarni o'rganish uchun kurashadi.
Ushbu aniq cheklovga qaramay, RNNlar keng ko'lamli ilovalarda foydalanishni topdilar. Ushbu ilovalar tabiiy tilni qayta ishlash, nutqni aniqlash va hatto musiqa ishlab chiqarishni o'z ichiga oladi.
Google tarjima, masalan, tillar bo'ylab tarjima qilish uchun RNN-ga asoslangan tizimdan foydalanadi, virtual yordamchi Siri esa ovozni aniqlash uchun RNN-ga asoslangan tizimdan foydalanadi. RNNlar aksiyalar narxlarini prognoz qilish va real matn va grafiklarni yaratish uchun ham ishlatilgan.
6. Kapsula tarmoqlari
Kapsül tarmoqlari - bu neyron tarmoq dizaynining yangi turi bo'lib, u ma'lumotlardagi naqsh va korrelyatsiyalarni yanada samaraliroq aniqlay oladi. Ular neyronlarni kirishning ma'lum jihatlarini kodlaydigan "kapsulalarga" tashkil qiladi.
Shu tarzda ular aniqroq bashorat qilishlari mumkin. Kapsül tarmoqlari ko'p qatlamli kapsulalarni qo'llash orqali kirish ma'lumotlaridan tobora murakkab xususiyatlarni chiqaradi.
Capsule Networks texnikasi ularga berilgan ma'lumotlarning ierarxik ko'rinishlarini o'rganish imkonini beradi. Ular kapsulalar orasidagi aloqa orqali rasm ichidagi elementlar orasidagi fazoviy aloqalarni to'g'ri kodlashi mumkin.
Ob'ektni identifikatsiya qilish, rasmni segmentatsiyalash va tabiiy tilni qayta ishlash Kapsula tarmoqlarining barcha ilovalari.
Kapsül tarmoqlarida ishlash imkoniyati mavjud avtonom haydash texnologiyalar. Ular tizimga avtomobillar, odamlar va yo'l belgilari kabi narsalarni tanib olish va farqlashda yordam beradi. Ushbu tizimlar o'z muhitidagi ob'ektlarning xatti-harakatlari haqida aniqroq bashorat qilish orqali to'qnashuvlardan qochishlari mumkin.
7. Variatsion avtokoderlar (VAE)
VAE - bu nazoratsiz o'rganish uchun ishlatiladigan chuqur o'rganish vositasi shaklidir. Ma'lumotlarni pastki o'lchamli bo'shliqqa kodlash va keyin uni asl formatga qaytarish orqali ular ma'lumotlardagi naqshlarni aniqlashni o'rganishlari mumkin.
Ular quyonni shlyapaga aylantirib, keyin yana quyonga aylantira oladigan sehrgarga o'xshaydi! VAE haqiqiy vizual tasvirlar yoki musiqa yaratish uchun foydalidir. Va ular asl ma'lumotlar bilan taqqoslanadigan yangi ma'lumotlarni ishlab chiqarish uchun ishlatilishi mumkin.
VAE'lar maxfiy kod buzuvchiga o'xshaydi. Ular asosiy narsani aniqlashlari mumkin ma'lumotlar tuzilishi uni oddiyroq qismlarga bo'lish orqali, xuddi jumboq qanday parchalanishi kabi. Ular ushbu ma'lumotlardan qismlarni saralagandan so'ng asl nusxaga o'xshash yangi ma'lumotlarni yaratish uchun foydalanishlari mumkin.
Bu juda katta fayllarni siqish yoki ma'lum bir uslubda yangi grafik yoki musiqa yaratish uchun qulay bo'lishi mumkin. VAE shuningdek, yangiliklar yoki musiqa so'zlari kabi yangi tarkibni ishlab chiqishi mumkin.
8. Generativ raqib tarmoqlari (GAN)
GANs (Generative Adversarial Networks) - bu asl nusxaga o'xshash yangi ma'lumotlarni yaratadigan chuqur o'rganish tizimining bir shakli. Ular ikkita tarmoqni o'qitish orqali ishlaydi: generator va diskriminator tarmog'i.
Generator original bilan solishtirish mumkin bo'lgan yangi ma'lumotlarni ishlab chiqaradi.
Va diskriminator asl va yaratilgan ma'lumotlarni ajratishga harakat qiladi. Ikki tarmoq tandemda o'qitiladi, generator diskriminatorni aldashga urinadi va diskriminator asl ma'lumotlarni to'g'ri aniqlashga harakat qiladi.
GANlarni soxta va detektiv o'rtasidagi xoch deb hisoblang. Generator soxta ishlab chiqaruvchiga o'xshab ishlaydi va asl nusxaga o'xshash yangi san'at asarini yaratadi.
Diskriminator detektiv vazifasini bajarib, haqiqiy san'at asari va qalbakilikni farqlashga harakat qiladi. Ikkala tarmoq tandemda o'qitiladi, generator aql bovar qilmaydigan soxta narsalarni yaratishda va diskriminator ularni tanib olishda yaxshilanadi.
GANlar odamlar yoki hayvonlarning haqiqiy rasmlarini yaratishdan tortib, yangi musiqa yoki yozuv yaratishgacha bo'lgan bir nechta maqsadlarga ega. Ular, shuningdek, ishlab chiqarilgan ma'lumotlarni haqiqiy ma'lumotlar bilan birlashtirib, mashinani o'rganish modellarini o'qitish uchun kattaroq ma'lumotlar to'plamini yaratishni o'z ichiga olgan ma'lumotlarni ko'paytirish uchun ishlatilishi mumkin.
9. Chuqur Q-Networks (DQNs)
Chuqur Q-Networks (DQNs) - bu qarorlar qabul qilishni kuchaytirishni o'rganish algoritmining bir turi. Ular ma'lum bir holatda ma'lum bir harakatni bajarish uchun kutilgan mukofotni bashorat qiluvchi Q-funktsiyani o'rganish orqali ishlaydi.
Q-funktsiyasi sinov va xatolik yo'li bilan o'rgatiladi, algoritm turli harakatlarga urinish va natijalardan o'rganish.
Buni a kabi ko'rib chiqing video O'YIN xarakter turli harakatlar bilan tajriba o'tkazish va qaysi biri muvaffaqiyatga olib kelishini aniqlash! DQN chuqur neyron tarmog'i yordamida Q-funksiyasini o'rgatadi va ularni qiyin qarorlar qabul qilish uchun samarali vositalarga aylantiradi.
Ular hatto Go va shaxmat kabi o'yinlarda, shuningdek, robototexnika va o'zi boshqariladigan avtomobillarda inson chempionlarini mag'lub etishdi. Shunday qilib, umuman olganda, DQNlar vaqt o'tishi bilan qaror qabul qilish qobiliyatlarini oshirish uchun tajribadan o'rganish orqali ishlaydi.
10. Radial asosiy funksiya tarmoqlari (RBFN)
Radial asosli funktsiya tarmoqlari (RBFN) funktsiyalarni taxmin qilish va tasniflash vazifalarini bajarish uchun ishlatiladigan neyron tarmoqning bir turi. Ular kirish ma'lumotlarini radial asosli funktsiyalar to'plamidan foydalangan holda yuqori o'lchamli fazoga aylantirish orqali ishlaydi.
Tarmoqning chiqishi asosiy funktsiyalarning chiziqli birikmasidir va har bir radial asosiy funktsiya kirish maydonidagi markaziy nuqtani ifodalaydi.
RBFNlar, ayniqsa, murakkab kirish-chiqish o'zaro ta'siri bo'lgan vaziyatlar uchun samarali bo'lib, ular keng ko'lamli texnikalar, jumladan, nazorat ostida va nazoratsiz o'rganish yordamida o'rgatishlari mumkin. Ular moliyaviy bashoratlardan tortib, rasm va nutqni aniqlashgacha, tibbiy diagnostika uchun har qanday narsada qo'llanilgan.
RBFN-larni qiyin erlarda yo'l topish uchun bir qator langar nuqtalaridan foydalanadigan GPS tizimi sifatida ko'rib chiqing. Tarmoqning chiqishi radial asosli funktsiyalarni bajaradigan langar nuqtalarining birikmasidir.
Biz murakkab ma'lumotlarni ko'rib chiqishimiz va RBFN-larni qo'llash orqali stsenariy qanday sodir bo'lishi haqida aniq prognozlarni yaratishimiz mumkin.
11. Ko'p qatlamli perseptronlar (MLP)
Ko'p qatlamli perseptron (MLP) deb ataladigan neyron tarmoqning odatiy shakli tasniflash va regressiya kabi nazorat qilinadigan o'quv vazifalari uchun ishlatiladi. Ular bir-biriga bog'langan tugunlarning yoki neyronlarning bir nechta qatlamlarini yig'ish orqali ishlaydi, har bir qatlam kiruvchi ma'lumotlarni chiziqli bo'lmagan tarzda o'zgartiradi.
MLPda har bir neyron quyi qatlamdagi neyronlardan ma'lumot oladi va yuqoridagi qatlamdagi neyronlarga signal yuboradi. Har bir neyronning chiqishi faollashtirish funksiyasi yordamida aniqlanadi, bu tarmoqqa nochiziqlilikni beradi.
Ular kiritilgan ma'lumotlarning murakkab ko'rinishlarini o'rganishga qodir, chunki ular bir nechta yashirin qatlamlarga ega bo'lishi mumkin.
MLPlar hissiyotlarni tahlil qilish, firibgarlikni aniqlash, ovoz va tasvirni aniqlash kabi turli vazifalarga qo'llanilgan. MLPlarni qiyin ishni ochish uchun birgalikda ishlaydigan bir guruh tergovchilar bilan taqqoslash mumkin.
Ular birgalikda faktlarni birlashtirib, jinoyatni ochishlari mumkin, garchi har birining o'ziga xos ixtisosligi bor.
12. Konvolyutsion neyron tarmoqlari (CNN)
Tasvirlar va videolar neyron tarmoq shakli bo'lgan konvolyutsion neyron tarmoqlari (CNN) yordamida qayta ishlanadi. Ular kirish ma'lumotlaridan muhim xususiyatlarni olish uchun o'rganiladigan filtrlar yoki yadrolar to'plamidan foydalanish orqali ishlaydi.
Filtrlar kiritilgan rasm ustida sirpanib, tasvirning muhim tomonlarini qamrab oladigan xususiyat xaritasini yaratish uchun konvolyutsiyalarni amalga oshiradi.
CNN-lar rasm xususiyatlarining ierarxik ko'rinishlarini o'rganishga qodir ekan, ular juda katta hajmdagi vizual ma'lumotlar bilan bog'liq vaziyatlarda ayniqsa foydalidir. Ob'ektni aniqlash, tasvirni turkumlashtirish va yuzni aniqlash kabi bir nechta ilovalar ulardan foydalangan.
CNN-ni asar yaratish uchun bir nechta cho'tkalardan foydalanadigan rassom sifatida ko'rib chiqing. Har bir cho'tka yadrodir va rassom ko'plab yadrolarni aralashtirib, murakkab, real tasvirni yaratishi mumkin. Biz fotosuratlardan muhim xususiyatlarni ajratib olishimiz va CNN yordamida tasvir mazmunini aniq prognoz qilish uchun ulardan foydalanishimiz mumkin.
13. Deep Belief Networks (DBNs)
DBN neyron tarmoq shakli bo'lib, u o'lchamlarni kamaytirish va xususiyatlarni o'rganish kabi nazoratsiz o'quv vazifalari uchun ishlatiladi. Ular kirish ma'lumotlarini qayta tiklashni o'rganishga qodir bo'lgan ikki qatlamli neyron tarmoqlari bo'lgan Cheklangan Boltzmann Mashinalarining (RBM) bir necha qatlamlarini yig'ish orqali ishlaydi.
DBNlar yuqori o'lchamli ma'lumotlar masalalari uchun juda foydali, chunki ular kirishning ixcham va samarali tasvirini o'rganishlari mumkin. Ular ovozni tanib olishdan tortib, rasmlarni toifalashgacha, giyohvand moddalarni topishgacha bo'lgan har qanday narsada qo'llanilgan.
Misol uchun, tadqiqotchilar dori-darmonlarni qabul qilish uchun nomzodlarning estrogen retseptorlari bilan bog'lanishini baholash uchun DBN dan foydalanganlar. DBN kimyoviy xususiyatlar va bog'lanish yaqinliklari to'plami bo'yicha o'qitildi va u yangi dori nomzodlarining bog'lanish yaqinligini aniq taxmin qila oldi.
Bu dori vositalarini ishlab chiqishda va boshqa yuqori o'lchamli ma'lumotlar ilovalarida DBN dan foydalanishni ta'kidlaydi.
14. Avtokoderlar
Avtokoderlar - bu nazoratsiz o'quv vazifalari uchun foydalaniladigan neyron tarmoqlar. Ular kirish ma'lumotlarini qayta qurish uchun mo'ljallangan, bu ular ma'lumotni ixcham ko'rinishga kodlashni o'rganishlarini va keyin uni asl kirishga qaytarishni anglatadi.
Avtokoderlar ma'lumotlarni siqish, shovqinlarni olib tashlash va anomaliyalarni aniqlash uchun juda samarali. Ular, shuningdek, avtokoderning ixcham ko'rinishi nazorat ostidagi o'quv vazifasiga kiritilgan xususiyatlarni o'rganish uchun ham ishlatilishi mumkin.
Avtokoderlarni sinfda eslatma olayotgan talabalar deb hisoblang. Talaba ma'ruzani tinglaydi va eng muhim fikrlarni qisqa va samarali tarzda yozib oladi.
Keyinchalik, talaba o'z yozuvlari yordamida darsni o'rganishi va eslab qolishlari mumkin. Boshqa tomondan, avtomatik kodlovchi kirish ma'lumotlarini keyinchalik anomaliyalarni aniqlash yoki ma'lumotlarni siqish kabi turli maqsadlar uchun ishlatilishi mumkin bo'lgan ixcham vakillikka kodlaydi.
15. Cheklangan Boltzmann mashinalari (RBMs)
RBMs (Restricted Boltzmann Machines) - bu nazoratsiz o'quv vazifalari uchun ishlatiladigan generativ neyron tarmoqning bir turi. Ular ko'rinadigan qatlam va yashirin qatlamdan iborat bo'lib, har bir qatlamda neyronlar bo'lib, ular bir-biriga bog'langan, lekin bir qatlam ichida emas.
RBMlar kontrastli divergensiya deb nomlanuvchi texnikadan foydalangan holda o'qitiladi, bu o'quv ma'lumotlarining ehtimolini optimallashtirish uchun ko'rinadigan va yashirin qatlamlar orasidagi og'irliklarni o'zgartirishni talab qiladi. RBMlar o'rganilgan taqsimotdan namuna olish orqali o'qitilgandan so'ng yangi ma'lumotlarni yaratishi mumkin.
Tasvir va nutqni aniqlash, birgalikda filtrlash va anomaliyalarni aniqlash - bularning barchasi RBM-lardan foydalanadigan ilovalardir. Ular shuningdek, foydalanuvchi xatti-harakatlaridan namunalarni o'rganish orqali moslashtirilgan tavsiyalarni yaratish uchun tavsiya tizimlarida qo'llanilgan.
RBMlar yuqori o'lchamli ma'lumotlarning ixcham va samarali tasvirini yaratish uchun xususiyatlarni o'rganishda ham qo'llanilgan.
Ufqdagi yakuniy va istiqbolli ishlanmalar
Konvolyutsion neyron tarmoqlari (CNN) va takroriy neyron tarmoqlari (RNNs) kabi chuqur o'rganish usullari sun'iy intellektning eng ilg'or yondashuvlaridan biridir. CNN tasvir va audioni tanib olishni o'zgartirdi, RNN esa tabiiy tilni qayta ishlash va ma'lumotlarni ketma-ket tahlil qilishda sezilarli darajada rivojlangan.
Ushbu yondashuvlar evolyutsiyasining keyingi bosqichi, ehtimol, ularning samaradorligi va kengaytirilishini oshirishga, ularga kattaroq va murakkabroq ma'lumotlar to'plamlarini tahlil qilish imkonini beradi, shuningdek, ularning izohlanishi va kamroq etiketli ma'lumotlardan o'rganish qobiliyatini oshirishga qaratiladi.
Chuqur o'rganish sog'liqni saqlash, moliya va avtonom tizimlar kabi sohalarda yutuqlarga erishish imkoniyatiga ega.
Leave a Reply