Бир нече жылдар бою терең үйрөнүү технологиядагы башкы жаңылыктарды жаратып келет. Анан эмне үчүн экенин түшүнүү оңой.
Жасалма интеллекттин бул тармагы саламаттыкты сактоодон банкка, транспортко чейинки секторлорду өзгөртүп, мурда ойлобогон ийгиликтерди камсыз кылууда.
Терең үйрөнүү татаал алгоритмдердин жыйындысына негизделген, алар маалыматтардын чоң көлөмүнөн татаал үлгүлөрдү бөлүп алууну жана алдын ала айтууну үйрөнүшөт.
Биз бул постто эң мыкты 15 терең үйрөнүү алгоритмдерин карап чыгабыз, Конволюциялык нейрон тармактарынан Генеративдик атаандаштык тармактарга чейин Узак мөөнөттүү эс тутум тармактарына чейин.
Бул пост сиздин а экениңизге байланыштуу маанилүү түшүнүктөрдү берет башталгыч же терең үйрөнүү боюнча адис.
1. Трансформатор тармактары
Трансформатор тармактары трансформацияланды компьютер көрүнүш жана табигый тилди иштетүү (NLP) тиркемелери. Алар келген маалыматтарды талдап, узак аралыктагы мамилелерди тартуу үчүн көңүл буруу процесстерин колдонушат. Бул аларды кадимки ырааттуулук моделдерине караганда тезирээк кылат.
Transformator тармактары биринчи жолу Vaswani et al.
Алар коддоочу жана декодер (2017) турат. Трансформатор модели ар кандай NLP тиркемелеринде, анын ичинде натыйжалуулугун көрсөттү сезимдерди талдоо, текстти категориялаштыруу жана машина которуу.
Трансформаторго негизделген моделдер тиркемелер үчүн компьютердик көрүнүштө да колдонулушу мүмкүн. Алар объектти таанууну жана сүрөткө жазууну аткара алышат.
2. Узак мөөнөттүү эс тутум тармактары (LSTMs)
Узак кыска мөөнөттүү эс тутум тармактары (LSTMs) бир түрү болуп саналат нейрон тармак өзгөчө ырааттуу киргизүүнү иштетүү үчүн курулган. Алар "узак кыска мөөнөттүү" деп аталат, анткени алар көп убакыт мурун алган билимди эстеп, керексиз маалыматты унутуп коюшат.
LSTMлер тармактын ичиндеги маалымат агымын башкарган кээ бир "дарбазалар" аркылуу иштейт. Маалыматтын маанилүү же маанилүү эместигине жараша, бул дарбазалар аны киргизе алат же алдын алат.
Бул ыкма LSTMлерге өткөн убакыт кадамдарынан алынган маалыматты эстеп калууга же унутууга мүмкүндүк берет, бул кеп таануу, табигый тилди иштетүү жана убакыт катарларын болжолдоо сыяктуу тапшырмалар үчүн маанилүү.
LSTMs баалоо же болжолдоо керек болгон ырааттуу маалыматтарыңыз болгон учурда абдан пайдалуу. Алар көбүнчө оозеки сөздөрдү текстке айландыруу үчүн үн таануу программасында колдонулат биржа мурунку маалыматтардын негизинде келечектеги бааларды болжолдоо үчүн талдоо.
3. Өзүн өзү уюштуруучу карталар (SOMs)
СОМ – бул жасалма үйрөнө турган нейрондук тармак жана аз өлчөмдүү чөйрөдө татаал маалыматтарды билдирет. Метод жогорку өлчөмдүү киргизилген маалыматтарды эки өлчөмдүү торго айландыруу менен иштейт, ар бир бирдик же нейрон киргизүү мейкиндигинин башка бөлүгүн билдирет.
Нейрондор бири-бири менен байланышып, топологиялык түзүлүштү түзүшөт, бул аларды үйрөнүүгө жана киргизилген маалыматтарды тууралоого мүмкүндүк берет. Ошентип, SOM көзөмөлсүз окутууга негизделген.
Алгоритмдин кереги жок белгиленген маалыматтар үйрөнүү. Анын ордуна, ал өзгөрмөлөр ортосундагы схемаларды жана корреляцияларды табуу үчүн киргизилген маалыматтардын статистикалык өзгөчөлүктөрүн колдонот.
Машыгуу баскычында нейрондор киргизилген маалыматтардын эң жакшы көрсөткүчү болуу үчүн жарышат. Жана, алар өзүн-өзү маанилүү структурага уюштурат. SOMдардын кеңири спектри бар, анын ичинде сүрөт жана кеп таануу, маалыматтарды казып алуу жана үлгү таануу.
Алар үчүн пайдалуу татаал маалыматтарды визуализациялоо, тиешелүү маалымат чекиттерин кластерлөө жана аномалияларды же четтөөлөрдү аныктоо.
4. Deep Reinforcement Learning
терең Кубаттоо билим агент сыйлык системасынын негизинде чечим кабыл алууга үйрөтүлгөн машина үйрөнүү бир түрү болуп саналат. Ал агентке айлана-чөйрө менен өз ара аракеттенүүгө жана сыноо жана ката аркылуу үйрөнүүгө мүмкүнчүлүк берүү менен иштейт.
Агент ар бир жасаган иш-аракети үчүн сыйлык алат жана анын максаты убакыттын өтүшү менен анын пайдасын оптималдаштырууну үйрөнүү. Бул агенттерди оюндарды ойноого, унаа айдаганга жана ал тургай роботторду башкарууга үйрөтүү үчүн колдонулушу мүмкүн.
Q-Learning - бул тереңдетилген окутуунун белгилүү ыкмасы. Ал белгилүү бир абалда белгилүү бир иш-аракетти жасоонун маанисин баалоо жана агенттин айлана-чөйрө менен өз ара аракеттенүүсүндө ошол баалоону жаңылоо аркылуу иштейт.
Агент андан кийин кайсы иш-аракет эң чоң сыйлыкка алып келерин аныктоо үчүн бул баалоолорду колдонот. Q-Learning агенттерди Atari оюндарын ойноого үйрөтүү үчүн, ошондой эле маалымат борборлорунда энергияны колдонууну жакшыртуу үчүн колдонулган.
Deep Q-Networks дагы бир белгилүү Deep Reinforcement Learning ыкмасы (DQN). DQNлер Q-Learningге окшош, анткени алар таблица эмес, терең нейрон тармагын колдонуп иш-аракеттердин баалуулуктарын баалайт.
Бул аларга көптөгөн альтернативалуу аракеттер менен чоң, татаал орнотууларды чечүүгө мүмкүндүк берет. DQNлер агенттерди Go жана Dota 2 сыяктуу оюндарды ойноого үйрөтүү үчүн, ошондой эле басууну үйрөнө турган роботторду түзүү үчүн колдонулган.
5. Кайталануучу нейрон тармактары (RNNs)
RNN - ички абалды сактап, ырааттуу маалыматтарды иштете ала турган нейрон тармагынын бир түрү. Ар бир сөз өзүнөн мурунку сөздөргө карата сиңирилүүчү китеп окуп жаткан адамга окшош деп алалы.
Ошондуктан RNNs кеп таануу, тилди которуу, жада калса фразада кийинки сөздү болжолдоо сыяктуу тапшырмалар үчүн идеалдуу.
RNNs ар бир убакыт кадамынын чыгышын кийинки убакыт кадамынын киришине туташтыруу үчүн кайтарым байланыш циклдерин колдонуу менен иштешет. Бул тармакка келечектеги убакыт кадамдары үчүн алдын ала маалымат берүү үчүн убакыттын кадамы тууралуу маалыматты колдонууга мүмкүндүк берет. Тилекке каршы, бул RNNs жоголуп бара жаткан градиент маселесине алсыз экенин билдирет, мында окутуу үчүн колдонулган градиенттер өтө кичинекей болуп калат жана тармак узак мөөнөттүү мамилелерди үйрөнүү үчүн күрөшөт.
Бул көрүнгөн чектөөгө карабастан, RNNs колдонмолордун кеңири спектринде колдонууну тапты. Бул тиркемелерге табигый тилди иштетүү, кепти таануу, жада калса музыка өндүрүү кирет.
Google которуу, мисалы, RNN негизиндеги системаны тилдер боюнча которуу үчүн колдонот, ал эми Siri виртуалдык жардамчысы үндү аныктоо үчүн RNN негизиндеги системаны колдонот. RNNs акциялардын баасын болжолдоо жана реалдуу текстти жана графиканы түзүү үчүн да колдонулган.
6. Капсула тармактары
Capsule Networks - бул нейрондук тармак дизайнынын жаңы түрү, ал маалыматтардагы калыптарды жана корреляцияларды натыйжалуураак аныктай алат. Алар нейрондорду киргизүүнүн айрым аспектилерин коддогон "капсулаларга" уюштурушат.
Ушундай жол менен алар так божомолдорду жасай алышат. Capsule Networks капсулалардын көп катмарын колдонуу менен киргизилген маалыматтардан прогрессивдүү татаал касиеттерди чыгарат.
Capsule Networks техникасы аларга берилген киргизүүнүн иерархиялык өкүлчүлүктөрүн үйрөнүүгө мүмкүндүк берет. Алар капсулалар ортосундагы байланыш аркылуу сүрөттүн ичиндеги нерселердин ортосундагы мейкиндик байланыштарын туура коддой алышат.
Объекттин идентификациясы, сүрөттөрдү сегментациялоо жана табигый тилди иштетүү капсула тармактарынын бардык тиркемелери.
Capsule Networks жумушка орношуу мүмкүнчүлүгүнө ээ автономдуу айдоо технологиялар. Алар системага унаалар, адамдар жана жол белгилери сыяктуу нерселерди таанууга жана айырмалоого жардам берет. Бул системалар чөйрөсүндөгү объектилердин жүрүм-туруму жөнүндө так божомолдорду жасоо менен кагылышууларды болтурбай коё алат.
7. Вариациялык автокодерлор (VAEs)
VAEs көзөмөлсүз окутуу үчүн колдонулган терең окутуу куралынын бир түрү болуп саналат. Маалыматтарды төмөнкү өлчөмдүү мейкиндикке коддоо жана андан кийин аны кайра баштапкы форматка декоддоо менен, алар берилиштердеги үлгүлөрдү табууга үйрөнө алышат.
Алар коёнду калпак кылып, анан кайра коёнго айланта алган сыйкырчыга окшош! VAEs реалдуу визуалдык же музыканы түзүү үчүн пайдалуу. Жана, алар баштапкы маалыматтарга салыштырмалуу жаңы маалыматтарды өндүрүү үчүн колдонулушу мүмкүн.
VAEs жашыруун код бузуучуга окшош. Алар түбүн ача алышат маалыматтардын структурасы аны жөнөкөй биттерге бөлүү менен, баш катырма кантип талкаланган сыяктуу. Алар бөлүктөрүн иргегенден кийин оригиналдуу болуп көрүнгөн жаңы маалыматтарды түзүү үчүн бул маалыматты колдонушу мүмкүн.
Бул чоң файлдарды кысуу же белгилүү бир стилде жаңы графиканы же музыканы чыгаруу үчүн ыңгайлуу болушу мүмкүн. VAEs ошондой эле жаңылыктар же музыкалык тексттер сыяктуу жаңы мазмунду чыгара алат.
8. Генеративдик атаандаштык тармактары (GANs)
GANs (Generative Adversarial Networks) түпнускага окшош жаңы маалыматтарды түзүүчү терең окутуу системасынын бир түрү. Алар эки тармакты окутуу менен иштешет: генератор жана дискриминатордук тармак.
Генератор оригиналдуу менен салыштырууга боло турган жаңы маалыматтарды чыгарат.
Жана, дискриминатор баштапкы жана түзүлгөн маалыматтарды айырмалоого аракет кылат. Эки тармак тандемде окутулат, генератор дискриминаторду алдаганга аракет кылат жана дискриминатор баштапкы маалыматтарды туура аныктоого аракет кылат.
GANдарды жасалма жана детективдин ортосундагы кайчылаш деп эсептеңиз. Генератор жасалма жасоочуга окшош иштейт жана оригиналдууга окшош жаңы чыгармаларды чыгарат.
Дискриминатор чыныгы көркөм чыгарма менен жасалманы айырмалоого аракет кылып, детективдин милдетин аткарат. Эки тармак тандемде үйрөтүлөт, генератор ишенүүгө татыктуу жасалмаларды жасоодо жана дискриминатор аларды таанууда жакшырат.
GAN адамдардын же жаныбарлардын реалдуу сүрөттөрүн чыгаруудан баштап, жаңы музыканы же жазууну жаратууга чейин бир нече колдонууга ээ. Алар ошондой эле машинаны үйрөнүү моделдерин окутуу үчүн чоңураак маалымат топтомун түзүү үчүн өндүрүлгөн маалыматтарды реалдуу маалыматтар менен айкалыштырган маалыматтарды көбөйтүү үчүн колдонулушу мүмкүн.
9. Deep Q-Networks (DQNs)
Deep Q-Networks (DQNs) чечимдерди кабыл алууну бекемдөөчү окутуу алгоритминин бир түрү. Алар Q-функциясын үйрөнүү менен иштешет, ал белгилүү бир шартта белгилүү бир аракетти жасоо үчүн күтүлгөн сыйлыкты болжолдойт.
Q-функциясы сыноо жана ката жолу менен үйрөтүлөт, алгоритм ар кандай аракеттерди жасоого аракет кылып, натыйжалардан үйрөнөт.
А сыяктуу карап көрөлү Видео оюн ар кандай иш-аракеттер менен эксперимент жана алардын кайсынысы ийгиликке алып келерин табуу! DQNтер терең нейрон тармагын колдонуп Q-функциясын үйрөтүп, аларды татаал чечимдерди кабыл алуу үчүн эффективдүү инструменттерге айлантат.
Алар атүгүл Go жана шахмат сыяктуу оюндарда, ошондой эле робототехника жана өзүн-өзү башкаруучу унаалар боюнча адам чемпиондорун жеңип алышкан. Ошентип, жалпысынан DQNлер убакыттын өтүшү менен чечим кабыл алуу жөндөмдөрүн жогорулатуу үчүн тажрыйбаны үйрөнүү менен иштешет.
10. Радиалдык базалык функциялык тармактар (RBFNs)
Радиалдык Функция Тармактары (RBFNs) функцияларды болжолдоо жана классификациялоо тапшырмаларын аткаруу үчүн колдонулган нейрон тармагынын бир түрү. Алар радиалдык негиздеги функциялардын жыйындысын колдонуу менен киргизилген маалыматтарды жогорку өлчөмдүү мейкиндикке айландыруу аркылуу иштешет.
Тармактын чыгышы базис функцияларынын сызыктуу айкалышы болуп саналат жана ар бир радиалдык базалык функция киргизүү мейкиндигинде борбордук чекитти билдирет.
RBFNs татаал киргизүү-чыгарма өз ара аракеттенүү менен кырдаалдар үчүн өзгөчө натыйжалуу болуп саналат, жана алар көзөмөлдөнгөн жана көзөмөлсүз окутуу, анын ичинде ыкмаларын, кенен спектрин колдонуу менен үйрөтүлүшү мүмкүн. Алар каржылык болжолдоодон тарта сүрөт жана кепти таанууга чейин медициналык диагностикага чейин колдонулган.
RBFNлерди татаал рельефте өз жолун табуу үчүн бир катар анкердик чекиттерди колдонгон GPS системасы катары карап көрүңүз. Тармактын чыгышы радиалдык негиздеги функциялар үчүн турган анкердик чекиттердин айкалышы.
Биз татаал маалыматты карап чыгып, RBFNдерди колдонуу менен сценарий кандай болору жөнүндө так божомолдорду түзө алабыз.
11. Көп катмарлуу кабылдоочулар (MLPs)
Көп катмарлуу кабылдоочу (MLP) деп аталган нейрондук тармактын типтүү формасы классификация жана регрессия сыяктуу көзөмөлдөнүүчү окуу тапшырмалары үчүн колдонулат. Алар ар бир катмар келип түшкөн маалыматтарды сызыктуу эмес түрдө өзгөртүү менен байланышкан түйүндөрдүн же нейрондордун бир нече катмарын топтоо аркылуу иштешет.
MLPде ар бир нейрон төмөнкү катмардагы нейрондордон маалымат алат жана жогорудагы катмардагы нейрондорго сигнал жөнөтөт. Ар бир нейрондун чыгышы тармакка сызыктуу эместикти берген активдештирүү функциясы аркылуу аныкталат.
Алар бир нече жашыруун катмарларга ээ болгондуктан, киргизилген маалыматтардын татаал өкүлчүлүктөрүн үйрөнө алышат.
MLPs сезимдерди талдоо, алдамчылыкты аныктоо, үн менен сүрөттү таануу сыяктуу ар кандай тапшырмаларга колдонулду. MLPлерди татаал ишти ачуу үчүн чогуу иштеген тергөөчүлөр тобуна салыштырса болот.
Биргелешип, алар ар биринин өзгөчөлүгүнө ээ болгонуна карабастан, фактыларды бириктирип, кылмыштын бетин ача алышат.
12. Convolutional Neural Networks (CNNs)
Сүрөттөр жана видеолор нейрондук тармактын формасы болгон конволюциялык нейрон тармактары (CNNs) аркылуу иштетилет. Алар киргизилген маалыматтардан маанилүү мүнөздөмөлөрдү алуу үчүн үйрөнүүчү чыпкалардын же өзөктөрдүн топтомун колдонуу менен иштешет.
Чыпкалар киргизилген сүрөттүн үстүнөн жылып, сүрөттөлүштүн маанилүү аспектилерин камтыган функция картасын түзүү үчүн бурмаларды аткарышат.
CNN сүрөттөрдүн мүнөздөмөлөрүнүн иерархиялык өкүлчүлүктөрүн үйрөнө алгандыктан, алар визуалдык маалыматтардын чоң көлөмүн камтыган кырдаалдар үчүн өзгөчө пайдалуу. Объектти аныктоо, сүрөттөрдү категорияга бөлүү жана жүздү аныктоо сыяктуу бир нече колдонмолор аларды колдонушкан.
CNNлерди шедевр жаратуу үчүн бир нече щетка колдонгон сүрөтчү катары карап көрөлү. Ар бир щетка өзөк болуп саналат жана сүрөтчү көптөгөн өзөктөрдү аралаштырып татаал, реалдуу образды түзө алат. Биз сүрөттөрдөн маанилүү мүнөздөмөлөрдү чыгарып, аларды CNN аркылуу сүрөттүн мазмунун так болжолдоо үчүн колдоно алабыз.
13. Deep Belief Networks (DBNs)
DBNs өлчөмдүүлүктү азайтуу жана өзгөчөлүктү үйрөнүү сыяктуу көзөмөлсүз окуу тапшырмалары үчүн колдонулган нейрон тармагынын бир түрү. Алар киргизилген маалыматтарды калыбына келтирүүнү үйрөнө алган эки катмарлуу нейрон тармактары болгон Чектелген Больцман машиналарынын (RBMs) бир нече катмарын топтоо аркылуу иштешет.
DBN'лер жогорку өлчөмдүү маалымат маселелери үчүн абдан пайдалуу, анткени алар киргизүүнүн компакттуу жана натыйжалуу өкүлчүлүгүн үйрөнө алышат. Алар үндү таануудан тартып, сүрөттөрдү категорияга бөлүүдөн, баңги затын табууга чейин колдонулган.
Мисалы, изилдөөчүлөр эстроген кабылдагычка дары талапкерлердин милдеттүү жакындыгын баалоо үчүн DBN иштеген. DBN химиялык мүнөздөмөлөрдүн жана байланыштыруучу жакындыктын жыйындысы боюнча үйрөтүлгөн жана ал жаңы дары талапкерлеринин милдеттүү жакындыгын так алдын ала айта алган.
Бул дары-дармектерди иштеп чыгууда жана башка жогорку өлчөмдүү маалымат колдонмолорунда DBNдерди колдонууну баса белгилейт.
14. Автокодерлор
Autoencoders көзөмөлсүз окуу милдеттери үчүн колдонулган нейрон тармактары болуп саналат. Алар кириш берилиштерин реконструкциялоого арналган, бул алар маалыматты компакттуу өкүлчүлүккө коддоону үйрөнүп, андан кийин аны кайра баштапкы киргизүүгө чечмелей турганын билдирет.
Автокодерлор маалыматтарды кысуу, ызы-чууну жок кылуу жана аномалияларды аныктоо үчүн абдан натыйжалуу. Алар ошондой эле өзгөчөлүктү үйрөнүү үчүн колдонулушу мүмкүн, мында автокодердун компакттуу өкүлчүлүгү көзөмөлдөнгөн окуу тапшырмасына кошулат.
Автокодерлерди класста жазып жаткан студенттер деп эсептеңиз. Студент лекцияны угуп, эң керектүү пункттарды кыска жана эффективдүү жазып алат.
Кийинчерээк студент өзүнүн жазуулары аркылуу сабакты окуп, эстеп калышы мүмкүн. Автокодер, экинчи жагынан, киргизилген маалыматтарды компакттуу өкүлчүлүккө коддойт, ал кийинчерээк аномалияларды аныктоо же маалыматтарды кысуу сыяктуу ар кандай максаттарда колдонулушу мүмкүн.
15. Чектелген Больцман машиналары (RBMs)
RBMs (Чектелген Больцман машиналары) көзөмөлсүз окуу тапшырмалары үчүн колдонулган генеративдик нейрон тармагынын бир түрү. Алар көзгө көрүнгөн катмардан жана жашыруун катмардан турат, ар бир катмарда нейрондор менен байланышкан, бирок бир катмардын ичинде эмес.
RBMs окуу маалыматтарынын ыктымалдуулугун оптималдаштыруу үчүн көрүнгөн жана жашыруун катмарлардын ортосундагы салмактарды өзгөртүүнү талап кылат, контрасттык дивергенция деп аталган ыкманы колдонуу менен окутулат. RBMs үйрөнүлгөн бөлүштүрүүдөн үлгү алуу менен үйрөтүлгөндөн кийин жаңы маалыматтарды түзө алат.
Сүрөттү жана кепти таануу, биргелешкен чыпкалоо жана аномалияларды аныктоо - бул RBM'лерди колдонгон тиркемелер. Алар ошондой эле колдонуучунун жүрүм-турумунан үлгүлөрдү үйрөнүү аркылуу ылайыкташтырылган сунуштарды түзүү үчүн сунуш системаларында колдонулган.
RBMs ошондой эле жогорку өлчөмдүү маалыматтардын компакт жана натыйжалуу өкүлчүлүгүн түзүү үчүн өзгөчөлүктөр үйрөнүүдө колдонулган.
Корутунду жана горизонттогу келечектүү өнүгүүлөр
Convolutional Neural Networks (CNNs) жана Recurrent Neural Networks (RNNs) сыяктуу терең үйрөнүү ыкмалары жасалма интеллекттин эң өнүккөн ыкмаларынын бири болуп саналат. CNN сүрөттөрдү жана аудиону таанууну өзгөрттү, ал эми RNNs табигый тилди иштетүүдө жана маалыматтарды ырааттуу талдоодо олуттуу прогресске жетишти.
Бул ыкмалардын эволюциясынын кийинки кадамы, кыязы, алардын натыйжалуулугун жана масштабдуулугун жогорулатууга, аларга чоңураак жана татаалыраак маалымат топтомдорун анализдөөгө, ошондой эле алардын чечмелөө жөндөмдүүлүгүн жана азыраак белгиленген маалыматтардан үйрөнүү жөндөмдүүлүгүн жогорулатууга багытталышы мүмкүн.
Терең үйрөнүү саламаттыкты сактоо, каржы жана автономдуу системалар сыяктуу тармактарда ийгиликтерге жетишүүгө мүмкүндүк берет.
Таштап Жооп