Ers blynyddoedd, mae dysgu dwfn wedi bod yn gwneud y penawdau mewn technoleg. Ac, mae'n syml deall pam.
Mae'r gangen hon o ddeallusrwydd artiffisial yn trawsnewid sectorau sy'n amrywio o ofal iechyd i fancio i gludiant, gan alluogi datblygiadau annirnadwy o'r blaen.
Mae dysgu dwfn yn seiliedig ar set o algorithmau soffistigedig sy'n dysgu echdynnu a rhagweld patrymau cymhleth o symiau enfawr o ddata.
Byddwn yn edrych ar y 15 algorithm dysgu dwfn gorau yn y swydd hon, o Rwydweithiau Niwral Convolutional i Rwydweithiau Gwrthwynebol Cynhyrchiol i rwydweithiau Cof Tymor Byr Hir.
Bydd y swydd hon yn rhoi mewnwelediadau hanfodol i weld a ydych yn a dechreuwr neu arbenigwr mewn dysgu dwfn.
1. Rhwydweithiau Trawsnewidydd
Mae rhwydweithiau trawsnewidyddion wedi trawsnewid gweledigaeth gyfrifiadurol a chymwysiadau prosesu iaith naturiol (NLP). Maen nhw'n dadansoddi data sy'n dod i mewn ac yn defnyddio prosesau sylw i ddal perthnasoedd pellgyrhaeddol. Mae hyn yn eu gwneud yn gyflymach na modelau dilyniant-i-dilyniant confensiynol.
Disgrifiwyd rhwydweithiau trawsnewidyddion gyntaf yn y cyhoeddiad “Attention Is All You Need” gan Vaswani et al.
Maent yn cynnwys amgodiwr a datgodiwr (2017). Mae'r model trawsnewidydd wedi dangos perfformiad mewn amrywiaeth o gymwysiadau NLP, gan gynnwys dadansoddiad teimlad, categoreiddio testun, a chyfieithu peirianyddol.
Gellir defnyddio modelau sy'n seiliedig ar drawsnewidydd hefyd mewn gweledigaeth gyfrifiadurol ar gyfer cymwysiadau. Gallant berfformio adnabod gwrthrychau a chapsiynau delwedd.
2. Rhwydweithiau Cof Tymor Byr Hir (LSTMs)
Mae Rhwydweithiau Cof Tymor Byr Hir (LSTMs) yn ffurf ar rhwydwaith nefol wedi'i adeiladu'n arbennig i drin mewnbwn dilyniannol. Cyfeirir atynt fel “tymor byr hir” oherwydd gallant ddwyn i gof wybodaeth o amser maith yn ôl tra hefyd yn anghofio gwybodaeth ddiangen.
Mae LSTMs yn gweithredu trwy rai “giatiau” sy'n rheoli llif gwybodaeth y tu mewn i'r rhwydwaith. Yn dibynnu a fernir bod y wybodaeth yn arwyddocaol ai peidio, gall y gatiau hyn naill ai ei gadael i mewn neu ei hatal.
Mae'r dechneg hon yn galluogi LSTMs i gofio neu anghofio gwybodaeth o gamau amser gorffennol, sy'n hanfodol ar gyfer tasgau fel adnabod lleferydd, prosesu iaith naturiol, a rhagfynegi cyfresi amser.
Mae LSTMs yn hynod fuddiol mewn unrhyw achos lle mae gennych ddata dilyniannol y mae'n rhaid ei werthuso neu ei ragweld. Fe'u defnyddir yn aml mewn meddalwedd adnabod llais i drosi geiriau llafar yn destun, neu i mewn farchnad stoc dadansoddiad i ragweld prisiau yn y dyfodol yn seiliedig ar ddata blaenorol.
3. Mapiau Hunan Drefnu (SOMs)
Mae SOMs yn fath o artiffisial rhwydwaith niwral sy'n gallu dysgu ac yn cynrychioli data cymhleth mewn amgylchedd dimensiwn isel. Mae'r dull yn gweithredu trwy drawsnewid data mewnbwn uchel-ddimensiwn yn grid dau ddimensiwn, gyda phob uned neu niwron yn cynrychioli rhan wahanol o'r gofod mewnbwn.
Mae'r niwronau wedi'u cysylltu â'i gilydd ac yn creu strwythur topolegol, gan ganiatáu iddynt ddysgu ac addasu i'r data mewnbwn. Felly, mae Goruchwyliwr Bydwragedd yn seiliedig ar ddysgu heb oruchwyliaeth.
Nid oes angen yr algorithm data wedi'i labelu i ddysgu oddi wrth. Yn lle hynny, mae'n defnyddio nodweddion ystadegol y data mewnbwn i ddarganfod patrymau a chydberthynas rhwng y newidynnau.
Yn ystod y cam hyfforddi, mae niwronau'n cystadlu i fod yr arwydd gorau o'r data mewnbwn. Ac, maent yn hunan-drefnu i strwythur ystyrlon. Mae gan SOMs ystod eang o gymwysiadau, gan gynnwys adnabod delwedd a lleferydd, cloddio data, ac adnabod patrymau.
Maent yn ddefnyddiol ar gyfer delweddu data cymhleth, clystyru pwyntiau data cysylltiedig, a chanfod annormaleddau neu allgleifion.
4. Dysgu Atgyfnerthu Dwfn
Deep Dysgu Atgyfnerthu yn fath o ddysgu peirianyddol lle mae asiant wedi'i hyfforddi i wneud penderfyniadau yn seiliedig ar system wobrwyo. Mae'n gweithredu trwy adael i'r asiant ryngweithio â'i amgylchoedd a dysgu trwy brofi a methu.
Mae'r asiant yn cael ei wobrwyo am bob cam y mae'n ei wneud, a'i ddiben yw dysgu sut i optimeiddio ei fuddion dros amser. Gellir defnyddio hwn i ddysgu asiantau i chwarae gemau, gyrru ceir, a hyd yn oed reoli robotiaid.
Mae Q-Learning yn ddull Dysgu Atgyfnerthu Dwfn adnabyddus. Mae'n gweithredu trwy asesu gwerth gwneud gweithred benodol mewn cyflwr penodol a diweddaru'r amcangyfrif hwnnw wrth i'r asiant ryngweithio â'r amgylchedd.
Yna mae'r asiant yn defnyddio'r amcangyfrifon hyn i benderfynu pa gamau sy'n fwyaf tebygol o arwain at y wobr fwyaf. Mae Q-Learning wedi'i ddefnyddio i addysgu asiantau i chwarae gemau Atari, yn ogystal â gwella'r defnydd o ynni mewn canolfannau data.
Mae Deep Q-Networks yn ddull Dysgu Atgyfnerthu Dwfn enwog arall (DQN). Mae DQNs yn debyg i Q-Learning gan eu bod yn amcangyfrif gwerthoedd gweithredu gan ddefnyddio rhwydwaith niwral dwfn yn hytrach na thabl.
Mae hyn yn eu galluogi i ddelio â lleoliadau enfawr, cymhleth gyda nifer o gamau gweithredu amgen. Mae DQNs wedi cael eu defnyddio i hyfforddi asiantau i chwarae gemau fel Go a Dota 2, yn ogystal ag i greu robotiaid sy'n gallu dysgu cerdded.
5. Rhwydweithiau Niwral Rheolaidd (RNNs)
Mae RNNs yn fath o rwydwaith niwral sy'n gallu prosesu data dilyniannol wrth gadw cyflwr mewnol. Ystyriwch ef yn debyg i berson yn darllen llyfr, lle y treulir pob gair mewn perthynas i'r rhai a ddaeth o'i flaen.
Felly mae RNNs yn ddelfrydol ar gyfer tasgau fel adnabod lleferydd, cyfieithu iaith, a hyd yn oed rhagweld y gair nesaf mewn ymadrodd.
Mae RNNs yn gweithio trwy ddefnyddio dolenni adborth i gysylltu allbwn pob cam yn ôl i fewnbwn y cam tro nesaf. Mae hyn yn galluogi'r rhwydwaith i ddefnyddio gwybodaeth cam amser blaenorol i lywio ei ragfynegiadau ar gyfer camau amser yn y dyfodol. Yn anffodus, mae hyn hefyd yn golygu bod RNNs yn agored i'r broblem graddiant sy'n diflannu, lle mae'r graddiannau a ddefnyddir ar gyfer hyfforddiant yn mynd yn fach iawn ac mae'r rhwydwaith yn ei chael hi'n anodd dysgu perthnasoedd hirdymor.
Er gwaethaf y cyfyngiad ymddangosiadol hwn, mae RNNs wedi canfod defnydd mewn ystod eang o gymwysiadau. Mae'r cymwysiadau hyn yn cynnwys prosesu iaith naturiol, adnabod lleferydd, a hyd yn oed cynhyrchu cerddoriaeth.
Google Translate, er enghraifft, yn defnyddio system sy'n seiliedig ar RNN i gyfieithu ar draws ieithoedd, tra bod Siri, y cynorthwyydd rhithwir, yn defnyddio system sy'n seiliedig ar RNN i ganfod llais. Mae RNNs hefyd wedi cael eu defnyddio i ragweld prisiau stoc a chreu testun a graffeg realistig.
6. Rhwydweithiau Capsiwl
Mae Capsule Networks yn fath newydd o ddyluniad rhwydwaith niwral a all nodi patrymau a chydberthnasau mewn data yn fwy effeithiol. Maent yn trefnu niwronau yn “gapsiwlau” sy'n amgodio rhai agweddau ar fewnbwn.
Fel hyn gallant wneud rhagfynegiadau mwy cywir. Mae Capsule Networks yn tynnu priodweddau cynyddol gymhleth o ddata mewnbwn trwy ddefnyddio haenau niferus o gapsiwlau.
Mae techneg Capsule Networks yn eu galluogi i ddysgu cynrychioliadau hierarchaidd o'r mewnbwn a roddwyd. Gallant amgodio cysylltiadau gofodol yn iawn rhwng eitemau y tu mewn i lun trwy gyfathrebu rhwng capsiwlau.
Mae adnabod gwrthrychau, segmentu lluniau, a phrosesu iaith naturiol i gyd yn gymwysiadau Rhwydweithiau Capsiwl.
Mae gan Rwydweithiau Capsiwl y potensial i gael eu cyflogi ynddynt gyrru ymreolaethol technolegau. Maent yn cynorthwyo'r system i adnabod a gwahaniaethu rhwng eitemau fel ceir, pobl ac arwyddion traffig. Gall y systemau hyn osgoi gwrthdrawiadau trwy wneud rhagfynegiadau mwy manwl gywir am ymddygiad gwrthrychau yn eu hamgylchedd.
7. Amrywiadau Autoencoders (VAEs)
Mae VAEs yn fath o offeryn dysgu dwfn a ddefnyddir ar gyfer dysgu heb oruchwyliaeth. Trwy amgodio data i ofod llai dimensiwn ac yna ei ddadgodio yn ôl i'r fformat gwreiddiol, efallai y byddant yn dysgu sylwi ar batrymau mewn data.
Maen nhw fel consuriwr sy'n gallu trawsnewid cwningen yn het ac yna'n ôl yn gwningen! Mae VAEs yn fuddiol ar gyfer cynhyrchu delweddau neu gerddoriaeth realistig. A gellir eu defnyddio i gynhyrchu data newydd y gellir ei gymharu â'r data gwreiddiol.
Mae VAEs yn debyg i dorwyr cod cyfrinachol. Gallant ddarganfod y gwaelodol strwythur y data trwy ei dorri i lawr yn ddarnau symlach, yn debyg iawn i sut mae pos yn cael ei dorri i lawr. Efallai y byddant yn defnyddio'r wybodaeth honno i adeiladu data newydd sy'n edrych fel y gwreiddiol ar ôl iddynt drefnu'r rhannau.
Gall hyn fod yn ddefnyddiol ar gyfer cywasgu ffeiliau enfawr neu gynhyrchu graffeg neu gerddoriaeth ffres mewn arddull arbennig. Gall VAEs hefyd gynhyrchu cynnwys ffres, fel straeon newyddion neu eiriau cerddoriaeth.
8. Rhwydweithiau Gwrthwynebol Cynhyrchiol (GANs)
Mae GANs (Rhwydweithiau Gwrthwynebol Generative) yn fath o system ddysgu ddofn sy'n cynhyrchu data newydd sy'n debyg i'r gwreiddiol. Maent yn gweithredu trwy hyfforddi dau rwydwaith: generadur a rhwydwaith gwahaniaethol.
Mae'r generadur yn cynhyrchu data newydd sy'n debyg i'r gwreiddiol.
Ac, mae'r gwahaniaethwr yn ceisio gwahaniaethu rhwng y data gwreiddiol a'r data a grëwyd. Mae'r ddau rwydwaith wedi'u hyfforddi ar y cyd, gyda'r generadur yn ceisio twyllo'r gwahaniaethwr a'r gwahaniaethwr yn ceisio adnabod y data gwreiddiol yn gywir.
Ystyriwch fod GANs yn groes rhwng ffugiwr a ditectif. Mae'r generadur yn gweithredu'n debyg i ffugiwr, gan gynhyrchu gwaith celf newydd sy'n debyg i'r gwreiddiol.
Mae'r gwahaniaethwr yn gweithredu fel ditectif, gan geisio gwahaniaethu rhwng gwaith celf gwirioneddol a ffugio. Mae'r ddau rwydwaith wedi'u hyfforddi ar y cyd, gyda'r generadur yn gwella o ran gwneud ffugiau credadwy a'r gwahaniaethwr yn gwella o ran eu hadnabod.
Mae gan GANs sawl defnydd, yn amrywio o gynhyrchu lluniau realistig o fodau dynol neu anifeiliaid i greu cerddoriaeth newydd neu ysgrifennu. Gellir eu defnyddio hefyd ar gyfer cynyddu data, sy'n cynnwys cyfuno data a gynhyrchwyd â data gwirioneddol i adeiladu set ddata fwy ar gyfer hyfforddi modelau dysgu peirianyddol.
9. Rhwydweithiau Q dwfn (DQNs)
Mae Rhwydweithiau Q Dwfn (DQNs) yn fath o algorithm dysgu atgyfnerthu gwneud penderfyniadau. Maent yn gweithredu trwy ddysgu swyddogaeth Q sy'n rhagweld y wobr a ddisgwylir am wneud gweithred benodol mewn cyflwr penodol.
Mae'r ffwythiant Q yn cael ei addysgu trwy brofi a methu, gyda'r algorithm yn rhoi cynnig ar wahanol gamau gweithredu ac yn dysgu o'r canlyniadau.
Ystyriwch ef fel a gêm fideo cymeriad yn arbrofi gyda gweithredoedd amrywiol ac yn darganfod pa rai sy'n arwain at lwyddiant! Mae DQNs yn hyfforddi'r swyddogaeth Q gan ddefnyddio rhwydwaith niwral dwfn, gan eu gwneud yn offer effeithiol ar gyfer tasgau gwneud penderfyniadau anodd.
Maent hyd yn oed wedi trechu pencampwyr dynol mewn gemau fel Go a gwyddbwyll, yn ogystal ag mewn roboteg a automobiles hunan-yrru. Felly, ar y cyfan, mae DQNs yn gweithio trwy ddysgu o brofiad i wella eu sgiliau gwneud penderfyniadau dros amser.
10. Rhwydweithiau Swyddogaeth Sail Radial (RBFNs)
Mae Rhwydweithiau Swyddogaeth Sail Radial (RBFNs) yn fath o rwydwaith niwral a ddefnyddir i frasamcanu swyddogaethau a chyflawni tasgau dosbarthu. Maent yn gweithredu trwy drawsnewid y data mewnbwn yn ofod dimensiwn uwch gan ddefnyddio casgliad o swyddogaethau sail radial.
Mae allbwn y rhwydwaith yn gyfuniad llinellol o'r swyddogaethau sylfaen, ac mae pob swyddogaeth sail radial yn cynrychioli canolbwynt yn y gofod mewnbwn.
Mae RBFNs yn arbennig o effeithiol ar gyfer sefyllfaoedd gyda rhyngweithiadau mewnbwn-allbwn cymhleth, a gellir eu haddysgu gan ddefnyddio ystod eang o dechnegau, gan gynnwys dysgu dan oruchwyliaeth a dysgu heb oruchwyliaeth. Maent wedi cael eu defnyddio ar gyfer unrhyw beth o ragfynegiadau ariannol i adnabod llun a lleferydd i ddiagnosteg feddygol.
Ystyriwch RBFNs fel system GPS sy'n defnyddio cyfres o bwyntiau angori i ddod o hyd i'w ffordd ar draws tir heriol. Mae allbwn y rhwydwaith yn gyfuniad o'r pwyntiau angori, sy'n sefyll i mewn ar gyfer y swyddogaethau sail radial.
Gallwn bori trwy wybodaeth gymhleth a chynhyrchu rhagfynegiadau manwl gywir ynghylch sut y bydd senario yn troi allan trwy ddefnyddio RBFNs.
11. Perceptronau Aml-haen (MLPs)
Defnyddir ffurf nodweddiadol o rwydwaith niwral o'r enw perceptron amlhaenog (MLP) ar gyfer tasgau dysgu dan oruchwyliaeth fel dosbarthu ac atchweliad. Maent yn gweithredu trwy bentyrru sawl haen o nodau cysylltiedig, neu niwronau, gyda phob haen yn newid y data sy'n dod i mewn yn aflinol.
Mewn MLP, mae pob niwron yn cael mewnbwn gan y niwronau yn yr haen isod ac yn anfon signal i'r niwronau yn yr haen uwchben. Mae allbwn pob niwron yn cael ei bennu gan ddefnyddio swyddogaeth actifadu, sy'n rhoi aflinoledd i'r rhwydwaith.
Maent yn gallu dysgu cynrychioliadau soffistigedig o'r data mewnbwn gan y gallant gael sawl haen gudd.
Mae MLPs wedi'u cymhwyso i amrywiaeth o dasgau, megis dadansoddi teimladau, canfod twyll, ac adnabod llais a llun. Gellir cymharu MLPs â grŵp o ymchwilwyr yn cydweithio i fynd i’r afael ag achos anodd.
Gyda'i gilydd, gallant roi'r ffeithiau ynghyd a datrys y drosedd er gwaethaf y ffaith bod gan bob un faes arbennig o arbenigedd.
12. Rhwydweithiau Niwral Convolutional (CNNs)
Mae delweddau a fideos yn cael eu prosesu gan ddefnyddio rhwydweithiau niwral convolutional (CNNs), math o rwydwaith niwral. Maent yn gweithredu trwy ddefnyddio set o ffilterau, neu gnewyllyn y gellir eu dysgu, i dynnu nodweddion arwyddocaol o'r data mewnbwn.
Mae'r hidlwyr yn llithro dros y llun mewnbwn, gan weithredu convolutions i adeiladu map nodwedd sy'n dal agweddau hanfodol ar y ddelwedd.
Gan fod CNNs yn gallu dysgu cynrychioliadau hierarchaidd o nodweddion y llun, maent yn arbennig o ddefnyddiol ar gyfer sefyllfaoedd sy'n cynnwys symiau enfawr o ddata gweledol. Mae sawl cymhwysiad wedi'u defnyddio, megis canfod gwrthrychau, categoreiddio lluniau, a chanfod wynebau.
Ystyriwch CNNs fel peintiwr sy'n defnyddio sawl brwshys i greu campwaith. Mae pob brwsh yn gnewyllyn, a gall yr artist adeiladu delwedd gymhleth, realistig trwy gymysgu llawer o gnewyllyn. Gallwn dynnu nodweddion arwyddocaol o luniau a'u defnyddio i ragweld cynnwys y ddelwedd yn gywir trwy ddefnyddio CNNs.
13. Rhwydweithiau Cred Ddwfn (DBNs)
Mae DBNs yn fath o rwydwaith niwral a ddefnyddir ar gyfer tasgau dysgu heb oruchwyliaeth fel lleihau dimensiynau a dysgu nodweddion. Maent yn gweithredu trwy bentyrru sawl haen o Beiriannau Boltzmann Cyfyngedig (RBMs), sef rhwydweithiau niwral dwy haen sy'n gallu dysgu ailgyfansoddi data mewnbwn.
Mae DBNs yn fuddiol iawn ar gyfer materion data dimensiwn uchel oherwydd gallant ddysgu cynrychiolaeth gryno ac effeithlon o'r mewnbwn. Maent wedi cael eu defnyddio ar gyfer unrhyw beth o adnabod llais i gategoreiddio lluniau i ddarganfod cyffuriau.
Er enghraifft, cyflogodd ymchwilwyr DBN i amcangyfrif affinedd rhwymol ymgeiswyr meddyginiaeth i'r derbynnydd estrogen. Hyfforddwyd y DBN ar gasgliad o nodweddion cemegol a chysylltiadau rhwymo, ac roedd yn gallu rhagweld yn gywir affinedd rhwymol ymgeiswyr cyffuriau newydd.
Mae hyn yn amlygu'r defnydd o DBNs wrth ddatblygu cyffuriau a chymwysiadau data dimensiwn uchel eraill.
14. Autoencoders
Rhwydweithiau niwral yw awto-godyddion a ddefnyddir ar gyfer tasgau dysgu heb oruchwyliaeth. Eu bwriad yw ail-greu'r data mewnbwn, sy'n awgrymu y byddant yn dysgu amgodio'r wybodaeth i mewn i gynrychioliad cryno ac yna ei ddadgodio yn ôl i'r mewnbwn gwreiddiol.
Mae awto-godyddion yn effeithiol iawn ar gyfer cywasgu data, tynnu sŵn, a chanfod anghysondebau. Gellir eu defnyddio hefyd ar gyfer dysgu nodwedd, lle mae cynrychioliad cryno'r awto-godiwr yn cael ei fwydo i mewn i dasg ddysgu dan oruchwyliaeth.
Ystyriwch awto-godyddion i fod yn fyfyrwyr sy'n cymryd nodiadau yn y dosbarth. Mae'r myfyriwr yn gwrando ar y ddarlith ac yn nodi'r pwyntiau mwyaf perthnasol mewn modd cryno ac effeithlon.
Yn ddiweddarach, gall y myfyriwr astudio a chofio'r wers gan ddefnyddio eu nodiadau. Mae awto-godiwr, ar y llaw arall, yn amgodio'r data mewnbwn yn gynrychiolaeth gryno y gellir ei ddefnyddio wedyn at wahanol ddibenion megis canfod anghysondebau neu gywasgu data.
15. Peiriannau Boltzmann Cyfyngedig (RBMs)
Mae RBMs (Peiriannau Boltzmann Cyfyngedig) yn fath o rwydwaith niwral cynhyrchiol a ddefnyddir ar gyfer tasgau dysgu heb oruchwyliaeth. Maent yn cynnwys haen weladwy a haen gudd, gyda niwronau ym mhob haen, wedi'u cysylltu ond nid o fewn yr un haen.
Mae RBMs yn cael eu hyfforddi gan ddefnyddio techneg a elwir yn wahaniaeth gwrthgyferbyniol, sy'n golygu newid y pwysau rhwng yr haenau gweladwy a chudd er mwyn optimeiddio tebygolrwydd y data hyfforddi. Gall RBMs greu data ffres ar ôl cael eu hyfforddi trwy samplu o'r dosbarthiad a ddysgwyd.
Mae adnabod delwedd a lleferydd, hidlo cydweithredol, a chanfod anghysondebau i gyd yn gymwysiadau sydd wedi defnyddio RBMs. Maent hefyd wedi'u defnyddio mewn systemau argymell i greu argymhellion wedi'u teilwra trwy ddysgu patrymau o ymddygiad defnyddwyr.
Mae RBMs hefyd wedi cael eu defnyddio mewn dysgu nodweddion i greu cynrychiolaeth gryno ac effeithlon o ddata dimensiwn uchel.
Datblygiadau Cofio ac Addawol ar y Gorwel
Mae dulliau dysgu dwfn, fel Rhwydweithiau Niwral Convolutional (CNNs) a Rhwydweithiau Niwral Rheolaidd (RNNs), ymhlith y dulliau deallusrwydd artiffisial mwyaf datblygedig. Mae CNNs wedi trawsnewid adnabyddiaeth llun a sain, tra bod RNNs wedi symud ymlaen yn sylweddol mewn prosesu iaith naturiol a dadansoddi data dilyniannol.
Mae’r cam nesaf yn esblygiad y dulliau hyn yn debygol o ganolbwyntio ar wella eu heffeithlonrwydd a’u graddadwyedd, gan ganiatáu iddynt ddadansoddi setiau data mwy a mwy cymhleth, yn ogystal â gwella eu dehongliad a’u gallu i ddysgu o ddata llai labelu.
Mae gan ddysgu dwfn y posibilrwydd o ganiatáu datblygiadau arloesol mewn meysydd fel gofal iechyd, cyllid, a systemau ymreolaethol wrth iddo symud ymlaen.
Gadael ymateb