Sisukord[Peida][Näita]
- 1. Mis täpselt on süvaõpe?
- 2. Mis eristab süvaõpet masinõppest?
- 3. Millised on teie praegused arusaamad närvivõrkudest?
- 4. Mis täpselt on pertseptron?
- 5. Mis täpselt on sügav närvivõrk?
- 6. Mis täpselt on mitmekihiline pertseptron (MLP)?
- 7. Mis eesmärki mängivad aktiveerimisfunktsioonid närvivõrgus?
- 8. Mis täpselt on gradient laskumine?
- 9. Mis täpselt on kulufunktsioon?
- 10. Kuidas suudavad sügavad võrgud ületada madalaid võrke?
- 11. Kirjeldage edasilevi.
- 12. Mis on backpropagation?
- 13. Kuidas mõistate süvaõppe kontekstis gradiendi lõikamist?
- 14. Mis on Softmaxi ja ReLU funktsioonid?
- 15. Kas närvivõrgu mudelit saab treenida, kui kõik kaalud on seatud 0-le?
- 16. Mis eristab epohhi partiist ja iteratsioonist?
- 17. Mis on partii normaliseerimine ja katkestamine?
- 18. Mis eristab stohhastilist gradiendi laskumist partii gradiendi laskumisest?
- 19. Miks on ülioluline kaasata närvivõrkudesse mittelineaarsused?
- 20. Mis on tensor süvaõppes?
- 21. Kuidas valiksite süvaõppe mudeli aktiveerimisfunktsiooni?
- 22. Mida sa mõtled CNN-i all?
- 23. Millised on paljud CNN-i kihid?
- 24. Millised on üle- ja alatalitluse tagajärjed ning kuidas neid vältida?
- 25. Mis on süvaõppes RNN?
- 26. Kirjeldage Adam Optimizerit
- 27. Sügavad automaatkodeerijad: mis need on?
- 28. Mida tähendab Tensor Tensorflows?
- 29. Arvutusgraafiku selgitus
- 30. Generatiivsed võistlevad võrgud (GAN-id): mis need on?
- 31. Kuidas valite arhitektuuri kavandamisel neuronite ja peidetud kihtide arvu, mida närvivõrku kaasata?
- 32. Milliseid närvivõrke kasutatakse süvatugevdusõppes?
- Järeldus
Sügav õppimine ei ole täiesti uus idee. Kunstlikud närvivõrgud on masinõppe alamhulga, mida nimetatakse sügavaks õppimiseks, ainsa alusena.
Sügav õppimine on inimese aju matkimine, täpselt nagu närvivõrgud, kuna need loodi inimese aju jäljendamiseks.
Seda on juba mõnda aega olnud. Tänapäeval räägivad kõik sellest, kuna meil pole peaaegu nii palju töötlemisvõimsust ega andmeid kui praegu.
Viimase 20 aasta jooksul on süvaõpe ja masinõpe esile kerkinud töötlemisvõimsuse järsu kasvu tulemusena.
Aitamaks teil valmistuda mis tahes päringuteks, mis teie unistuste töökoha otsimisel ette võivad tulla, juhendab see postitus teid läbi mitmete sügavate õppimisintervjuu küsimuste, alates lihtsatest kuni keerukateni.
1. Mis täpselt on süvaõpe?
Kui osalete a sügav õpe intervjuu, saate kahtlemata aru, mis on sügav õppimine. Intervjueerija eeldab aga, et annate sellele küsimusele vastuseks üksikasjaliku vastuse koos illustratsiooniga.
Selleks, et treenida närvivõrgud süvaõppe jaoks tuleb kasutada märkimisväärses koguses organiseeritud või struktureerimata andmeid. Varjatud mustrite ja omaduste leidmiseks teeb see keerulisi protseduure (nt eristab kassi kujutist koera omast).
2. Mis eristab süvaõpet masinõppest?
Tehisintellekti haruna, mida tuntakse masinõppena, koolitame arvuteid andmete ning statistiliste ja algoritmiliste tehnikate abil, et need aja jooksul paremaks muutuksid.
Ühe aspektina masinõpe, süvaõpe jäljendab inimese ajus nähtud närvivõrgu arhitektuuri.
3. Millised on teie praegused arusaamad närvivõrkudest?
Kunstlikud süsteemid, mida tuntakse närvivõrkudena, meenutavad väga palju inimkehas leiduvaid orgaanilisi närvivõrke.
Kasutades tehnikat, mis sarnaneb sellele, kuidas inimese aju funktsioonide jaoks on närvivõrk algoritmide kogum, mille eesmärk on tuvastada andmete aluseks olevad korrelatsioonid.
Need süsteemid omandavad ülesandespetsiifilisi teadmisi, puutudes kokku mitmesuguste andmekogumite ja näidetega, mitte järgides ülesandepõhiseid reegleid.
Idee seisneb selles, et nende andmekogumite eelprogrammeeritud mõistmise asemel õpib süsteem eristama talle sisestatavate andmete omadusi.
Kolm võrgukihti, mida närvivõrkudes kõige sagedamini kasutatakse, on järgmised:
- Sisendkiht
- Peidetud kiht
- Väljundkiht
4. Mis täpselt on pertseptron?
Inimese ajus leiduv bioloogiline neuron on võrreldav pertseptroniga. Pertseptron võtab vastu mitu sisendit, mis seejärel teostab arvukalt teisendusi ja funktsioone ning annab väljundi.
Binaarses klassifikatsioonis kasutatakse lineaarset mudelit, mida nimetatakse pertseptroniks. See simuleerib neuronit erinevate sisenditega, millest igaühel on erinev kaal.
Neuron arvutab funktsiooni nende kaalutud sisendite abil ja väljastab tulemused.
5. Mis täpselt on sügav närvivõrk?
Sügav närvivõrk on tehisnärvivõrk (ANN), mille sisend- ja väljundkihtide (DNN) vahel on mitu kihti.
Sügavad närvivõrgud on sügava arhitektuuriga närvivõrgud. Sõna "sügav" viitab funktsioonidele, millel on ühes kihis palju tasemeid ja ühikuid. Täpsemaid mudeleid saab luua, lisades rohkem ja suuremaid kihte, et jäädvustada rohkem mustreid.
6. Mis täpselt on mitmekihiline pertseptron (MLP)?
Sisend-, peidetud ja väljundkihid on MLP-des olemas, sarnaselt närvivõrkudele. See on ehitatud sarnaselt ühekihilise pertseptroniga, millel on üks või mitu peidetud kihti.
Ühekihilise pertseptroni binaarne väljund võib kategoriseerida ainult lineaarseid eraldatavaid klasse (0,1), samas kui MLP saab klassifitseerida mittelineaarsed klassid.
7. Mis eesmärki mängivad aktiveerimisfunktsioonid närvivõrgus?
Aktiveerimisfunktsioon määrab, kas neuron peaks aktiveeruma kõige fundamentaalsemal tasemel või mitte. Iga aktiveerimisfunktsioon võib sisendina aktsepteerida sisendite kaalutud summat pluss nihe. Aktiveerimisfunktsioonid hõlmavad sammufunktsiooni, Sigmoidi, ReLU, Tanhi ja Softmaxi.
8. Mis täpselt on gradient laskumine?
Parim viis kulufunktsiooni või vea minimeerimiseks on gradiendi laskumine. Eesmärk on leida funktsiooni kohalikud ja globaalsed miinimumid. See määrab tee, mida mudel peaks vea minimeerimiseks järgima.
9. Mis täpselt on kulufunktsioon?
Kulufunktsioon on mõõdik, mis võimaldab hinnata, kui hästi teie mudel toimib; seda nimetatakse mõnikord "kaotuseks" või "veaks". Tagasi levitamise ajal kasutatakse seda väljundkihi vea arvutamiseks.
Kasutame seda ebatäpsust ära närvivõrgu treeningprotsesside edendamiseks, surudes selle närvivõrgu kaudu tagasi.
10. Kuidas suudavad sügavad võrgud ületada madalaid võrke?
Peidetud kihid lisatakse närvivõrkudele lisaks sisend- ja väljundkihtidele. Sisend- ja väljundkihtide vahel kasutavad madalad närvivõrgud ühte peidetud kihti, samas kui sügavad närvivõrgud kasutavad paljusid tasemeid.
Madal võrk nõuab mitut parameetrit, et sobituda mis tahes funktsiooniga. Sügavad võrgud sobivad funktsioonidega paremini isegi väikese arvu parameetritega, kuna need sisaldavad mitut kihti.
Süvavõrke eelistatakse nüüd nende mitmekülgsuse tõttu mis tahes tüüpi andmemodelleerimisel, olgu see siis kõne või pildi tuvastamiseks.
11. Kirjeldage edasilevi.
Sisendid edastatakse koos kaaludega maetud kihti protsessis, mida nimetatakse edasikandmiseks.
Aktiveerimisfunktsiooni väljund arvutatakse igas maetud kihis, enne kui töötlemine võib minna järgmisele kihile.
Protsess algab sisendkihist ja edeneb lõpliku väljundkihini, seega nimi edasi levimine.
12. Mis on backpropagation?
Kui närvivõrgus kohandatakse kaalusid ja nihkeid, kasutatakse kulufunktsiooni vähendamiseks tagasilevitamist, jälgides esmalt, kuidas väärtus muutub.
Iga peidetud kihi gradiendi mõistmine muudab selle muudatuse arvutamise lihtsaks.
Protsess, mida nimetatakse tagasilevitamiseks, algab väljundkihist ja liigub tagasi sisendkihtidesse.
13. Kuidas mõistate süvaõppe kontekstis gradiendi lõikamist?
Gradient Clipping on meetod plahvatuslike gradientide probleemi lahendamiseks, mis tekivad tagasilevimise ajal (seisund, kus aja jooksul kuhjuvad olulised valed gradiendid, mis toob kaasa närvivõrgu mudeli kaalude olulise kohandamise treeningu ajal).
Plahvatavad gradiendid on probleem, mis tekib siis, kui kalded muutuvad treeningu ajal liiga suureks, muutes mudeli ebastabiilseks. Kui gradient on ületanud eeldatava vahemiku, lükatakse gradiendi väärtused elemendikaupa etteantud miinimum- või maksimumväärtuseni.
Gradiendi lõikamine suurendab närvivõrgu arvulist stabiilsust treeningu ajal, kuid sellel on minimaalne mõju mudeli jõudlusele.
14. Mis on Softmaxi ja ReLU funktsioonid?
Aktiveerimisfunktsioon nimega Softmax annab väljundi vahemikus 0 kuni 1. Iga väljund jagatakse nii, et kõigi väljundite summa on üks. Väljundkihtide jaoks kasutatakse sageli Softmaxi.
Rectified Linear Unit, mõnikord tuntud kui ReLU, on enimkasutatav aktiveerimisfunktsioon. Kui X on positiivne, väljastab see X, vastasel juhul nullid. ReLU-d kantakse regulaarselt maetud kihtidele.
15. Kas närvivõrgu mudelit saab treenida, kui kõik kaalud on seatud 0-le?
Närvivõrk ei õpi kunagi antud tööd täitma, mistõttu pole võimalik mudelit koolitada, lähtestades kõik kaalud nulliks.
Tuletised jäävad samaks W-s [1] iga kaalu puhul, kui kõik kaalud lähtestatakse nulliks, mille tulemusena õpivad neuronid samu tunnuseid iteratiivselt.
Mitte lihtsalt kaalude lähtestamine nulliks, vaid mis tahes vormis konstandiks ei anna tõenäoliselt tulemuseks alamväärtust.
16. Mis eristab epohhi partiist ja iteratsioonist?
Andmekogumite töötlemise erinevad vormid ja gradiendi laskumise tehnikad hõlmavad partii, iteratsiooni ja epohhi. Epoch hõlmab ühekordset närvivõrku koos täieliku andmestikuga, nii edasi kui ka tagasi.
Usaldusväärsete tulemuste saamiseks läbitakse andmestik sageli mitu korda, kuna see on ühe katsega läbimiseks liiga suur.
Seda tava väikese andmehulga korduval käitamisel närvivõrgu kaudu nimetatakse iteratsiooniks. Tagamaks, et andmekogum läbib edukalt närvivõrke, saab selle jagada mitmeks partiiks või alamhulgaks, mida nimetatakse komplekteerimiseks.
Olenevalt andmete kogumise suurusest on kõik kolm meetodit – epohh, iteratsioon ja partii suurus – sisuliselt viisid, kuidas gradiendi laskumise algoritm.
17. Mis on partii normaliseerimine ja katkestamine?
Väljalangemine hoiab ära andmete ülepaigutamise, eemaldades juhuslikult nii nähtavad kui ka peidetud võrguüksused (tavaliselt 20 protsenti sõlmedest). See kahekordistab võrgu lähenemiseks vajalike iteratsioonide arvu.
Normaliseerides iga kihi sisendid nii, et väljundi keskmine aktiveerimine oleks null ja standardhälve üks, on partii normaliseerimine strateegia närvivõrkude jõudluse ja stabiilsuse suurendamiseks.
18. Mis eristab stohhastilist gradiendi laskumist partii gradiendi laskumisest?
Partii gradiendi laskumine:
- Täielikku andmestikku kasutatakse partii gradiendi gradiendi koostamiseks.
- Tohutu andmemaht ja aeglaselt uuenevad kaalud muudavad lähenemise keeruliseks.
Stohhastilise gradiendi laskumine:
- Stohhastiline gradient kasutab gradiendi arvutamiseks ühte proovi.
- Sagedasemate kaalumuutuste tõttu läheneb see oluliselt kiiremini kui partii gradient.
19. Miks on ülioluline kaasata närvivõrkudesse mittelineaarsused?
Ükskõik kui palju kihte seal on, käitub närvivõrk mittelineaarsuse puudumisel nagu pertseptron, muutes väljundi sisendist lineaarselt sõltuvaks.
Teisisõnu, n kihi ja m peidetud ühikuga ning lineaarse aktiveerimisfunktsiooniga närvivõrk on samaväärne varjatud kihtideta lineaarse närvivõrguga, millel on võimalus tuvastada ainult lineaarseid eralduspiire.
Ilma mittelineaarsuseta ei suuda närvivõrk keerulisi probleeme lahendada ega sisendit täpselt kategoriseerida.
20. Mis on tensor süvaõppes?
Tensorina tuntud mitmemõõtmeline massiiv toimib maatriksite ja vektorite üldistusena. See on sügava õppimise jaoks ülioluline andmestruktuur. Tensorite esitamiseks kasutatakse põhiandmetüüpide N-mõõtmelisi massiive.
Tensori igal komponendil on sama andmetüüp ja see andmetüüp on alati teada. Võimalik, et kujundist on teada vaid osa – nimelt kui palju mõõtmeid on ja kui suur igaüks neist on.
Olukordades, kus sisendid on samuti täielikult teada, tekitab enamik tehteid täielikult teadaolevaid tensoreid; muudel juhtudel saab tensori kuju kindlaks teha ainult graafi täitmise käigus.
21. Kuidas valiksite süvaõppe mudeli aktiveerimisfunktsiooni?
- Lineaarse aktiveerimise funktsiooni kasutamine on mõttekas, kui oodatav tulemus on tegelik.
- Sigmoidfunktsiooni tuleks kasutada juhul, kui prognoositav väljund on kahendklassi tõenäosus.
- Tanh-funktsiooni saab kasutada, kui prognoositav väljund sisaldab kahte klassifikatsiooni.
- Tänu oma arvutamise lihtsusele on funktsioon ReLU rakendatav paljudes olukordades.
22. Mida sa mõtled CNN-i all?
Sügavad närvivõrgud, mis on spetsialiseerunud visuaalsete kujutiste hindamisele, hõlmavad konvolutsioonilisi närvivõrke (CNN või ConvNet). Siin, mitte närvivõrkudes, kus vektor esindab sisendit, on sisendiks mitme kanaliga pilt.
Mitmekihilisi pertseptroneid kasutavad CNN-id erilisel viisil, mis nõuab väga vähe eeltöötlust.
23. Millised on paljud CNN-i kihid?
Konvolutsioonikiht: Peamine kiht on konvolutsioonikiht, millel on mitmesugused õpitavad filtrid ja vastuvõtlik väli. See esialgne kiht võtab sisendandmed ja eraldab nende omadused.
ReLU kiht: muutes võrgud mittelineaarseks, muudab see kiht negatiivsed pikslid nulliks.
Koondamiskiht: töötlemise ja võrgusätete minimeerimisega minimeerib koondkiht järk-järgult esituse ruumilist suurust. Max pooling on enimkasutatud poolimise meetod.
24. Millised on üle- ja alatalitluse tagajärjed ning kuidas neid vältida?
Seda nimetatakse ülepaigutamiseks, kui mudel õpib koolitusandmetes olevaid keerukusi ja müra nii kaugele, et see mõjutab negatiivselt mudeli värskete andmete kasutamist.
See on tõenäolisem mittelineaarsete mudelite puhul, mis on eesmärgifunktsiooni õppimisel paremini kohandatavad. Mudelit saab õpetada tuvastama autosid ja veoautosid, kuid see võib olla võimeline tuvastama ainult konkreetse kastivormiga sõidukeid.
Arvestades, et seda õpetati ainult ühte tüüpi veokitele, ei pruugi see pardaveokit tuvastada. Treeningandmetel töötab mudel hästi, kuid mitte tegelikus maailmas.
Alakomplekteeritud mudel viitab mudelile, mis ei ole piisavalt koolitatud andmetega ega suuda üldistada uue teabega. See juhtub sageli siis, kui mudelit koolitatakse ebapiisavate või ebatäpsete andmetega.
Alapaigaldamine kahjustab nii täpsust kui ka jõudlust.
Andmete uuesti valimine mudeli täpsuse hindamiseks (K-kordne ristvalideerimine) ja valideerimisandmestiku kasutamine mudeli hindamiseks on kaks võimalust üle- ja alasobitamise vältimiseks.
25. Mis on süvaõppes RNN?
Korduvad närvivõrgud (RNN), mis on tavaline kunstlike närvivõrkude valik, kannavad lühendit RNN. Neid kasutatakse muu hulgas genoomide, käekirja, teksti ja andmejadade töötlemiseks. Vajaliku koolituse jaoks kasutavad RNN-id tagasi paljundamist.
26. Kirjeldage Adam Optimizerit
Adam optimeerija, tuntud ka kui adaptiivne impulss, on optimeerimistehnika, mis on välja töötatud hõreda kaldega mürarohkete olukordade lahendamiseks.
Lisaks parameetrite värskendustele kiiremaks lähenemiseks suurendab Adam optimeerija lähenemist läbi hoo, tagades, et mudel ei jää sadulapunkti lõksu.
27. Sügavad automaatkodeerijad: mis need on?
Deep autoencoder on kahe sümmeetrilise sügava uskumuse võrgu koondnimetus, mis tavaliselt sisaldavad nelja või viit madalat kihti võrgu kodeerimispoole jaoks ja teist nelja või viit kihti dekodeeriva poole jaoks.
Need kihid moodustavad sügavate uskumuste võrgustike aluse ja neid piiravad Boltzmanni masinad. Pärast iga RBM-i rakendab sügav automaatkooder binaarsed muudatused andmekogumis MNIST.
Neid saab kasutada ka teistes andmekogumites, kus Gaussi parandatud teisendusi eelistatakse RBM-ile.
28. Mida tähendab Tensor Tensorflows?
See on veel üks sügava õppimise intervjuu küsimus, mida regulaarselt küsitakse. Tensor on matemaatiline mõiste, mida visualiseeritakse kõrgema mõõtmega massiividena.
Tensorid on need andmemassiivid, mis edastatakse närvivõrku ja millel on erinevad mõõtmed ja järjestused.
29. Arvutusgraafiku selgitus
TensorFlow alus on arvutusgraafiku koostamine. Iga sõlm toimib sõlmede võrgus, kus sõlmed tähistavad matemaatilisi tehteid ja servad tensorite jaoks.
Mõnikord nimetatakse seda andmevoo graafikuks, kuna andmevood on graafiku kujul.
30. Generatiivsed võistlevad võrgud (GAN-id): mis need on?
Süvaõppes teostatakse generatiivne modelleerimine generatiivsete võistlevate võrgustike abil. See on järelevalveta töö, mille tulemuseks on sisendandmete mustrite tuvastamine.
Diskriminaatorit kasutatakse generaatori loodud eksemplaride kategoriseerimiseks, generaatorit aga uute näidete loomiseks.
31. Kuidas valite arhitektuuri kavandamisel neuronite ja peidetud kihtide arvu, mida närvivõrku kaasata?
Arvestades ärilist väljakutset, ei saa närvivõrgu arhitektuuri ehitamiseks vajalike neuronite ja peidetud kihtide täpset arvu kindlaks määrata ühegi range reegliga.
Närvivõrgus peaks peidetud kihi suurus langema kuskile sisend- ja väljundkihtide suuruse keskele.
Närvivõrgu disaini loomisel edumaa saab saavutada mõne lihtsa meetodi abil:
Alustades mõne põhilise süstemaatilise testimisega, et näha, mis toimiks kõige paremini mis tahes konkreetse andmestiku puhul, tuginedes eelnevale kogemusele närvivõrkudega sarnastes reaalmaailma seadetes, on parim viis iga ainulaadse reaalmaailma ennustava modelleerimise väljakutsega toimetulemiseks.
Võrgukonfiguratsiooni saab valida probleemivaldkonna teadmiste ja eelneva närvivõrgu kogemuse põhjal. Närvivõrgu seadistuse hindamisel on alustamiseks hea kihtide ja neuronite arv, mida kasutatakse seotud probleemide lahendamiseks.
Närvivõrgu keerukust tuleks järk-järgult suurendada, lähtudes prognoositavast väljundist ja täpsusest, alustades lihtsast närvivõrgu disainist.
32. Milliseid närvivõrke kasutatakse süvatugevdusõppes?
- Masinõppeparadigmas, mida nimetatakse tugevdamisõppeks, toimib mudel kumulatiivse tasu idee maksimeerimiseks, täpselt nagu elavad asjad.
- Nii mänge kui ka isejuhtivaid sõidukeid kirjeldatakse probleemidena tugevdamise õppimine.
- Ekraani kasutatakse sisendina, kui kujutatav probleem on mäng. Järgmiste faaside jaoks väljundi saamiseks võtab algoritm pikslid sisendiks ja töötleb neid paljude konvolutsiooniliste närvivõrkude kihtide kaudu.
- Mudeli tegevuse tulemused, olgu need siis soodsad või halvad, toimivad kinnitusena.
Järeldus
Süvaõpe on aastate jooksul populaarsust kogunud ja seda on rakendatud peaaegu kõigis tööstusharudes.
Ettevõtted otsivad üha enam pädevaid eksperte, kes suudaksid süvaõppe ja masinõppe lähenemisviise kasutades kujundada inimkäitumist kordavaid mudeleid.
Kandidaadid, kes suurendavad oma oskusi ja säilitavad oma teadmisi nende tipptehnoloogiate kohta, võivad leida palju erinevaid töövõimalusi atraktiivse tasuga.
Võite alustada intervjuudega nüüd, kui teil on tugev arusaam, kuidas vastata mõnele kõige sagedamini küsitavale sügava õppe intervjuu küsimusele. Astuge järgmine samm lähtuvalt oma eesmärkidest.
Külastage Hashdorki Intervjuude sari et valmistuda intervjuudeks.
Jäta vastus