Obsah[Skrýt][Ukázat]
- 1. Co přesně je Deep Learning?
- 2. Co odlišuje hluboké učení od strojového učení?
- 3. Jaké jsou vaše současné chápání neuronových sítí?
- 4. Co je to vlastně perceptron?
- 5. Co je to vlastně hluboká neuronová síť?
- 6. Co přesně je vícevrstvý perceptron (MLP)?
- 7. Jaký účel hrají aktivační funkce v neuronové síti?
- 8. Co přesně je gradientní sestup?
- 9. Co přesně je nákladová funkce?
- 10. Jak mohou hluboké sítě překonat ty mělké?
- 11. Popište dopředné šíření.
- 12. Co je zpětná propagace?
- 13. Jak v kontextu hlubokého učení chápete ořezávání gradientu?
- 14. Jaké jsou funkce Softmax a ReLU?
- 15. Lze trénovat model neuronové sítě se všemi vahami nastavenými na 0?
- 16. Co odlišuje epochu od dávky a iterace?
- 17. Co je normalizace dávek a výpadek?
- 18. Co odděluje sestup stochastického gradientu od sestupu dávkového gradientu?
- 19. Proč je klíčové zahrnout nelinearity do neuronových sítí?
- 20. Co je to tenzor v hlubokém učení?
- 21. Jak byste vybrali aktivační funkci pro model hlubokého učení?
- 22. Co myslíte CNN?
- 23. Co je to mnoho vrstev CNN?
- 24. Jaké jsou účinky nadměrného a nedostatečného vybavení a jak se jim můžete vyhnout?
- 25. Co je to RNN v hlubokém učení?
- 26. Popište Adam Optimizer
- 27. Hluboké automatické kodéry: co to je?
- 28. Co znamená Tensor v Tensorflow?
- 29. Vysvětlení výpočtového grafu
- 30. Generativní adversariální sítě (GAN): co to je?
- 31. Jak zvolíte počet neuronů a skrytých vrstev pro zahrnutí do neuronové sítě při navrhování architektury?
- 32. Jaké typy neuronových sítí se používají při učení hlubokého posílení?
- Proč investovat do čističky vzduchu?
Hluboké učení není úplně nová myšlenka. Umělé neuronové sítě slouží jako jediný základ podmnožiny strojového učení známé jako hluboké učení.
Hluboké učení je napodobenina lidského mozku, stejně jako neuronové sítě, protože byly vytvořeny k napodobování lidského mozku.
Už to tu nějakou dobu bylo. V dnešní době o tom všichni mluví, protože nemáme zdaleka tolik výpočetního výkonu nebo dat jako nyní.
Za posledních 20 let se v důsledku dramatického nárůstu kapacity zpracování objevilo hluboké učení a strojové učení.
Abychom vám pomohli připravit se na jakékoli dotazy, kterým byste mohli čelit při hledání svého vysněného zaměstnání, tento příspěvek vás provede řadou otázek týkajících se hloubkového pohovoru, od jednoduchých po složité.
1. Co přesně je Deep Learning?
Pokud se účastníte a hluboké učení rozhovoru, nepochybně chápete, co je hluboké učení. Tazatel však očekává, že v odpovědi na tuto otázku poskytnete podrobnou odpověď spolu s ilustrací.
Aby se trénovalo neuronové sítě pro hluboké učení musí být použito značné množství organizovaných nebo nestrukturovaných dat. K nalezení skrytých vzorců a vlastností provádí složité postupy (například odlišení obrazu kočky od obrazu psa).
2. Co odlišuje hluboké učení od strojového učení?
Jako odvětví umělé inteligence známé jako strojové učení trénujeme počítače pomocí dat a statistických a algoritmických technik, aby se postupem času zlepšovaly.
Jako aspekt strojové učení, hluboké učení napodobuje architekturu neuronové sítě viděnou v lidském mozku.
3. Jaké jsou vaše současné chápání neuronových sítí?
Umělé systémy známé jako neuronové sítě se velmi podobají organickým neuronovým sítím nacházejícím se v lidském těle.
Pomocí techniky, která se podobá tomu, jak lidský mozek neuronová síť je soubor algoritmů, jejichž cílem je identifikovat základní korelace v části dat.
Tyto systémy získávají znalosti specifické pro daný úkol tím, že se vystavují řadě datových sad a příkladů, spíše než tím, že by se řídili jakýmikoli pravidly pro konkrétní úkol.
Myšlenka je taková, že namísto předprogramovaného porozumění těmto datovým sadám se systém učí rozlišovat charakteristiky od dat, která přivádí.
Tři síťové vrstvy, které se nejčastěji používají v neuronových sítích, jsou následující:
- Vstupní vrstva
- Skrytá vrstva
- Výstupní vrstva
4. Co je to vlastně perceptron?
Biologický neuron nalezený v lidském mozku je srovnatelný s perceptronem. Vícenásobné vstupy jsou přijímány perceptronem, který pak provádí četné transformace a funkce a vytváří výstup.
V binární klasifikaci se používá lineární model nazývaný perceptron. Simuluje neuron s různými vstupy, z nichž každý má jinou váhu.
Neuron vypočítá funkci pomocí těchto vážených vstupů a vyvede výsledky.
5. Co je to vlastně hluboká neuronová síť?
Hluboká neuronová síť je umělá neuronová síť (ANN) s několika vrstvami mezi vstupní a výstupní vrstvou (DNN).
Hluboké neuronové sítě jsou neuronové sítě hluboké architektury. Slovo „hluboké“ označuje funkce s mnoha úrovněmi a jednotkami v jedné vrstvě. Přesnější modely lze vytvořit přidáním více a větších vrstev pro zachycení větších úrovní vzorů.
6. Co přesně je vícevrstvý perceptron (MLP)?
Vstupní, skryté a výstupní vrstvy jsou přítomny v MLP, podobně jako v neuronových sítích. Je postaven podobně jako jednovrstvý perceptron s jednou nebo více skrytými vrstvami.
Binární výstup jednovrstvého perceptronu může kategorizovat pouze lineární separovatelné třídy (0,1), zatímco MLP může klasifikovat nelineární třídy.
7. Jaký účel hrají aktivační funkce v neuronové síti?
Aktivační funkce určuje, zda se neuron má nebo nemá aktivovat na nejzákladnější úrovni. Jakákoli aktivační funkce může jako vstup přijmout vážený součet vstupů plus předpětí. Mezi aktivační funkce patří funkce step, Sigmoid, ReLU, Tanh a Softmax.
8. Co přesně je gradientní sestup?
Nejlepším přístupem k minimalizaci nákladové funkce nebo chyby je gradientní klesání. Cílem je nalezení lokálně-globálního minima funkce. To určuje cestu, kterou by se měl model ubírat, aby se minimalizovala chyba.
9. Co přesně je nákladová funkce?
Nákladová funkce je metrika k posouzení toho, jak dobře funguje váš model; někdy se tomu říká „ztráta“ nebo „chyba“. Během zpětného šíření se používá k výpočtu chyby výstupní vrstvy.
Zneužíváme tuto nepřesnost k dalšímu tréninkovému procesu neuronové sítě tím, že ji protlačujeme zpět neuronovou sítí.
10. Jak mohou hluboké sítě překonat ty mělké?
K neuronovým sítím se kromě vstupní a výstupní vrstvy přidávají skryté vrstvy. Mezi vstupní a výstupní vrstvou používají mělké neuronové sítě jedinou skrytou vrstvu, zatímco hluboké neuronové sítě používají mnoho úrovní.
Mělká síť vyžaduje několik parametrů, aby se vešla do jakékoli funkce. Hluboké sítě mohou lépe vyhovovat funkcím i s malým počtem parametrů, protože obsahují několik vrstev.
Hluboké sítě jsou nyní preferovány kvůli jejich všestrannosti při práci s jakýmkoli typem modelování dat, ať už jde o rozpoznávání řeči nebo obrazu.
11. Popište dopředné šíření.
Vstupy jsou přenášeny spolu s váhami do skryté vrstvy v procesu známém jako předávání.
Výstup aktivační funkce je vypočítán v každé vnořené vrstvě, než může zpracování přejít na následující vrstvu.
Proces začíná na vstupní vrstvě a postupuje do konečné výstupní vrstvy, tedy dopředného šíření názvu.
12. Co je zpětná propagace?
Když se v neuronové síti upraví váhy a zkreslení, použije se zpětné šíření ke snížení nákladové funkce tím, že se nejprve sleduje, jak se mění hodnota.
Pochopení přechodu v každé skryté vrstvě usnadňuje výpočet této změny.
Proces, známý jako backpropagation, začíná na výstupní vrstvě a přesouvá se zpět do vstupních vrstev.
13. Jak v kontextu hlubokého učení chápete ořezávání gradientu?
Gradient Clipping je metoda pro řešení problému explodujících gradientů, které vznikají při zpětném šíření (stav, kdy se v průběhu času hromadí významné nesprávné gradienty, což vede k významným úpravám vah modelu neuronové sítě během tréninku).
Rozložení přechodů je problém, který nastává, když se přechody během trénování příliš zvětší a model je nestabilní. Pokud gradient překročí očekávaný rozsah, hodnoty gradientu se posunou prvek po prvku na předem definovanou minimální nebo maximální hodnotu.
Ořezávání přechodů zvyšuje numerickou stabilitu neuronové sítě během tréninku, ale má minimální dopad na výkon modelu.
14. Jaké jsou funkce Softmax a ReLU?
Aktivační funkce zvaná Softmax vytváří výstup v rozsahu mezi 0 a 1. Každý výstup je rozdělen tak, že součet všech výstupů je jedna. Pro výstupní vrstvy se často používá Softmax.
Rectified Linear Unit, někdy známá jako ReLU, je nejpoužívanější aktivační funkcí. Pokud je X kladné, výstup X, jinak nuly. ReLU se pravidelně aplikuje na podzemní vrstvy.
15. Lze trénovat model neuronové sítě se všemi vahami nastavenými na 0?
Neuronová síť se nikdy nenaučí dokončit danou úlohu, proto není možné trénovat model inicializací všech vah na 0.
Derivace zůstanou stejné pro každou váhu ve W [1], pokud jsou všechny váhy inicializovány na nulu, což povede k tomu, že se neurony budou iterativně učit stejné vlastnosti.
Nejen inicializace vah na 0, ale na jakoukoli formu konstanty pravděpodobně povede k podprůměrnému výsledku.
16. Co odlišuje epochu od dávky a iterace?
Různé formy zpracování datových sad a techniky sestupu gradientu zahrnují dávkové, iterační a epochové. Epocha zahrnuje jednorázovou neuronovou síť s úplnou datovou sadou, a to jak dopředu, tak dozadu.
Aby byly zajištěny spolehlivé výsledky, je datová sada často předávána několikrát, protože je příliš velká na to, aby ji bylo možné předat na jeden pokus.
Tato praxe opakovaného spouštění malého množství dat přes neuronovou síť se nazývá iterace. Aby bylo zaručeno, že soubor dat úspěšně prochází neuronovými sítěmi, lze jej rozdělit do několika dávek nebo podmnožin, což je známé jako dávkování.
V závislosti na velikosti shromažďování dat jsou všechny tři metody – epocha, iterace a velikost dávky – v podstatě způsoby použití gradientní sestupový algoritmus.
17. Co je normalizace dávek a výpadek?
Výpadek zabraňuje přeplnění dat náhodným odstraněním viditelných i skrytých síťových jednotek (obvykle vynecháním 20 procent uzlů). Zdvojnásobuje počet iterací potřebných ke konvergování sítě.
Normalizací vstupů v každé vrstvě tak, aby střední aktivace výstupu byla nula a standardní odchylka jedna, je dávková normalizace strategií pro zvýšení výkonu a stability neuronových sítí.
18. Co odděluje sestup stochastického gradientu od sestupu dávkového gradientu?
Sestup dávkového gradientu:
- Kompletní datová sada se používá ke konstrukci gradientu pro dávkový gradient.
- Obrovské množství dat a pomalu se aktualizující váhy ztěžují konvergenci.
Stochastický gradient sestup:
- Stochastický gradient používá k výpočtu gradientu jediný vzorek.
- Díky častějším změnám hmotnosti konverguje výrazně rychleji než gradient dávky.
19. Proč je klíčové zahrnout nelinearity do neuronových sítí?
Bez ohledu na to, kolik vrstev existuje, neuronová síť se bude chovat jako perceptron bez nelinearit, takže výstup bude lineárně závislý na vstupu.
Jinak řečeno, neuronová síť s n vrstvami a m skrytými jednotkami a lineárními aktivačními funkcemi je ekvivalentní lineární neuronové síti bez skrytých vrstev a se schopností detekovat pouze lineární separační hranice.
Bez nelinearit není neuronová síť schopna řešit složité problémy a přesně kategorizovat vstupy.
20. Co je to tenzor v hlubokém učení?
Vícerozměrné pole známé jako tenzor slouží jako zobecnění matic a vektorů. Je to klíčová datová struktura pro hluboké učení. K reprezentaci tenzorů se používají N-rozměrná pole základních datových typů.
Každá komponenta tenzoru má stejný datový typ a tento datový typ je vždy znám. Je možné, že je znám pouze kousek tvaru – jmenovitě kolik rozměrů a jak velký je každý z nich – je znám.
V situacích, kdy jsou vstupy také zcela známé, produkuje většina operací plně známé tenzory; v ostatních případech může být forma tenzoru stanovena pouze během provádění grafu.
21. Jak byste vybrali aktivační funkci pro model hlubokého učení?
- Má smysl použít lineární aktivační funkci, pokud je výsledek, který je třeba předvídat, skutečný.
- Sigmoidní funkce by měla být použita, pokud výstupem, který má být předpovídán, je pravděpodobnost binární třídy.
- Funkci Tanh lze použít, pokud projektovaný výstup obsahuje dvě klasifikace.
- Díky snadnému výpočtu je funkce ReLU použitelná v široké škále situací.
22. Co myslíte CNN?
Hluboké neuronové sítě, které se specializují na vyhodnocování vizuálních snímků, zahrnují konvoluční neuronové sítě (CNN nebo ConvNet). Zde, spíše než v neuronových sítích, kde vektor představuje vstup, je vstupem vícekanálový obrázek.
Vícevrstvé perceptrony používají CNN speciálním způsobem, který vyžaduje velmi malé předběžné zpracování.
23. Co je to mnoho vrstev CNN?
Konvoluční vrstva: Hlavní vrstvou je konvoluční vrstva, která má řadu naučitelných filtrů a receptivní pole. Tato počáteční vrstva vezme vstupní data a extrahuje jejich charakteristiky.
Vrstva ReLU: Tím, že jsou sítě nelineární, tato vrstva změní negativní pixely na nulu.
Sdružovací vrstva: Minimalizací zpracování a nastavení sítě sdružovací vrstva postupně minimalizuje prostorovou velikost reprezentace. Max sdružování je nejpoužívanější metodou sdružování.
24. Jaké jsou účinky nadměrného a nedostatečného vybavení a jak se jim můžete vyhnout?
Toto je známé jako overfitting, když se model naučí složitosti a šum v trénovacích datech do té míry, že to negativně ovlivní použití nových dat modelem.
Je pravděpodobnější, že k tomu dojde u nelineárních modelů, které jsou přizpůsobivější při učení cílové funkce. Model lze vycvičit k detekci automobilů a nákladních automobilů, ale může být schopen identifikovat pouze vozidla s konkrétní krabicovou formou.
Vzhledem k tomu, že byl vycvičen pouze na jeden typ nákladního vozidla, nemusí být schopen odhalit valník. Na trénovacích datech model funguje dobře, ale ne ve skutečném světě.
Nedostatečně vybavený model označuje model, který není dostatečně vyškolen na datech nebo není schopen zobecnit na nové informace. K tomu často dochází, když je model trénován s nedostatečnými nebo nepřesnými daty.
Přesnost a výkon jsou ohroženy nedostatečnou montáží.
Převzorkování dat za účelem odhadu přesnosti modelu (K-násobná křížová validace) a použití ověřovací datové sady k posouzení modelu jsou dva způsoby, jak se vyhnout nadměrnému a nedostatečnému přizpůsobení.
25. Co je to RNN v hlubokém učení?
Rekurentní neuronové sítě (RNN), běžná paleta umělých neuronových sítí, jdou pod zkratkou RNN. Používají se mimo jiné ke zpracování genomů, rukopisu, textu a datových sekvencí. Pro nezbytný výcvik využívají RNN zpětné šíření.
26. Popište Adam Optimizer
Optimalizátor Adam, také známý jako adaptivní hybnost, je optimalizační technika vyvinutá pro zvládnutí hlučných situací s řídkými gradienty.
Kromě poskytování aktualizací pro jednotlivé parametry pro rychlejší konvergenci optimalizátor Adam zvyšuje konvergenci prostřednictvím hybnosti a zajišťuje, že model nezůstane uvězněn v sedlovém bodu.
27. Hluboké automatické kodéry: co to je?
Deep autoencoder je souhrnný název pro dvě symetrické sítě hlubokého přesvědčení, které obecně zahrnují čtyři nebo pět mělkých vrstev pro kódovací polovinu sítě a další sadu čtyř nebo pěti vrstev pro dekódovací polovinu.
Tyto vrstvy tvoří základ sítí hlubokého přesvědčení a jsou omezeny Boltzmannovými stroji. Po každém RBM použije hluboký autokodér binární změny na datovou sadu MNIST.
Mohou být také použity v jiných souborech dat, kde by byly preferovány gaussovské rektifikované transformace před RBM.
28. Co znamená Tensor v Tensorflow?
Toto je další otázka na pohovorech s hlubokým učením, která je pravidelně kladena. Tenzor je matematický koncept, který je vizualizován jako pole vyšších dimenzí.
Tenzory jsou tato datová pole, která jsou poskytována jako vstup do neuronové sítě a mají různé rozměry a hodnocení.
29. Vysvětlení výpočtového grafu
Základem TensorFlow je konstrukce výpočtového grafu. Každý uzel funguje v síti uzlů, kde uzly znamenají matematické operace a hrany tenzory.
Někdy se tomu říká „DataFlow Graph“, protože data tokují ve tvaru grafu.
30. Generativní adversariální sítě (GAN): co to je?
V Deep Learning se generativní modelování provádí pomocí generativních protichůdných sítí. Jedná se o práci bez dozoru, kde se výsledek vytváří identifikací vzorů ve vstupních datech.
Diskriminátor se používá ke kategorizaci instancí vytvořených generátorem, zatímco generátor se používá k vytváření nových příkladů.
31. Jak zvolíte počet neuronů a skrytých vrstev pro zahrnutí do neuronové sítě při navrhování architektury?
Vzhledem k obchodní výzvě nelze přesný počet neuronů a skrytých vrstev potřebných k vybudování architektury neuronové sítě určit žádnými pevnými a rychlými pravidly.
V neuronové síti by velikost skryté vrstvy měla spadat někam doprostřed velikosti vstupní a výstupní vrstvy.
Náskok při vytváření návrhu neuronové sítě lze dosáhnout několika jednoduchými metodami:
Nejlepším způsobem, jak se vypořádat s každou jedinečnou výzvou prediktivního modelování v reálném světě, je začít s některým základním systematickým testováním, abychom zjistili, co by fungovalo nejlépe pro jakýkoli konkrétní soubor dat na základě předchozích zkušeností s neuronovými sítěmi v podobných prostředích v reálném světě.
Konfigurace sítě může být zvolena na základě znalosti dané domény a předchozích zkušeností s neuronovou sítí. Při posuzování nastavení neuronové sítě je dobrým místem pro začátek počet vrstev a neuronů použitých na související problémy.
Složitost neuronové sítě by se měla postupně zvyšovat na základě projektovaného výkonu a přesnosti, počínaje jednoduchým návrhem neuronové sítě.
32. Jaké typy neuronových sítí se používají při učení hlubokého posílení?
- V paradigmatu strojového učení zvaného posilovací učení model funguje tak, aby maximalizoval myšlenku kumulativní odměny, stejně jako živé věci.
- Hry a samořídící vozidla jsou popisovány jako problém zahrnující posilování učení.
- Obrazovka se používá jako vstup, pokud je problémem, který má být znázorněn, hra. Aby algoritmus vytvořil výstup pro další fáze, bere pixely jako vstup a zpracovává je prostřednictvím mnoha vrstev konvolučních neuronových sítí.
- Výsledky akcí modelu, ať už příznivé nebo špatné, působí jako posílení.
Proč investovat do čističky vzduchu?
Hluboké učení v průběhu let vzrostlo na popularitě s aplikacemi prakticky ve všech průmyslových odvětvích.
Společnosti stále více hledají kompetentní odborníky, kteří dokážou navrhnout modely, které replikují lidské chování pomocí přístupů hlubokého učení a strojového učení.
Uchazeči, kteří si rozšíří své dovednosti a udrží si znalosti těchto špičkových technologií, mohou najít širokou škálu pracovních příležitostí s atraktivním ohodnocením.
Nyní můžete začít s rozhovory, když už dobře rozumíte tomu, jak odpovědět na některé z nejčastěji požadovaných otázek na pohovorech s hlubokým učením. Udělejte další krok na základě svých cílů.
Navštivte Hashdork's Série rozhovorů připravit se na pohovory.
Napsat komentář