Преглед садржаја[Сакрити][Прикажи]
- 1. Шта подразумевате под МЛОпс?
- 2. Како се научници података, инжењери података и МЛ инжењери разликују једни од других?
- 3. Шта разликује МЛОпс од МоделОпс-а и АИОпс-а?
- 4. Можете ли ми рећи неке од предности МЛОпс-а?
- 5. Можете ли ми рећи компоненте МЛОпс-а?
- 6. Које ризике доноси коришћење науке о подацима?
- 7. Можете ли да објасните шта је дрифт модела?
- 8. На колико различитих начина се МЛОпс могу применити, по вашем мишљењу?
- 9. Шта разликује статичку примену од динамичке?
- 10. Које технике тестирања производње познајете?
- 11. Шта разликује стреам обраду од батцх обраде?
- 12. Шта мислите под Тренинг Сервинг Скев?
- 13. Шта подразумевате под моделом регистра?
- 14. Можете ли детаљније објаснити предности Модел Регистри?
- 15. Можете ли да објасните како функционише техника Цхампион-Цхалленгер?
- 16. Опишите апликације животног циклуса МЛОпс-а на нивоу предузећа?
- Zakljucak
Компаније чешће користе нове технологије као што су вештачка интелигенција (АИ) и машинско учење (МЛ) како би повећале доступност јавности информацијама и услугама.
Ове технологије се све више користе у различитим секторима, укључујући банкарство, финансије, малопродају, производњу, па чак и здравствену заштиту.
Научници података, инжењери машинског учења и инжењери вештачке интелигенције траже се од све већег броја компанија.
Знајући могуће Машина учење Питања на интервјуу за операције која би вам могли поставити менаџери за запошљавање и регрутери су од суштинског значаја ако желите да радите у областима МЛ или МЛОпс.
Можете научити како да одговорите на нека од питања МЛОпс интервјуа у овом посту док радите на томе да добијете посао из снова.
1. Шта подразумевате под МЛОпс?
Тема операционализације МЛ модела је фокус МЛОпс-а, такође познатих као Операције машинског учења, области у развоју у оквиру веће АИ/ДС/МЛ арене.
Главни циљ приступа и културе софтверског инжењеринга познате као МЛОпс је да интегрише креирање модела машинског учења/науке о подацима и њихову накнадну операционализацију (Опс).
Конвенционални ДевОпс и МЛОпс деле одређене сличности, међутим, МЛОпс се такође у великој мери разликује од традиционалних ДевОпс-а.
МЛОпс додаје нови слој сложености фокусирајући се на податке, док се ДевОпс првенствено фокусира на операционализацију кода и издања софтвера који не могу бити са подацима о стању.
Комбинација МЛ-а, података и операција је оно што МЛОпс-у даје уобичајено име (машинско учење, инжењеринг података и ДевОпс).
2. Како се научници података, инжењери података и МЛ инжењери разликују једни од других?
По мом мишљењу, разликује се у зависности од фирме. Окружење за транспорт и трансформацију података, као и њихово складиштење, изграђују инжењери података.
Научници података су стручњаци у коришћењу научних и статистичких техника за анализу података и извођење закључака, укључујући предвиђање будућег понашања на основу трендова који су сада присутни.
Софтверски инжењери су проучавали операције и управљали инфраструктуром за примену пре неколико година. Оперативни тимови су, с друге стране, проучавали развој док су користили инфраструктуру као код. Ова два тока су произвела ДевОпс позицију.
МЛОпс је у истој категорији као Дата Сциентист и инжењер података. Инжењери података стичу знање о инфраструктури потребној за подршку животних циклуса модела и креирање цевовода за текућу обуку.
Научници података настоје да развију своје могућности примене модела и бодовања.
Инжењери МЛ-а изграђују цевовод података производног нивоа користећи инфраструктуру која трансформише необрађене податке у улаз који је потребан моделу науке о подацима, хостује и покреће модел, и шаље скуп података са резултатом у низводне системе.
И инжењери података и научници података су способни да постану инжењери МЛ.
3. Шта разликује МЛОпс од МоделОпс-а и АИОпс-а?
Приликом конструисања с краја на крај алгоритми машинског учења, МЛОпс је ДевОпс апликација која укључује прикупљање података, претходну обраду података, креирање модела, примену модела у производњи, праћење модела у производњи и периодичну надоградњу модела.
Употреба ДевОпс-а у руковању целокупном имплементацијом било ког алгоритама, као што су модели засновани на правилима, позната је као МоделОпс.
АИОпс користи ДевОпс принципе за креирање АИ апликација од нуле.
4. Можете ли ми рећи неке од предности МЛОпс-а?
- Научници података и програмери МЛОпс-а могу брзо да понове пробе како би осигурали да су модели обучени и процењени на одговарајући начин, јер МЛОпс помаже у аутоматизацији свих или већине задатака/корака у МДЛЦ-у (животни циклус развоја модела). Додатно дозволе верзијама података и модела.
- Увођење МЛОпс идеја у праксу омогућава инжењерима података и научницима података да имају неограничен приступ култивисаним и курираним скуповима података, што експоненцијално убрзава развој модела.
- Научници података ће моћи да се врате на модел који је имао боље резултате ако тренутна итерација не испуни очекивања захваљујући могућности да се модели и скупови података верзионишу, што ће значајно побољшати траг ревизије модела.
- Како се МЛОпс методе снажно ослањају на ДевОпс, оне такође укључују бројне ЦИ/ЦД концепте, што побољшава квалитет и поузданост кода.
5. Можете ли ми рећи компоненте МЛОпс-а?
Дизајн: МЛОпс у великој мери укључују дизајн размишљања. Почевши од природе проблема, тестирања хипотеза, архитектуре и примене
Грађење модела: Тестирање и валидација модела су део овог корака, заједно са процесима инжењеринга података и експериментисањем за постављање најбољих система машинског учења.
operacije: Модел се мора имплементирати као део операција и континуирано проверавати и оцењивати. ЦИ/ЦД процеси се затим прате и покрећу помоћу алата за оркестрацију.
6. Које ризике доноси коришћење науке о подацима?
- Тешко је проширити модел у целој компанији.
- Без упозорења, модел се гаси и престаје да функционише.
- Углавном, тачност модела се временом погоршава.
- Модел даје нетачна предвиђања на основу специфичног запажања које се не може даље испитати.
- Научници података такође треба да одржавају моделе, али они су скупи.
- МЛОпс се могу користити за смањење ових ризика.
7. Можете ли да објасните шта је дрифт модела?
Када се перформансе фазе закључивања модела (користећи податке из стварног света) погоршају у односу на перформансе фазе обуке, то је познато као померање модела, такође познато као померање идеја (користећи историјске, означене податке).
Перформансе модела су искривљене у поређењу са фазама обуке и сервирања, па отуда и назив „обука/сервирање“.
Бројни фактори, укључујући:
- Основни начин на који се подаци дистрибуирају се променио.
- Обука се фокусирала на мали број категорија, међутим, промена животне средине која се управо догодила додала је још једну област.
- У тешкоћама НЛП-а, подаци из стварног света имају несразмерно већу количину токена бројева од података о обуци.
- Неочекивани догађаји, као што је модел изграђен на подацима пре ЦОВИД-а за који се предвиђа да ће имати знатно лошији учинак на подацима прикупљеним током епидемије ЦОВИД-19.
Увек је потребно стално праћење перформанси модела да би се идентификовало померање модела.
Преобука модела је скоро увек потребна као лек када постоји упорни пад перформанси модела; мора се идентификовати разлог опадања и морају се користити одговарајуће процедуре лечења.
8. На колико различитих начина се МЛОпс могу применити, по вашем мишљењу?
Постоје три методе за стављање МЛОпс-а у праксу:
МЛОпс ниво 0 (ручни процес): На овом нивоу, сви кораци—укључујући припрему података, анализу и обуку—изводе се ручно. Свака фаза се мора изводити ручно, као и прелазак са једне на другу.
Основна премиса је да ваш тим за науку података управља само малим бројем модела који се не ажурирају често.
Као резултат тога, не постоји континуирана интеграција (ЦИ) или непрекидна примена (ЦД), а тестирање кода је обично интегрисано у извршавање скрипте или бележнице, при чему се примена одвија у микросервису са РЕСТ АПИ.
МЛОпс ниво 1 (аутоматизација МЛ цевовода): Аутоматизацијом процеса МЛ, циљ је да се континуирано обучава модел (ЦТ). На овај начин можете остварити континуирано пружање услуге предвиђања модела.
Наша примена читавог цевовода за обуку обезбеђује да се модел аутоматски обучава у производњи користећи нове податке засноване на активним покретачима цевовода.
МЛОпс ниво 2 (аутоматизација ЦИ/ЦД цевовода): Иде један корак изнад МЛОпс нивоа. Снажан аутоматизовани ЦИ/ЦД систем је потребан ако желите да ажурирате цевоводе у производњи брзо и поуздано:
- Ви креирате изворни код и извршавате бројне тестове током ЦИ фазе. Пакети, извршни програми и артефакти су резултати фазе, који ће бити распоређени касније.
- Артефакти креирани у ЦИ фази се постављају у циљно окружење током ЦД корака. Распоређени цевовод са имплементацијом ревидираног модела је излаз фазе.
- Пре него што цевовод започне нову итерацију експеримента, научници података и даље морају ручно да ураде фазу анализе података и модела.
9. Шта разликује статичку примену од динамичке?
Модел је обучен ван мреже за Статиц Деплоимент. Другим речима, обучавамо модел тачно једном, а затим га користимо неко време. Након што је модел локално обучен, он се чува и шаље на сервер да би се користио за израду предвиђања у реалном времену.
Модел се затим дистрибуира као апликативни софтвер који се може инсталирати. програм који омогућава групно оцењивање захтева, као илустрацију.
Модел је обучен на мрежи за Динамиц Деплоимент. То јест, нови подаци се стално додају у систем, а модел се континуирано ажурира како би се то урачунало.
Као резултат тога, можете да правите предвиђања користећи сервер на захтев. Након тога, модел се ставља у употребу тако што се испоручује као АПИ крајња тачка која реагује на упите корисника, користећи веб оквир као што је Фласк или ФастАПИ.
10. Које технике тестирања производње познајете?
Серијско испитивање: Спровођењем тестирања у окружењу које се разликује од окружења за обуку, верификује модел. Користећи изабране метрике, као што су тачност, РМСЕ, итд., групно тестирање се врши на групи узорака података да би се верификовало закључивање модела.
Групно тестирање се може спровести на различитим рачунарским платформама, као што су тест сервер, удаљени сервер или облак. Типично, модел је обезбеђен као серијализована датотека, која се учитава као објекат и закључује из тестних података.
/ Б тестирање: Често се користи за анализу маркетиншких кампања као и за дизајн услуга (веб сајтова, мобилних апликација итд.).
На основу компаније или пословања, статистички приступи се користе за анализу резултата А/Б тестирања како би се одлучило који модел ће имати бољи учинак у производњи. Обично се А/Б тестирање ради на следећи начин:
- Подаци уживо или у реалном времену су подељени или сегментирани у два скупа, скуп А и скуп Б.
- Подаци скупа А се шаљу застарелом моделу, док се подаци скупа Б шаљу ажурираном моделу.
- У зависности од случаја пословне употребе или процеса, може се користити неколико статистичких приступа за процену перформанси модела (на пример, тачност, прецизност, итд.) да би се утврдило да ли нови модел (модел Б) надмашује стари модел (модел А).
- Затим радимо статистичко тестирање хипотезе: нулта хипотеза каже да нови модел нема утицаја на просечну вредност пословних индикатора који се прате. Према алтернативној хипотези, нови модел повећава просечну вредност индикатора пословања праћења.
- На крају, процењујемо да ли нови модел резултира значајним побољшањем одређених пословних КПИ.
Тест сенке или позорнице: Модел се процењује у дупликату производног окружења пре него што се користи у производњи (окружење за постављање).
Ово је кључно за одређивање перформанси модела са подацима у реалном времену и валидацију отпорности модела. се изводи тако што се закључују исти подаци као и производни цевовод и испоручује развијена грана или модел који ће се тестирати на сценском серверу.
Једини недостатак је то што се неће правити пословни избори на сценском серверу нити бити видљиви крајњим корисницима као резултат развојне гране.
Отпорност и перформансе модела ће бити статистички процењене коришћењем резултата окружења за етаблирање коришћењем одговарајућих метрика.
11. Шта разликује стреам обраду од батцх обраде?
Можемо да манипулишемо карактеристикама које користимо за производњу наших прогноза у реалном времену користећи две методе обраде: групни и стриминг.
Батцх процес карактеристике из претходног тренутка за одређени објекат, који се затим користи за генерисање предвиђања у реалном времену.
- Овде смо у могућности да радимо интензивне прорачуне карактеристика ван мреже и припремимо податке за брзо закључивање.
- Карактеристике су, међутим, доба од када су биле унапред одређене у прошлости. Ово може бити велики недостатак ако се ваша прогноза заснива на недавним појавама. (На пример, идентификовање лажних трансакција што је пре могуће.)
Са карактеристикама стримовања скоро у реалном времену за одређени ентитет, закључивање се спроводи у обради тока на датом скупу улаза.
- Овде, дајући моделу у реалном времену, стриминг функције, можемо добити прецизнија предвиђања.
- Међутим, потребна је додатна инфраструктура за обраду токова и одржавање токова података (Кафка, Кинесис, итд.). (Апацхе Флинк, Беам, итд.)
12. Шта мислите под Тренинг Сервинг Скев?
Диспаритет између учинка приликом сервирања и учинка током тренинга познат је као искривљеност приликом сервирања. Ово искривљење може бити изазвано следећим факторима:
- Разлика у начину на који рукујете подацима између цевовода за сервирање и обуку.
- Промена података са ваше обуке на вашу услугу.
- Канал повратне информације између вашег алгоритма и модела.
13. Шта подразумевате под моделом регистра?
Регистар модела је централно складиште где креатори модела могу да објаве моделе који су погодни за употребу у производњи.
Програмери могу да сарађују са другим тимовима и заинтересованим странама како би управљали животним веком свих модела унутар предузећа помоћу регистра. Обучене моделе научник података може учитати у регистар модела.
Модели се припремају за тестирање, валидацију и примену у производњу када буду у регистру. Поред тога, обучени модели се чувају у регистрима модела ради брзог приступа било којој интегрисаној апликацији или услузи.
Да бисте тестирали, проценили и применили модел у производњу, програмери софтвера а рецензенти могу брзо да препознају и изаберу само најбољу верзију обучених модела (на основу критеријума оцењивања).
14. Можете ли детаљније објаснити предности Модел Регистри?
Следе неки начини на које регистар модела поједностављује управљање животним циклусом модела:
- Да бисте олакшали примену, сачувајте захтеве времена извођења и метаподатке за своје обучене моделе.
- Ваши обучени, распоређени и пензионисани модели треба да буду регистровани, праћени и верзионисани у централизованом спремишту за претраживање.
- Креирајте аутоматизоване цевоводе који омогућавају континуирану испоруку, обуку и интеграцију вашег производног модела.
- Упоредите ново обучене моделе (или моделе изазивача) у окружењу за припрему са моделима који су тренутно у производњи (модели шампиона).
15. Можете ли да објасните како функционише техника Цхампион-Цхалленгер?
Могуће је тестирати различите оперативне одлуке у производњи користећи Цхампион Цхалленгер технику. Вероватно сте чули за А/Б тестирање у контексту маркетинга.
На пример, можете да напишете два различита наслова и да их насумично дистрибуирате вашој циљној демографској групи да бисте максимално повећали стопу отворености за кампању е-поште.
Систем бележи учинак е-поруке (тј. радњу отварања е-поште) у односу на њену тему, омогућавајући вам да упоредите стопу отварања сваке линије предмета да бисте утврдили која је најефикаснија.
Цхампион-Цхалленгер је по овом питању упоредив са А/Б тестирањем. Можете користити логику одлучивања да процените сваки исход и изаберете најефикаснији док експериментишете са различитим методама да бисте дошли до избора.
Најуспешнији модел корелира са шампионом. Први изазивач и одговарајућа листа изазивача су сада све што је присутно у првој фази извршења уместо шампиона.
Шампиона бира систем за даље извршавање корака посла.
Изазивачи су у супротности једни са другима. Затим новог шампиона одређује изазивач који даје највеће резултате.
Задаци укључени у процес поређења шампиона и изазивача су наведени у наставку детаљније:
- Оцењивање сваког од ривалских модела.
- Оцењивање коначних резултата.
- Поређење резултата евалуације да би се утврдио победнички изазивач.
- Додавање свежег шампиона у архиву
16. Опишите апликације животног циклуса МЛОпс-а на нивоу предузећа?
Морамо престати да сматрамо машинско учење само итеративним експериментом да би модели машинског учења ушли у производњу. МЛОпс је унија софтверског инжењеринга са машинским учењем.
Готов резултат треба замислити као такав. Дакле, код за технолошки производ мора бити тестиран, функционалан и модуларан.
МЛОпс има животни век који је упоредив са конвенционалним током машинског учења, са изузетком да се модел држи у процесу до производње.
Инжењери МЛОпс-а затим прате ово како би били сигурни да је квалитет модела у производњи оно што је предвиђено.
Ево неколико случајева употребе за неколико МЛОпс технологија:
- Модел регистара: То је оно што изгледа. Већи тимови чувају и одржавају праћење модела верзија у регистрима модела. Чак и повратак на претходну верзију је опција.
- Продавница функција: Када се ради о већим скуповима података, могу постојати различите верзије аналитичких скупова података и подскупова за специфичне задатке. Продавница функција је врхунски, укусан начин да се користи рад на припреми података из ранијих покретања или из других тимова.
- Продавнице за метаподатке: Од кључне је важности да се метаподаци правилно прате током производње ако се неструктурирани подаци, као што су сликовни и текстуални подаци, успешно користе.
Zakljucak
Кључно је имати на уму да у већини случајева анкетар тражи систем, док кандидат тражи решење.
Први се заснива на вашим техничким вештинама, док се други односи на метод који користите да покажете своју компетенцију.
Постоји неколико процедура које треба да предузмете када одговарате на питања МЛОпс интервјуа како бисте анкетару помогли да боље разуме како намеравате да процените и решите проблем који је у питању.
Њихова концентрација је више на погрешну реакцију него на праву. Решење прича причу, а ваш систем је најбоља илустрација вашег знања и капацитета за комуникацију.
Ostavite komentar