İçindekiler[Saklamak][Göstermek]
- 1. MLOps ile ne demek istiyorsunuz?
- 2. Veri bilimcileri, veri mühendisleri ve makine öğrenimi mühendisleri birbirinden nasıl farklıdır?
- 3. MLO'ları ModelOps ve AIOps'tan ayıran nedir?
- 4. MLOps'un bazı faydalarından bahseder misiniz?
- 5. MLOps'un bileşenlerini söyler misiniz?
- 6. Veri bilimini kullanmanın getirdiği riskler nelerdir?
- 7. Model kayması nedir açıklar mısınız?
- 8. Sizce MLO'lar kaç farklı şekilde uygulanabilir?
- 9. Statik dağıtımı dinamik dağıtımdan ayıran nedir?
- 10. Hangi üretim testi tekniklerinden haberdarsınız?
- 11. Akış işlemeyi toplu işlemeden ayıran nedir?
- 12. Eğik Servis Verme Eğitimi ile ne demek istiyorsunuz?
- 13. Model Kaydı ile ne demek istiyorsunuz?
- 14. Model Registry'nin faydalarından bahseder misiniz?
- 15. Champion-Challenger tekniğinin çalışmalarını açıklar mısınız?
- 16. MLOps yaşam döngüsünün kurumsal düzeydeki uygulamalarını tanımlayın?
- Sonuç
Şirketler, halkın bilgi ve hizmetlere erişilebilirliğini artırmak için yapay zeka (AI) ve makine öğrenimi (ML) gibi gelişen teknolojileri daha sık kullanıyor.
Bu teknolojiler, bankacılık, finans, perakende, üretim ve hatta sağlık dahil olmak üzere çeşitli sektörlerde giderek daha fazla kullanılmaktadır.
Veri bilimcileri, makine öğrenimi mühendisleri ve yapay zeka mühendisleri, giderek artan sayıda şirketten talep görmektedir.
Mümkün olanı bilmek makine öğrenme ML veya MLOps alanlarında çalışmak istiyorsanız, işe alım yöneticilerinin ve işe alım görevlilerinin size yöneltebileceği operasyon görüşmesi soruları çok önemlidir.
Hayalinizdeki işi elde etmek için çalışırken bu yazıdaki MLOps mülakat sorularından bazılarına nasıl yanıt vereceğinizi öğrenebilirsiniz.
1. MLOps ile ne demek istiyorsunuz?
ML modellerini operasyonel hale getirme konusu, daha büyük AI/DS/ML arenasında gelişen bir alan olan Makine Öğrenimi Operasyonları olarak da bilinen MLOps'un odak noktasıdır.
MLOps olarak bilinen yazılım mühendisliği yaklaşımının ve kültürünün temel amacı, makine öğrenimi/veri bilimi modellerinin oluşturulmasını ve bunların ardından operasyonel hale getirilmesini (Ops) entegre etmektir.
Konvansiyonel DevOps ve MLOps belirli benzerlikleri paylaşır, ancak MLOps da geleneksel DevOps'tan büyük ölçüde farklıdır.
MLOps, verilere odaklanarak yeni bir karmaşıklık katmanı eklerken, DevOps öncelikle durum bilgisi olmayan kod ve yazılım sürümlerini operasyonel hale getirmeye odaklanır.
ML, Data ve Ops kombinasyonu, MLOps'a ortak adını veren şeydir (makine öğrenimi, veri mühendisliği ve DevOps).
2. Veri bilimcileri, veri mühendisleri ve makine öğrenimi mühendisleri birbirinden nasıl farklıdır?
Firmaya göre değişir bence. Verilerin taşınması ve dönüştürülmesinin yanı sıra depolanması için ortam, veri mühendisleri tarafından oluşturulur.
Veri bilimcileri, şu anda yürürlükte olan eğilimlere dayalı olarak gelecekteki davranışlar hakkında tahminlerde bulunmak da dahil olmak üzere, verileri analiz etmek ve sonuçlar çıkarmak için bilimsel ve istatistiksel teknikleri kullanma konusunda uzmandır.
Yazılım mühendisleri birkaç yıl önce operasyonları inceliyor ve dağıtım altyapısını yönetiyorlardı. Operasyon ekipleri ise altyapıyı kod olarak kullanırken geliştirme üzerinde çalışıyorlardı. Bu iki akış tarafından bir DevOps konumu üretildi.
MLOps ile aynı kategoride Veri Bilim Adamı ve Veri Mühendisi. Veri mühendisleri, model yaşam döngülerini desteklemek ve sürekli eğitim için ardışık düzen oluşturmak için gereken altyapı hakkında bilgi ediniyor.
Veri bilimcileri, model devreye alma ve puanlama yeteneklerini geliştirmeye çalışır.
Üretim düzeyinde bir veri hattı, ham verileri bir veri bilimi modelinin ihtiyaç duyduğu girdiye dönüştüren, modeli barındıran ve çalıştıran ve alt sistemlere puanlanmış bir veri kümesi çıkaran altyapıyı kullanan makine öğrenimi mühendisleri tarafından oluşturulur.
Hem veri mühendisleri hem de veri bilimciler makine öğrenimi mühendisleri olabilir.
3. MLO'ları ModelOps ve AIOps'tan ayıran nedir?
Uçtan uca inşa ederken makine öğrenme algoritmaları, MLOps, veri toplama, veri ön işleme, model oluşturma, üretimde model devreye alma, üretimde model izleme ve model periyodik yükseltmeyi içeren bir DevOps uygulamasıdır.
Kural Tabanlı Modeller gibi herhangi bir algoritmanın tüm uygulamasının ele alınmasında DevOps kullanımı ModelOps olarak bilinir.
Yapay Zeka Operasyonları sıfırdan AI uygulamaları oluşturmak için DevOps ilkelerinden yararlanıyor.
4. MLOps'un bazı faydalarından bahseder misiniz?
- MLOps, MDLC'deki (model geliştirme yaşam döngüsü) görevlerin/adımların tümünü veya çoğunu otomatikleştirmeye yardımcı olduğundan, veri bilimcileri ve MLOps geliştiricileri, modellerin uygun şekilde eğitildiğinden ve değerlendirildiğinden emin olmak için denemeleri hızla yeniden çalıştırabilir. Ek olarak izinler veri ve model versiyonlama.
- MLOps fikirlerini uygulamaya koymak, Veri Mühendislerinin ve Veri Bilimcilerinin, modellerin geliştirilmesini katlanarak hızlandıran, işlenmiş ve küratörlü veri kümelerine sınırsız erişime sahip olmalarını sağlar.
- Veri bilimcileri, model denetim izini önemli ölçüde geliştirecek olan modellerin ve veri kümelerinin sürümlerini oluşturma yeteneği sayesinde mevcut yineleme beklentileri karşılamıyorsa daha iyi performans gösteren modele geri dönebilecekler.
- MLOps yöntemleri büyük ölçüde DevOps'a dayandığından, aynı zamanda bir dizi CI/CD konsepti içerirler. kodun kalitesi ve güvenilirliği.
5. MLOps'un bileşenlerini söyler misiniz?
Dizayn: MLO'lar ağırlıklı olarak tasarım odaklı düşünmeyi içerir. Sorunun doğasından başlayarak, hipotezleri, mimariyi ve dağıtımı test etme
Model oluşturma: Model testi ve doğrulama, en iyi makine öğrenimi sistemlerini kurmak için veri mühendisliği ardışık düzenleri ve deneylerle birlikte bu adımın bir parçasıdır.
Operasyon: Model, operasyonların bir parçası olarak uygulanmalı ve sürekli kontrol edilmeli ve değerlendirilmelidir. CI/CD süreçleri daha sonra izlenir ve bir düzenleme aracı kullanılarak başlatılır.
6. Veri bilimini kullanmanın getirdiği riskler nelerdir?
- Modeli şirket genelinde ölçeklendirmek zordur.
- Uyarı vermeden model kapanır ve çalışmayı durdurur.
- Çoğunlukla, modellerin doğruluğu zamanla daha da kötüleşir.
- Model, daha fazla incelenemeyecek belirli bir gözleme dayalı olarak yanlış tahminlerde bulunur.
- Veri bilimcileri de modelleri korumalıdır, ancak pahalıdırlar.
- Bu riskleri azaltmak için MLO'lar kullanılabilir.
7. Model kayması nedir açıklar mısınız?
Bir modelin çıkarım aşaması performansı (gerçek dünya verilerini kullanarak) eğitim aşaması performansından düştüğünde, bu, model kayması olarak bilinir ve aynı zamanda fikir kayması olarak da bilinir (geçmiş, etiketli veriler kullanılarak).
Modelin performansı, eğitim ve servis aşamalarına kıyasla çarpıktır, bu nedenle “eğit/hizmet eğrisi” adı verilir.
Aşağıdakiler dahil çok sayıda faktör:
- Verilerin dağıtılmasının temel yolu değişti.
- Eğitim az sayıda kategoriye odaklandı, ancak yeni gerçekleşen bir çevresel değişim başka bir alan ekledi.
- NLP güçlüklerinde, gerçek dünya verileri, eğitim verilerinden orantısız olarak daha fazla sayıda jeton içerir.
- COVID-19 salgını sırasında toplanan veriler üzerinde önemli ölçüde daha kötü performans göstereceği tahmin edilen, COVID öncesi verilere dayanan bir model gibi beklenmeyen olaylar.
Model kaymasını belirlemek için her zaman model performansının sürekli olarak izlenmesi gerekir.
Model performansında kalıcı bir düşüş olduğunda, çözüm olarak neredeyse her zaman modelin yeniden eğitilmesi gerekir; düşüşün nedeni belirlenmeli ve uygun tedavi prosedürleri kullanılmalıdır.
8. Sizce MLO'lar kaç farklı şekilde uygulanabilir?
MLO'ları uygulamaya koymak için üç yöntem vardır:
MLOps seviye 0 (Manuel İşlem): Bu seviyede, veri hazırlama, analiz ve eğitim dahil tüm adımlar manuel olarak gerçekleştirilir. Her aşama, birinden diğerine geçişin yanı sıra manuel olarak gerçekleştirilmelidir.
Temel dayanak, veri bilimi ekibinizin yalnızca sık güncellenmeyen az sayıda modeli yönetmesidir.
Sonuç olarak, Sürekli Entegrasyon (CI) veya Sürekli Dağıtım (CD) yoktur ve kodun test edilmesi, tipik olarak, bir mikro hizmette konuşlandırma ile birlikte komut dosyası yürütme veya dizüstü bilgisayar yürütmeye entegre edilir. REST API.
MLOps seviye 1 (ML ardışık düzeninin otomasyonu): Makine öğrenimi sürecini otomatikleştirerek, modelin (CT) sürekli olarak eğitilmesi amaçlanır. Sürekli model tahmini hizmet sunumunu bu şekilde gerçekleştirebilirsiniz.
Tam bir eğitim işlem hattını devreye almamız, modelin aktif işlem hattı tetikleyicilerine dayalı yeni veriler kullanılarak üretimde otomatik olarak eğitilmesini sağlar.
MLOps seviye 2 (CI/CD ardışık düzeninin otomasyonu): MLOps seviyesinin bir adım üstüne çıkar. Üretimdeki ardışık düzenleri hızlı ve güvenilir bir şekilde güncellemek istiyorsanız, güçlü bir otomatikleştirilmiş CI/CD sistemi gereklidir:
- Kaynak kodu oluşturur ve CI aşaması boyunca çok sayıda test gerçekleştirirsiniz. Paketler, yürütülebilir dosyalar ve yapay nesneler, daha sonra dağıtılacak olan aşamanın çıktılarıdır.
- CI aşaması tarafından oluşturulan eserler, CD aşaması sırasında hedef ortama dağıtılır. Gözden geçirilmiş model uygulamasına sahip konuşlandırılmış bir işlem hattı, aşamanın çıktısıdır.
- İşlem hattı, deneyin yeni bir yinelemesine başlamadan önce, veri bilimcilerin yine de veri ve model analizi aşamasını manuel olarak yapması gerekir.
9. Statik dağıtımı dinamik dağıtımdan ayıran nedir?
Model, çevrimdışı olarak şu şekilde eğitilmiştir: Statik Dağıtım. Başka bir deyişle, modeli tam olarak bir kez eğitiriz ve sonra onu bir süre kullanırız. Model yerel olarak eğitildikten sonra depolanır ve gerçek zamanlı tahminler üretmek için kullanılmak üzere sunucuya gönderilir.
Model daha sonra kurulabilir uygulama yazılımı olarak dağıtılır. Örnek olarak, isteklerin toplu olarak puanlanmasına izin veren bir program.
Model, çevrimiçi olarak şu şekilde eğitilmiştir: Dinamik Dağıtım. Yani, sisteme sürekli olarak yeni veriler eklenmektedir ve model bunu hesaba katmak için sürekli olarak güncellenmektedir.
Sonuç olarak, isteğe bağlı bir sunucu kullanarak tahminler yapabilirsiniz. Daha sonra model, aşağıdaki gibi bir web çerçevesi kullanılarak kullanıcı sorgularına yanıt veren bir API uç noktası olarak sağlanarak kullanıma alınır. Şişe veya FastAPI.
10. Hangi üretim testi tekniklerinden haberdarsınız?
Parti testi: Kendi eğitim ortamından farklı bir ortamda test yaparak modeli doğrular. Doğruluk, RMSE vb. gibi tercih edilen metrikleri kullanarak, model çıkarımını doğrulamak için bir grup veri örneğinde toplu test yapılır.
Toplu test, test sunucusu, uzak sunucu veya bulut gibi çeşitli bilgi işlem platformlarında gerçekleştirilebilir. Tipik olarak model, bir nesne olarak yüklenen ve test verilerinden çıkarılan serileştirilmiş bir dosya olarak sağlanır.
A / B testi: Pazarlama kampanyalarının analiz edilmesinde ve hizmetlerin tasarımında (web siteleri, mobil uygulamalar vb.) sıklıkla kullanılır.
Şirket veya operasyonlara dayalı olarak, hangi modelin üretimde daha iyi performans göstereceğine karar vermek için A/B testinin sonuçlarını analiz etmek için istatistiksel yaklaşımlar kullanılır. Genellikle A/B testi şu şekilde yapılır:
- Canlı veya gerçek zamanlı veriler, Küme A ve Küme B olmak üzere iki kümeye bölünür veya bölümlere ayrılır.
- Set A verileri güncel olmayan modele, Set B verileri ise güncellenen modele gönderilir.
- İş kullanımına veya süreçlerine bağlı olarak, yeni modelin (model B) eski modelden (model A) daha iyi performans gösterip göstermediğini belirlemek için model performansını (örneğin doğruluk, kesinlik vb.) değerlendirmek için çeşitli istatistiksel yaklaşımlar kullanılabilir.
- Ardından istatistiksel hipotez testi yaparız: Sıfır hipotezi, yeni modelin izlenen iş göstergelerinin ortalama değeri üzerinde hiçbir etkisi olmadığını söyler. Alternatif hipoteze göre, yeni model, izleme iş göstergelerinin ortalama değerini artırmaktadır.
- Son olarak, yeni modelin belirli iş KPI'larında önemli bir gelişme sağlayıp sağlamadığını değerlendiririz.
Bir gölge veya sahne testi: Bir model, üretimde (hazırlama ortamı) kullanılmadan önce bir üretim ortamının kopyasında değerlendirilir.
Bu, modelin performansını gerçek zamanlı verilerle belirlemek ve modelin esnekliğini doğrulamak için çok önemlidir. üretim hattı ile aynı verilerin çıkarılması ve geliştirilen şubenin veya test edilecek bir modelin bir hazırlama sunucusunda teslim edilmesiyle gerçekleştirilir.
Tek dezavantajı, geliştirme dalının bir sonucu olarak hazırlama sunucusunda hiçbir iş seçimi yapılmayacak veya son kullanıcılar tarafından görülmeyecek olmasıdır.
Modelin esnekliği ve performansı, uygun metrikler kullanılarak evreleme ortamının sonuçları kullanılarak istatistiksel olarak değerlendirilecektir.
11. Akış işlemeyi toplu işlemeden ayıran nedir?
Gerçek zamanlı tahminlerimizi üretmek için kullandığımız özellikleri iki işleme yöntemi kullanarak değiştirebiliriz: toplu ve akış.
Toplu işlem Daha sonra gerçek zamanlı tahminler oluşturmak için kullanılan belirli bir nesne için zaman içinde önceki bir noktadan gelen özellikler.
- Burada çevrimdışı olarak yoğun öznitelik hesaplamaları yapabiliyor ve verileri hızlı çıkarım için hazır hale getiriyoruz.
- Ancak özellikler, geçmişte önceden belirlenmiş olduklarından beri bir çağdır. Prognozunuz son olaylara dayanıyorsa, bu büyük bir dezavantaj olabilir. (Örneğin, hileli işlemleri mümkün olan en kısa sürede tespit etmek.)
Belirli bir varlık için neredeyse gerçek zamanlı, akış özellikleriyle, çıkarım, belirli bir girdi kümesinde akış işlemede gerçekleştirilir.
- Burada modele gerçek zamanlı akış özellikleri vererek daha doğru tahminler elde edebiliyoruz.
- Ancak, akış işleme ve veri akışlarını (Kafka, Kinesis, vb.) sürdürmek için ek altyapı gereklidir. (Apache Flink, Beam, vb.)
12. Eğik Servis Verme Eğitimi ile ne demek istiyorsunuz?
Servis atma sırasındaki performans ile antrenman sırasındaki performans arasındaki fark, antrenman-servis çarpıklığı olarak bilinir. Bu çarpıklık aşağıdaki faktörler tarafından tetiklenebilir:
- Hizmet ve eğitim için ardışık düzen arasındaki verileri işleme biçiminize ilişkin bir fark.
- Eğitiminizden hizmetinize veri değişimi.
- Algoritmanız ve modeliniz arasında bir geri bildirim kanalı.
13. Model Kaydı ile ne demek istiyorsunuz?
Model Registry, model oluşturucuların üretimde kullanıma uygun modelleri yayınlayabilecekleri merkezi bir havuzdur.
Geliştiriciler, kayıt defterini kullanarak işletme içindeki tüm modellerin ömrünü yönetmek için diğer ekipler ve paydaşlarla işbirliği yapabilir. Eğitilen modeller, bir veri bilimcisi tarafından model kayıt defterine yüklenebilir.
Modeller, kayda girdikten sonra test, doğrulama ve üretime dağıtım için hazırlanır. Ek olarak, eğitilmiş modeller, herhangi bir entegre uygulama veya hizmet tarafından hızlı erişim için model kayıtlarında saklanır.
Modeli test etmek, değerlendirmek ve üretime yerleştirmek için, Yazılım geliştiricileri ve gözden geçirenler, eğitilmiş modellerin en iyi versiyonunu hızlı bir şekilde tanıyabilir ve seçebilir (değerlendirme kriterlerine göre).
14. Model Registry'nin faydalarından bahseder misiniz?
Aşağıdakiler, model kayıt defterinin model yaşam döngüsü yönetimini kolaylaştıran bazı yollarıdır:
- Dağıtımı kolaylaştırmak için, eğitimli modelleriniz için çalışma zamanı gereksinimlerini ve meta verilerini kaydedin.
- Eğitilmiş, dağıtılmış ve kullanımdan kaldırılmış modelleriniz, merkezi, aranabilir bir havuzda kaydedilmeli, izlenmeli ve versiyonlanmalıdır.
- Üretim modelinizin sürekli teslimini, eğitimini ve entegrasyonunu sağlayan otomatikleştirilmiş işlem hatları oluşturun.
- Hazırlama ortamında yeni eğitilen modelleri (veya rakip modelleri) şu anda üretimde olan modellerle (şampiyon modeller) karşılaştırın.
15. Champion-Challenger tekniğinin çalışmalarını açıklar mısınız?
Champion Challenger tekniğini kullanarak üretimde çeşitli operasyonel kararları test etmek mümkündür. Pazarlama bağlamında A/B testini muhtemelen duymuşsunuzdur.
Örneğin, bir e-posta kampanyasının açılma oranını en üst düzeye çıkarmak için iki farklı konu satırı yazabilir ve bunları hedef demografinize rastgele dağıtabilirsiniz.
Sistem, konu satırına göre bir e-postanın performansını (yani e-posta açma eylemi) günlüğe kaydeder ve hangisinin en etkili olduğunu belirlemek için her konu satırının açılma oranını karşılaştırmanıza olanak tanır.
Champion-Challenger bu açıdan A/B testiyle karşılaştırılabilir. Her bir sonucu değerlendirmek için karar mantığını kullanabilir ve bir seçime varmak için çeşitli yöntemlerle deneyler yaparken en etkili olanı seçebilirsiniz.
En başarılı model şampiyonla ilişkilidir. İlk yarışmacı ve eşleşen yarışmacılar listesi, artık ilk uygulama aşamasında şampiyon yerine mevcut olan tek şey.
Şampiyon, daha sonraki iş adımı yürütmeleri için sistem tarafından seçilir.
Meydan okuyanlar birbirleriyle tezat oluşturuyor. Yeni şampiyon daha sonra en büyük sonuçları üreten yarışmacı tarafından belirlenir.
Şampiyon-zorlayıcı karşılaştırma sürecinde yer alan görevler aşağıda daha ayrıntılı olarak listelenmiştir:
- Rakip modellerin her birinin değerlendirilmesi.
- Nihai puanların değerlendirilmesi.
- Muzaffer yarışmacıyı belirlemek için değerlendirme sonuçlarını karşılaştırmak.
- Yeni şampiyonu arşive ekleme
16. MLOps yaşam döngüsünün kurumsal düzeydeki uygulamalarını tanımlayın?
Makine öğrenimi modellerinin üretime girebilmesi için makine öğrenimini yalnızca yinelemeli bir deney olarak düşünmeyi bırakmamız gerekiyor. MLOps, yazılım mühendisliğinin makine öğrenimi ile birleşimidir.
Bitmiş sonuç böyle hayal edilmelidir. Bu nedenle, teknolojik bir ürünün kodunun test edilmiş, işlevsel ve modüler olması gerekir.
MLOps, modelin üretime kadar süreçte tutulması dışında, geleneksel makine öğrenimi akışıyla karşılaştırılabilir bir ömre sahiptir.
MLOps Mühendisleri daha sonra üretimdeki model kalitesinin amaçlanan şey olduğundan emin olmak için buna dikkat eder.
Aşağıda, MLOps teknolojilerinin birkaçı için bazı kullanım durumları verilmiştir:
- Model Kayıtları: Göründüğü gibi. Daha büyük ekipler, model kayıtlarında sürüm modellerinin kaydını depolar ve sürdürür. Bir önceki sürüme geri dönmek bile bir seçenektir.
- Özellik Deposu: Daha büyük veri kümeleriyle uğraşırken, belirli görevler için analitik veri kümelerinin ve alt kümelerinin farklı sürümleri olabilir. Özellik deposu, daha önceki çalışmalardan veya diğer ekiplerden alınan veri hazırlama çalışmalarını kullanmanın son teknoloji ve zevkli bir yoludur.
- Meta Veri Depoları: Resim ve metin verileri gibi yapılandırılmamış veriler başarılı bir şekilde kullanılacaksa, üretim boyunca meta verilerin doğru şekilde izlenmesi çok önemlidir.
Sonuç
Çoğu durumda, görüşmeci bir sistem ararken adayın bir çözüm aradığını akılda tutmak çok önemlidir.
Birincisi teknik becerilerinize dayanır, ikincisi ise tamamen yetkinliğinizi göstermek için kullandığınız yöntemle ilgilidir.
MLOps görüşme sorularına yanıt verirken, görüşmecinin eldeki sorunu nasıl değerlendirmeyi ve ele almayı düşündüğünüzü daha iyi anlamasına yardımcı olmak için uygulamanız gereken birkaç prosedür vardır.
Konsantrasyonları doğru olandan çok yanlış tepki üzerindedir. Bir çözüm bir hikaye anlatır ve sisteminiz bilginizin ve iletişim kapasitenizin en iyi örneğidir.
Yorum bırak