فهرست مندرجات[پنهان شدن][نمایش]
- 1. منظور شما از MLO ها چیست؟
- 2. دانشمندان داده، مهندسان داده و مهندسان ML چگونه از یکدیگر متفاوت هستند؟
- 3. چه چیزی MLOps را از ModelOps و AIOps متمایز می کند؟
- 4. آیا می توانید برخی از مزایای MLOps را به من بگویید؟
- 5. می توانید اجزای MLO را به من بگویید؟
- 6. استفاده از علم داده با چه خطراتی همراه است؟
- 7. میشه توضیح بدید مدل دریفت چیه؟
- 8. به نظر شما چند روش MLO می تواند اعمال شود؟
- 9. چه چیزی استقرار استاتیک را از استقرار پویا جدا می کند؟
- 10. از چه تکنیک های تست تولید آگاهی دارید؟
- 11. چه چیزی پردازش جریانی را از پردازش دسته ای متمایز می کند؟
- 12. منظور شما از آموزش سرویس کج چیست؟
- 13. منظور از رجیستری مدل چیست؟
- 14. آیا می توانید در مورد مزایای مدل Registry توضیح دهید؟
- 15. میشه در مورد کارهای تکنیک Champion-Challenger توضیح بدید؟
- 16. برنامه های کاربردی در سطح سازمانی چرخه حیات MLOps را توضیح دهید؟
- نتیجه
شرکتها بیشتر از فناوریهای نوظهور مانند هوش مصنوعی (AI) و یادگیری ماشینی (ML) برای افزایش دسترسی عموم به اطلاعات و خدمات استفاده میکنند.
این فناوری ها به طور فزاینده ای در بخش های مختلف از جمله بانکداری، مالی، خرده فروشی، تولید و حتی مراقبت های بهداشتی مورد استفاده قرار می گیرند.
دانشمندان داده، مهندسان یادگیری ماشین و مهندسان هوش مصنوعی مورد تقاضای تعداد فزاینده ای از شرکت ها هستند.
دانستن ممکن فراگیری ماشین اگر میخواهید در زمینههای ML یا MLOps کار کنید، سؤالات مصاحبه عملیاتی که مدیران استخدام و استخدامکنندگان میتوانند برای شما مطرح کنند ضروری است.
شما می توانید در این پست یاد بگیرید که چگونه به برخی از سوالات مصاحبه MLOps پاسخ دهید، همانطور که برای به دست آوردن شغل رویایی خود تلاش می کنید.
1. منظور شما از MLO ها چیست؟
موضوع عملیاتی کردن مدلهای ML، تمرکز MLOps است که به عنوان عملیات یادگیری ماشین نیز شناخته میشود، یک زمینه در حال توسعه در عرصه اصلی AI/DS/ML.
هدف اصلی رویکرد مهندسی نرم افزار و فرهنگ معروف به MLOps، ادغام ایجاد مدل های یادگیری ماشین/علم داده و عملیاتی سازی بعدی آنها (Ops) است.
DevOps های معمولی و MLO شباهت های خاصی دارند، با این حال، MLO ها نیز تفاوت های زیادی با DevOps های سنتی دارند.
MLOps با تمرکز بر داده ها، لایه جدیدی از پیچیدگی را اضافه می کند، در حالی که DevOps در درجه اول بر عملیاتی کردن کدها و نسخه های نرم افزاری متمرکز است که نمی توانند حالتی باشند.
ترکیب ML، Data و Ops چیزی است که به MLOs نام رایج آن (یادگیری ماشین، مهندسی داده و DevOps) داده است.
2. دانشمندان داده، مهندسان داده و مهندسان ML چگونه از یکدیگر متفاوت هستند؟
به نظر من بسته به شرکت متفاوت است. محیط انتقال و تبدیل داده ها و همچنین ذخیره سازی آن توسط مهندسان داده ایجاد می شود.
دانشمندان داده در استفاده از تکنیکهای علمی و آماری برای تجزیه و تحلیل دادهها و نتیجهگیری، از جمله پیشبینی رفتار آینده بر اساس روندهایی که اکنون وجود دارد، متخصص هستند.
مهندسان نرم افزار چند سال پیش مشغول مطالعه عملیات و مدیریت زیرساخت های استقرار بودند. از سوی دیگر، تیمهای عملیاتی در حالی که از زیرساخت به عنوان کد استفاده میکردند، توسعه را مطالعه میکردند. یک موقعیت DevOps توسط این دو جریان تولید شد.
MLOps در همان دسته است دانشمند داده ها و مهندس داده مهندسان داده در حال کسب دانش در مورد زیرساخت مورد نیاز برای پشتیبانی از چرخه عمر مدل و ایجاد خطوط لوله برای آموزش مداوم هستند.
دانشمندان داده به دنبال توسعه استقرار مدل و قابلیت های امتیازدهی خود هستند.
یک خط لوله داده درجه تولید توسط مهندسان ML با استفاده از زیرساختی ساخته می شود که داده های خام را به ورودی مورد نیاز یک مدل علم داده تبدیل می کند، مدل را میزبانی می کند و اجرا می کند و یک مجموعه داده نمره گذاری شده را به سیستم های پایین دستی خروجی می دهد.
هم مهندسان داده و هم دانشمندان داده می توانند مهندس ML شوند.
3. چه چیزی MLOps را از ModelOps و AIOps متمایز می کند؟
هنگام ساخت انتها به انتها الگوریتم های یادگیری ماشین، MLOps یک برنامه DevOps است که شامل جمع آوری داده ها، پیش پردازش داده ها، ایجاد مدل، استقرار مدل در تولید، نظارت بر مدل در تولید و ارتقای دوره ای مدل است.
استفاده از DevOps در مدیریت کل اجرای هر الگوریتم، مانند مدلهای مبتنی بر قانون، به عنوان ModelOps شناخته میشود.
AIOps از اصول DevOps برای ایجاد برنامه های هوش مصنوعی از ابتدا استفاده می کند.
4. آیا می توانید برخی از مزایای MLOps را به من بگویید؟
- دانشمندان داده و توسعهدهندگان MLOps میتوانند به سرعت آزمایشها را مجدداً اجرا کنند تا مطمئن شوند که مدلها به طور مناسب آموزش داده شده و ارزیابی میشوند، زیرا MLOps به خودکارسازی تمام یا بیشتر وظایف/گامها در MDLC (چرخه عمر توسعه مدل) کمک میکند. علاوه بر این اجازه می دهد داده ها و نسخه سازی مدل.
- عملی کردن ایدههای MLOps، مهندسان داده و دانشمندان داده را قادر میسازد تا دسترسی نامحدودی به مجموعه دادههای پرورشیافته و مدیریتشده داشته باشند، که بهطور تصاعدی توسعه مدلها را تسریع میکند.
- دانشمندان داده میتوانند مدلی را که عملکرد بهتری داشته است، در صورتی که تکرار فعلی به لطف توانایی نسخهسازی مدلها و مجموعهدادهها برآورده نکند، مدلی که عملکرد بهتری داشته است، بازگردند، که به طور قابل توجهی مسیر حسابرسی مدل را بهبود میبخشد.
- از آنجایی که روش های MLOps به شدت به DevOps متکی هستند، آنها همچنین تعدادی از مفاهیم CI/CD را در خود جای داده اند که باعث افزایش کیفیت و قابلیت اطمینان کد.
5. می توانید اجزای MLO را به من بگویید؟
طرح: MLO ها به شدت شامل تفکر طراحی هستند. شروع با ماهیت موضوع، آزمایش فرضیه ها، معماری و استقرار
ساختمان مدل: آزمایش و اعتبارسنجی مدل بخشی از این مرحله به همراه خطوط لوله مهندسی داده و آزمایش برای راه اندازی بهترین سیستم های یادگیری ماشین است.
عملیات: مدل باید به عنوان بخشی از عملیات پیاده سازی شود و به طور مستمر بررسی و ارزیابی شود. سپس فرآیندهای CI/CD نظارت می شوند و با استفاده از ابزار ارکستراسیون شروع می شوند.
6. استفاده از علم داده با چه خطراتی همراه است؟
- مقیاس بندی مدل در سراسر شرکت دشوار است.
- بدون هشدار، مدل خاموش می شود و کار نمی کند.
- بیشتر دقت مدل ها با گذشت زمان بدتر می شود.
- این مدل بر اساس یک مشاهدات خاص پیشبینیهای نادرستی انجام میدهد که نمیتوان بیشتر مورد بررسی قرار داد.
- دانشمندان داده نیز باید مدل ها را حفظ کنند، اما آنها گران هستند.
- برای کاهش این خطرات می توان از MLO ها استفاده کرد.
7. میشه توضیح بدید مدل دریفت چیه؟
هنگامی که عملکرد فاز استنتاج یک مدل (با استفاده از دادههای دنیای واقعی) نسبت به عملکرد مرحله آموزشی آن بدتر میشود، این به عنوان رانش مدل شناخته میشود، همچنین به عنوان رانش ایده (با استفاده از دادههای تاریخی و برچسبگذاری شده) شناخته میشود.
عملکرد این مدل در مقایسه با مراحل آموزش و سرویس دهی ناهنجار است، از این رو به آن "تعلیق قطار/خدمت" میگویند.
عوامل متعددی از جمله:
- روش اساسی توزیع داده ها تغییر کرده است.
- این آموزش بر تعداد کمی از مقوله ها متمرکز بود، با این حال، یک تغییر محیطی که به تازگی انجام شد، حوزه دیگری را اضافه کرد.
- در مشکلات NLP، داده های دنیای واقعی دارای مقدار نامتناسبی تعداد نشانه های بیشتری نسبت به داده های آموزشی هستند.
- رخدادهای غیرمنتظره، مانند مدلی که بر اساس دادههای پیش از کووید-۱۹ ساخته شده است، پیشبینی میشود که عملکرد بسیار بدتری روی دادههای جمعآوریشده در طول همهگیری کووید-۱۹ داشته باشد.
برای شناسایی انحراف مدل، نظارت مداوم بر عملکرد مدل همیشه مورد نیاز است.
هنگامی که کاهش مداوم در عملکرد مدل وجود دارد، تقریباً همیشه به آموزش مجدد مدل به عنوان یک راه حل نیاز است. دلیل کاهش باید شناسایی شود و از روش های درمانی مناسب استفاده شود.
8. به نظر شما چند روش MLO می تواند اعمال شود؟
سه روش برای عملی کردن MLO ها وجود دارد:
MLOps سطح 0 (فرآیند دستی): در این سطح تمامی مراحل - از جمله آماده سازی داده ها، تجزیه و تحلیل و آموزش - به صورت دستی انجام می شود. هر مرحله باید به صورت دستی و همچنین انتقال از یکی به مرحله بعدی انجام شود.
فرض اساسی این است که تیم علم داده شما فقط تعداد کمی از مدل ها را مدیریت می کند که اغلب به روز نمی شوند.
در نتیجه، یکپارچگی مداوم (CI) یا استقرار مداوم (CD) وجود ندارد، و آزمایش کد معمولاً در اجرای اسکریپت یا اجرای نوت بوک ادغام می شود، با استقرار در یک میکروسرویس با REST API.
MLOps سطح 1 (اتوماسیون خط لوله ML): با خودکارسازی فرآیند ML، هدف آموزش مداوم مدل (CT) است. شما می توانید از این طریق ارائه خدمات پیش بینی مدل مستمر را انجام دهید.
استقرار یک خط لوله آموزشی کامل ما تضمین می کند که مدل به طور خودکار در تولید با استفاده از داده های جدید بر اساس محرک های خط لوله فعال آموزش داده می شود.
MLOps سطح 2 (اتوماسیون خط لوله CI/CD): یک پله بالاتر از سطح MLOps می رود. اگر میخواهید خطوط لوله تولید را سریع و قابل اعتماد بهروزرسانی کنید، به یک سیستم CI/CD خودکار قوی نیاز است:
- شما کد منبع ایجاد می کنید و تست های متعددی را در مرحله CI اجرا می کنید. بستهها، فایلهای اجرایی و مصنوعات خروجیهای مرحله هستند که بعداً اجرا خواهند شد.
- مصنوعات ایجاد شده توسط مرحله CI در مرحله CD به محیط هدف مستقر می شوند. یک خط لوله مستقر با اجرای مدل تجدید نظر شده خروجی مرحله است.
- قبل از اینکه خط لوله آزمایش جدیدی را آغاز کند، دانشمندان داده هنوز باید مرحله تحلیل داده ها و مدل را به صورت دستی انجام دهند.
9. چه چیزی استقرار استاتیک را از استقرار پویا جدا می کند؟
این مدل به صورت آفلاین آموزش داده شده است استقرار استاتیک. به عبارت دیگر، مدل را دقیقاً یک بار آموزش می دهیم و سپس برای مدتی از آن استفاده می کنیم. پس از اینکه مدل به صورت محلی آموزش داده شد، ذخیره شده و به سرور ارسال می شود تا برای تولید پیش بینی های بلادرنگ استفاده شود.
سپس مدل به عنوان نرم افزار کاربردی قابل نصب توزیع می شود. برنامه ای که به عنوان مثال امکان امتیاز دهی دسته ای درخواست ها را فراهم می کند.
این مدل به صورت آنلاین آموزش داده شده است استقرار دینامیک. یعنی داده های جدید دائماً به سیستم اضافه می شود و مدل به طور مداوم به روز می شود تا آن را در نظر بگیرد.
در نتیجه، میتوانید با استفاده از یک سرور در صورت تقاضا، پیشبینی کنید. پس از آن، مدل با ارائه به عنوان یک نقطه پایانی API که به درخواستهای کاربر واکنش نشان میدهد، با استفاده از یک چارچوب وب مانند فلاسک یا FastAPI.
10. از چه تکنیک های تست تولید آگاهی دارید؟
تست دسته ای: با انجام تست در محیطی متفاوت از محیط آموزشی خود، مدل را تایید می کند. با استفاده از معیارهای انتخابی، مانند دقت، RMSE و غیره، آزمایش دستهای بر روی گروهی از نمونههای داده برای تأیید استنتاج مدل انجام میشود.
آزمایش دسته ای را می توان بر روی انواع پلتفرم های محاسباتی مانند سرور آزمایشی، سرور راه دور یا ابر انجام داد. به طور معمول، مدل به صورت یک فایل سریالی ارائه می شود که به عنوان یک شی بارگذاری می شود و از داده های آزمایشی استنباط می شود.
تست / B: اغلب برای تجزیه و تحلیل کمپین های بازاریابی و همچنین برای طراحی خدمات (وب سایت ها، برنامه های کاربردی تلفن همراه و غیره) استفاده می شود.
بر اساس شرکت یا عملیات، از رویکردهای آماری برای تجزیه و تحلیل نتایج تست A/B استفاده می شود تا تصمیم گیری شود که کدام مدل در تولید بهتر عمل می کند. معمولاً تست A/B به روش زیر انجام می شود:
- دادههای زنده یا بیدرنگ به دو مجموعه A و B تقسیم یا تقسیم میشوند.
- داده های مجموعه A به مدل قدیمی ارسال می شود، در حالی که داده های مجموعه B به مدل به روز شده ارسال می شود.
- بسته به مورد یا فرآیندهای استفاده تجاری، چندین رویکرد آماری را می توان برای ارزیابی عملکرد مدل استفاده کرد (به عنوان مثال، دقت، دقت، و غیره) تا مشخص شود که آیا مدل جدید (مدل B) از مدل قدیمی (مدل A) بهتر است یا خیر.
- سپس آزمون فرضیه های آماری را انجام می دهیم: فرضیه صفر می گوید که مدل جدید هیچ تأثیری بر میانگین ارزش شاخص های تجاری تحت نظارت ندارد. با توجه به فرضیه جایگزین، مدل جدید مقدار متوسط شاخص های تجاری نظارت را افزایش می دهد.
- در نهایت، ارزیابی می کنیم که آیا مدل جدید منجر به بهبود قابل توجهی در KPIهای کسب و کار خاص می شود یا خیر.
آزمون سایه یا مرحله: یک مدل قبل از استفاده در تولید (محیط مرحله بندی) در یک محیط تولید تکراری ارزیابی می شود.
این برای تعیین عملکرد مدل با داده های بلادرنگ و اعتبارسنجی انعطاف پذیری مدل بسیار مهم است. با استنباط دادههای مشابه خط لوله تولید و تحویل شاخه توسعهیافته یا مدلی برای آزمایش روی یک سرور مرحلهای انجام میشود.
تنها اشکال این است که هیچ انتخاب تجاری در سرور مرحلهبندی انجام نمیشود یا در نتیجه شاخه توسعه برای کاربران نهایی قابل مشاهده نخواهد بود.
انعطافپذیری و عملکرد مدل با استفاده از نتایج محیط مرحلهبندی با استفاده از معیارهای مناسب به صورت آماری ارزیابی میشود.
11. چه چیزی پردازش جریانی را از پردازش دسته ای متمایز می کند؟
ما میتوانیم ویژگیهایی را که برای تولید پیشبینیهای بلادرنگ خود استفاده میکنیم با استفاده از دو روش پردازش دستکاری کنیم: دستهای و جریانی.
فرآیند دسته ای ویژگی های یک نقطه قبلی در زمان برای یک شی خاص، که سپس برای تولید پیش بینی های زمان واقعی استفاده می شود.
- در اینجا، ما میتوانیم محاسبات فشرده ویژگیها را به صورت آفلاین انجام دهیم و دادهها را برای استنتاج سریع آماده کنیم.
- با این حال، ویژگی ها، سنی است که در گذشته از پیش تعیین شده بودند. اگر پیش آگهی شما بر اساس اتفاقات اخیر باشد، این ممکن است یک اشکال بزرگ باشد. (به عنوان مثال، شناسایی تراکنش های تقلبی در اسرع وقت.)
با ویژگیهای جریانی تقریباً بیدرنگ برای یک موجودیت خاص، استنتاج در پردازش جریان بر روی مجموعهای از ورودیها انجام میشود.
- در اینجا، با دادن ویژگیهای پخش بلادرنگ به مدل، میتوانیم پیشبینیهای دقیقتری دریافت کنیم.
- با این حال، زیرساخت های اضافی برای پردازش جریان و حفظ جریان داده ها (کافکا، کینزیس و غیره) مورد نیاز است. (Apache Flink، Beam و غیره)
12. منظور شما از آموزش سرویس کج چیست؟
تفاوت بین عملکرد در هنگام سرویس و عملکرد در طول تمرین به عنوان چولگی آموزش-سرویس شناخته می شود. این انحراف می تواند توسط عوامل زیر ایجاد شود:
- تفاوت در نحوه مدیریت داده ها بین خطوط لوله برای خدمت و آموزش.
- تغییر در داده ها از آموزش شما به خدمات شما.
- یک کانال بازخورد بین الگوریتم و مدل شما.
13. منظور از رجیستری مدل چیست؟
Model Registry یک مخزن مرکزی است که در آن سازندگان مدل می توانند مدل هایی را منتشر کنند که برای استفاده در تولید مناسب هستند.
توسعهدهندگان میتوانند با سایر تیمها و سهامداران برای مدیریت طول عمر همه مدلهای داخل کسبوکار با استفاده از رجیستری همکاری کنند. مدل های آموزش دیده را می توان توسط دانشمند داده در رجیستری مدل بارگذاری کرد.
این مدلها پس از ثبت نام برای آزمایش، اعتبارسنجی و استقرار برای تولید آماده میشوند. علاوه بر این، مدل های آموزش دیده در رجیستری مدل برای دسترسی سریع توسط هر برنامه یا سرویس یکپارچه ذخیره می شوند.
به منظور آزمایش، ارزیابی و استقرار مدل در تولید، توسعه دهندگان نرم افزار و داوران می توانند به سرعت بهترین نسخه از مدل های آموزش دیده را شناسایی و انتخاب کنند (بر اساس معیارهای ارزیابی).
14. آیا می توانید در مورد مزایای مدل Registry توضیح دهید؟
در زیر چند راه وجود دارد که رجیستری مدل مدیریت چرخه عمر مدل را ساده می کند:
- برای آسانتر کردن استقرار، نیازمندیهای زمان اجرا و ابردادهها را برای مدلهای آموزشدیده خود ذخیره کنید.
- مدل های آموزش دیده، مستقر و بازنشسته شما باید در یک مخزن متمرکز و قابل جستجو ثبت، ردیابی و نسخه شوند.
- خطوط لوله خودکار ایجاد کنید که تحویل مداوم، آموزش و ادغام مدل تولید شما را امکان پذیر می کند.
- مدل های تازه آموزش دیده (یا مدل های چالشگر) در محیط صحنه سازی را با مدل هایی که در حال حاضر در حال تولید هستند (مدل های قهرمان) مقایسه کنید.
15. میشه در مورد کارهای تکنیک Champion-Challenger توضیح بدید؟
آزمایش تصمیمات عملیاتی مختلف در تولید با استفاده از تکنیک Champion Challenger امکان پذیر است. احتمالاً در مورد تست A/B در زمینه بازاریابی شنیده اید.
به عنوان مثال، ممکن است دو خط موضوع مجزا بنویسید و آنها را به صورت تصادفی در جمعیت هدف خود توزیع کنید تا نرخ باز شدن یک کمپین ایمیل را به حداکثر برسانید.
سیستم عملکرد یک ایمیل (یعنی اقدام باز کردن ایمیل) را در رابطه با موضوع آن ثبت می کند و به شما این امکان را می دهد که نرخ باز بودن هر خط موضوع را مقایسه کنید تا تعیین کنید کدام یک مؤثرتر است.
Champion-Challenger از این نظر با تست A/B قابل مقایسه است. میتوانید از منطق تصمیمگیری برای ارزیابی هر نتیجه استفاده کنید و در حین آزمایش با روشهای مختلف برای رسیدن به یک انتخاب، مؤثرترین را انتخاب کنید.
موفق ترین مدل با قهرمان مرتبط است. اولین رقیب و لیست تطبیق رقیب اکنون همه آن چیزی است که در مرحله اول اعدام به جای قهرمان وجود دارد.
قهرمان توسط سیستم برای اجرای مراحل بعدی شغلی انتخاب می شود.
رقبا در مقابل یکدیگر قرار می گیرند. سپس قهرمان جدید توسط رقیبی که بیشترین نتایج را ایجاد می کند تعیین می شود.
وظایف درگیر در فرآیند مقایسه قهرمان و رقیب در زیر با جزئیات بیشتر ذکر شده است:
- ارزیابی هر یک از مدل های رقیب.
- ارزیابی نمرات نهایی
- مقایسه نتایج ارزیابی برای تعیین رقیب پیروز.
- اضافه شدن قهرمان تازه به آرشیو
16. برنامه های کاربردی در سطح سازمانی چرخه حیات MLOps را توضیح دهید؟
برای اینکه مدلهای یادگیری ماشین وارد تولید شوند، باید یادگیری ماشین را تنها به عنوان یک آزمایش تکراری در نظر نگیریم. MLOps اتحادیه مهندسی نرم افزار با یادگیری ماشین است.
نتیجه نهایی را باید چنین تصور کرد. بنابراین، کد یک محصول تکنولوژیکی باید آزمایش، کاربردی و مدولار باشد.
MLOps طول عمری دارد که با یک جریان یادگیری ماشین معمولی قابل مقایسه است، با این استثنا که مدل تا زمان تولید در فرآیند نگه داشته می شود.
سپس مهندسان MLOps به این موضوع توجه می کنند تا مطمئن شوند که کیفیت مدل در تولید همان چیزی است که در نظر گرفته شده است.
در اینجا چند مورد استفاده برای چندین فناوری MLOps آورده شده است:
- رجیستری های مدل: همان چیزی است که به نظر می رسد. تیم های بزرگتر مدل های نسخه را در رجیستری های مدل ذخیره و پیگیری می کنند. حتی بازگشت به نسخه قبلی یک گزینه است.
- فروشگاه ویژگی: وقتی با مجموعه دادههای بزرگتر سروکار داریم، میتوان نسخههای متمایز از مجموعه دادههای تحلیلی و زیرمجموعهها برای کارهای خاص وجود داشته باشد. فروشگاه ویژگی روشی پیشرفته و خوش ذوق برای استفاده از کار آماده سازی داده ها از دوره های قبلی یا تیم های دیگر است.
- ذخیرهسازی ابردادهها: اگر قرار است از دادههای بدون ساختار، مانند دادههای تصویر و متن، با موفقیت استفاده شود، نظارت صحیح بر ابرداده در طول تولید بسیار مهم است.
نتیجه
مهم است که در نظر داشته باشید که در اکثر موارد، مصاحبه کننده به دنبال یک سیستم است، در حالی که نامزد به دنبال راه حل است.
اولی بر اساس مهارت های فنی شما است، در حالی که دومی تماماً در مورد روشی است که برای نشان دادن شایستگی خود استفاده می کنید.
چندین روش وجود دارد که باید هنگام پاسخ دادن به سؤالات مصاحبه MLOps انجام دهید تا به مصاحبه کننده کمک کنید تا درک بهتری از نحوه ارزیابی و رسیدگی به مشکل دارید.
تمرکز آنها بیشتر روی واکنش نادرست است تا واکنش درست. یک راه حل داستانی را بیان می کند و سیستم شما بهترین تصویر از دانش و ظرفیت شما برای ارتباط است.
پاسخ دهید