යන්ත්ර ඉගෙනීමේ සංවර්ධනය උත්සාහ කළ සෑම කෙනෙකුටම එය කොතරම් දුෂ්කර දැයි වැටහේ. මෘදුකාංග සංවර්ධනයේ සම්මත ගැටළු හැරුණු විට, යන්ත්ර ඉගෙනුම් (ML) සංවර්ධනය අමතර බාධක රාශියක් හඳුන්වා දෙයි.
ML ජීවන චක්රයේ සෑම අදියරකටම උපකාර කිරීමට විවෘත මූලාශ්ර මෙවලම් සිය ගණනක් ඇත, දත්ත සැකසීමේ සිට ආකෘති පුහුණුව හරහා.
සාම්ප්රදායික මෘදුකාංග සංවර්ධනය මෙන් නොව, කණ්ඩායම් විසින් එක් එක් පියවර සඳහා එක් මෙවලමක් තෝරා ගන්නා විට, ML සමඟින් ඔබට සාමාන්යයෙන් පවතින සෑම මෙවලමක්ම (උදා: ඇල්ගොරිතම) ගවේෂණය කිරීමට අවශ්ය වේ.
එහි ප්රතිඵලයක් වශයෙන්, ML සංවර්ධකයින් පුස්තකාල සිය ගණනක් භාවිතා කර නිෂ්පාදනය කළ යුතුය.
යන්ත්ර ඉගෙනීමේ ඇල්ගොරිතමවල අභිරුචිකරණය කළ හැකි පරාමිති දහස් ගණනක් අඩංගු වන අතර, ඔබ තනිව හෝ කණ්ඩායමක් ලෙස ක්රියා කළත්, ආකෘතියක් උත්පාදනය කිරීම සඳහා එක් එක් අත්හදා බැලීම්වලට ගියේ කුමන පරාමිති, කේතය සහ දත්තද යන්න හඳුනා ගැනීම අපහසුය.
නිසි අධීක්ෂණයකින් තොරව, කණ්ඩායම් බොහෝ විට එකම කේතය නැවත ක්රියාත්මක කිරීමට අරගල කරයි. ඔබ නිෂ්පාදන භාවිතය සඳහා ඔබේ පුහුණු කේතය ඉංජිනේරුවෙකු වෙත මාරු කරන දත්ත විද්යාඥයෙකු වුවද, හෝ ගැටලුවක් හඳුනා ගැනීමට ඔබ ඔබේ පෙර කාර්යයට ආපසු යන්නේද, ML කාර්ය ප්රවාහයේ පියවර පසුබැසීම ඉතා වැදගත් වේ.
භාවිතා කළ යුතු නොයෙකුත් යෙදවුම් ක්රම සහ පරිසරයන් හේතුවෙන් ආකෘතියක් නිෂ්පාදනයට ගෙන යාම දුෂ්කර විය හැකිය (උදා, REST සේවා, කණ්ඩායම් අනුමානය, හෝ ජංගම යෙදුම්). මෙම මෙවලම් කිසිවක් වෙත කිසිදු පුස්තකාලයකින් ආකෘති ගෙනයාම සඳහා පොදු ක්රමයක් නොමැති අතර, ඒ අනුව එක් එක් නව යෙදවීම අවදානමක් හඳුන්වා දෙයි.
මෙම ගැටළු නිසා, සාම්ප්රදායික මෘදුකාංග සංවර්ධනය ලෙස ස්ථායී, පුරෝකථනය කළ හැකි සහ බහුලව භාවිතා වන බවට පත්වීමට ML සංවර්ධනය සැලකිය යුතු ලෙස වැඩිදියුණු විය යුතු බව පැහැදිලිය.
ML අභියෝග
- එකිනෙකට වෙනස් මෙවලම් රාශියක් ඇත. දත්ත සැකසීමේ සිට ආදර්ශ පුහුණුව දක්වා යන්ත්ර ඉගෙනීමේ ජීවන චක්රයේ සෑම අදියරකටම උපකාර කිරීමට සිය ගණනක් මෘදුකාංග විසඳුම් තිබේ. තවද, සම්ප්රදායික මෘදුකාංග සංවර්ධනය මෙන් නොව, යන්ත්ර ඉගෙනීමේදී (ML) කණ්ඩායම් විසින් එක් එක් පියවර සඳහා එක් මෙවලමක් තෝරා ගන්නා විට, ඔබට එය ප්රතිඵල වැඩි දියුණු කරයිද යන්න බැලීමට පවතින සෑම මෙවලමක්ම (උදා: ඇල්ගොරිතම) ගවේෂණය කිරීමට අවශ්ය වේ. එහි ප්රතිඵලයක් වශයෙන්, ML සංවර්ධකයින් පුස්තකාල සිය ගණනක් භාවිතා කර නිෂ්පාදනය කළ යුතුය.
- අත්හදා බැලීම් නිරීක්ෂණය කිරීම දුෂ්කර ය. යන්ත්ර ඉගෙනීමේ ඇල්ගොරිතමවල අභිරුචිකරණය කළ හැකි පරාමිති දහස් ගණනක් අඩංගු වන අතර, ඔබ තනිව හෝ කණ්ඩායමක් ලෙස ක්රියා කළත්, ආකෘතියක් උත්පාදනය කිරීම සඳහා එක් එක් අත්හදා බැලීම්වලට ගියේ කුමන පරාමිති, කේතය සහ දත්තද යන්න හඳුනා ගැනීම අපහසුය.
- යන්ත්ර ඉගෙනීම ක්රියාවට නැංවීම අපහසුය. භාවිතා කළ යුතු නොයෙකුත් යෙදවුම් ක්රම සහ පරිසරයන් හේතුවෙන් ආකෘතියක් නිෂ්පාදනයට ගෙන යාම දුෂ්කර විය හැකිය (උදා, REST සේවා, කණ්ඩායම් අනුමානය, හෝ ජංගම යෙදුම්). ඕනෑම පුස්තකාලයකින් මෙම මෙවලම් කිසිවක් වෙත ආකෘති ගෙනයාම සඳහා පොදු ක්රමයක් නොමැත. මේ අනුව, සෑම නව යෙදවීමක්ම අවදානමක් හඳුන්වා දෙයි.
මොකක්ද ML ප්රවාහය?
MLflow යනු යන්ත්ර ඉගෙනීමේ ජීවන චක්රය සඳහා විවෘත මූලාශ්ර වේදිකාවකි. එය විවෘත අතුරුමුහුණත් සංකල්පයක් මත පදනම් වී ඇති අතර, වත්මන් යටිතල පහසුකම් සහ යන්ත්ර ඉගෙනුම් ඇල්ගොරිතම පද්ධතිය සමඟ පහසුවෙන් ඒකාබද්ධ කිරීමට ඉඩ සලසන බොහෝ අත්යවශ්ය වියුක්ත කිරීම් යෝජනා කරයි.
මෙයින් ඇඟවෙන්නේ ඔබ MLflow භාවිතා කිරීමට අවශ්ය නමුත් සහය නොදක්වන රාමුවක් භාවිතා කරන සංවර්ධකයෙකු නම්, විවෘත අතුරුමුහුණත් සැලසුම එම රාමුව ඒකාබද්ධ කර වේදිකාව සමඟ වැඩ කිරීම සාපේක්ෂව සරල කරයි. ප්රායෝගිකව, මෙයින් ඇඟවෙන්නේ MLflow ඕනෑම දෙයක් සමඟ ක්රියා කිරීමට අදහස් කරන බවයි යන්ත්ර ඉගෙනීම පුස්තකාලය හෝ භාෂාව.
තවද, MLflow පුනරාවර්තනය ප්රවර්ධනය කරයි, එයින් අදහස් කරන්නේ එකම පුහුණු හෝ නිෂ්පාදන යන්ත්ර ඉගෙනුම් කේතය වලාකුළෙහි, ප්රාදේශීය වැඩපොළක හෝ සටහන් පොතක වේවා පරිසරයෙන් ස්වාධීනව එකම ප්රතිඵල සමඟ ක්රියාත්මක වීමට අදහස් කරන බවයි.
අවසාන වශයෙන්, MLflow විශාලනය සඳහා ගොඩනගා ඇත, එබැවින් එය කුඩා දත්ත විද්යාඥයින් කණ්ඩායමකට මෙන්ම යන්ත්ර ඉගෙනීමේ වෘත්තිකයන් සිය ගණනක් සිටින විශාල සමාගමකට භාවිතා කළ හැකිය.
MLflow ඕනෑම යන්ත්ර ඉගෙනුම් පුස්තකාලයක්, ඇල්ගොරිතමයක්, යෙදවීමේ මෙවලමක් හෝ භාෂාවක් සමඟ අනුකූල වේ. එයට පහත වාසි ද ඇත:
- ඕනෑම ක්ලවුඩ් සේවාවක් සමඟ ක්රියා කිරීමට නිර්මාණය කර ඇත.
- Apache Spark සමඟ විශාල දත්ත වලට පරිමාණයන්.
- MLflow Apache Spark ඇතුළු විවිධ විවෘත මූලාශ්ර යන්ත්ර ඉගෙනුම් රාමු සමඟ අනුකූල වේ, TensorFlow, සහ SciKit-ඉගෙන ගන්න.
ඔබට දැනටමත් කේතයක් තිබේ නම්, MLflow එය සමඟ භාවිතා කළ හැක. ව්යවසායන් අතර ඔබේ රාමුව සහ ආකෘති බෙදාහදා ගැනීමට පවා ඔබට හැකිය විවෘත කේතය.
MLflow සංරචක: ඒවා ක්රියා කරන්නේ කෙසේද?
MLflow යනු ML ජීවන චක්රය කළමනාකරණය කිරීම සඳහා නිදහස් සහ විවෘත මූලාශ්ර වේදිකාවක් වන අතර එයට අත්හදා බැලීම්, ප්රතිනිෂ්පාදනය, යෙදවීම සහ තනි ආකෘති ලේඛනයක් ඇතුළත් වේ. දැනට, MLflow හි සංරචක හතරක් ඇත:
1. MLflow ලුහුබැඳීම
මම MLflow Tracking එකෙන් පටන් ගන්නයි යන්නේ. මධ්යගත පුහුණු පාර-දත්ත ලුහුබැඳීමේ ගබඩාවකට සම්බන්ධ විවිධ අත්යවශ්ය සංකල්ප එකතු කිරීමට MLflow සහාය දක්වයි. පළමු අදහස වන්නේ ආදර්ශ කාර්ය සාධනයට බලපාන විවේචනාත්මක අධිපරාමිතික හෝ වින්යාස බොත්තම් එකතුවකි. MLflow හි APIs සහ මධ්යගත ලුහුබැඳීමේ සේවාවක් භාවිතා කිරීමෙන් මේ සියල්ල ආරක්ෂා කර ගත හැක.
පරිශීලකයින්ට ඔවුන්ගේ යන්ත්ර ඉගෙනුම් ආකෘතිවල සාර්ථකත්වය පිළිබඳ අවබෝධයක් ලබා ගැනීමට කාර්ය සාධන දත්ත ද වාර්තා කළ හැක. තවද, පුනරාවර්තන හැකියාව සඳහා, MLflow මඟින් සෑම මාදිලියක්ම නිශ්චිත කැපවීම් හැෂ් එකකට සම්බන්ධ කිරීම සඳහා Git සමඟ තදින් අනුකලනය කිරීමෙන් ආකෘතියක් සහ එහි අනුවාදයක් නිර්මාණය කිරීමට භාවිතා කරන ලද විශේෂිත මූල කේතය ලොග් කිරීමට පරිශීලකයින්ට ඉඩ සලසයි.
MLflow කෞතුක වස්තු ලොග් කිරීමට භාවිතා කළ හැක, ඒවා පුහුණු කිරීම, පරීක්ෂණ දත්ත සහ ප්රතිනිෂ්පාදනය සඳහා වන ආකෘති ඇතුළු ඕනෑම අත්තනෝමතික ගොනු වේ.
මෙයින් අදහස් කරන්නේ මම නිරූපිකාවක් පුහුණු කළ සංවර්ධකයෙකු නම්, මට එය මධ්යගත ලුහුබැඳීමේ සේවාව වෙත දිගටම පැවතිය හැකි අතර මගේ සගයන්ගෙන් කෙනෙකුට එය පසුව පූරණය කළ හැකි අතර නිශ්චිත අවශ්යතාවයක් සපුරාලීම සඳහා එම ආකෘතිය පුහුණු කිරීම සහ අත්හදා බැලීම හෝ නිෂ්පාදනය කිරීම දිගටම කරගෙන යා හැකි බවයි. .
ඔබේ යන්ත්ර ඉගෙනුම් කේතය ක්රියාත්මක කරන විට සහ පසුව ප්රතිඵල බැලීමේදී, ලුහුබැඳීම යනු පරාමිති, කේත අනුවාද, ප්රමිතික සහ ප්රතිදාන ගොනු ලොග් කිරීමට ඔබට ඉඩ සලසන API වේ. එය වෙනත් භාෂා අතර පයිතන්, ආර් සහ ජාවා වලින් ලියා ඇත. එය REST API ලෙස ද ප්රවේශ විය හැකි අතර, එය මත යෙදුම් තැනීමට භාවිතා කළ හැක.
මූලික ලක්ෂණ
- බොහෝ සංවර්ධකයින් ඔවුන්ගේ දේශීය පරිගණකයේ MLflow භාවිතා කරයි, එහිදී පසුපෙළ සහ කෞතුක වස්තු ගබඩාව තැටියේ නාමාවලියක් බෙදා ගනී.
- බොහෝ පරිශීලකයින් ඔවුන්ගේ දේශීය පරිගණකවල MLflow ධාවනය කිරීමට SQLalchemy-අනුකූල දත්ත ගබඩාවක් වන SQLite භාවිතා කරයි.
- MLflow බෙදා හරින ලද ගෘහ නිර්මාණ ශිල්පයට ද සහය දක්වයි. ලුහුබැඳීමේ සේවාදායකය, පසුපෙළ ගබඩාව සහ කෞතුක භාණ්ඩ ගබඩාව මේවායේ විවිධ සේවාදායකයන් මත සත්කාරකත්වය දරයි.
- ධාවනය ආරම්භ කළේ MLflow ව්යාපෘතියක් මගින් නම්, git commit hash භාවිතා කරන ලදී. MLflow Python, R, Java, සහ REST APIs ධාවනය කිරීමට දත්ත ලොග් කිරීමට භාවිතා කළ හැක.
වැඩි විස්තර සඳහා, ඔබට නිල පරීක්ෂා කළ හැක ලේඛගතකිරීම.
2. MLFlow ව්යාපෘති
අපි ලුහුබැඳීමේ සංරචක හරහා ගිය පසු, ක්රියාත්මක කිරීමේ සන්දර්භය නොසලකා ආදර්ශ පුහුණු සැසි සඳහා නැවත නැවතත් කළ හැකි ඇසුරුම් ව්යුහයක් වන MLflow ව්යාපෘති ගැන කතා කිරීමට මම කැමැත්තෙමි.
ව්යාපාර පුළුල් පරාසයක යන්ත්ර ඉගෙනුම් පුහුණු තාක්ෂණයන් භාවිතා කරයි, නමුත් ඔවුන් මෙම පුහුණු මෙවලම් විවිධ සන්දර්භ මාලාවක් තුළද භාවිතා කරයි. උදාහරණයක් ලෙස, ඔවුන් ඔවුන්ගේ පුහුණු කේතය ක්ලවුඩ් මත, දේශීය පරිගණකයක හෝ සටහන් පොතක ක්රියාත්මක කරනවා විය හැක.
මෙය යන්ත්ර ඉගෙනීමේ ප්රතිඵල ප්රතිනිර්මාණය කිරීමට අපහසු ගැටලුවට මග පාදයි. බොහෝ විට, එකම සමාන පුහුණු කේතය වෙනම ස්ථාන දෙකක ක්රියාත්මක කිරීම හෝ එකම ප්රතිඵල ලබා නොදේ.
MLflow විසින් සපයනු ලබන විසඳුම ස්වයං අන්තර්ගත පුහුණු කේත ව්යාපෘති නිර්වචනය වන අතර එහි සියලුම යන්ත්ර ඉගෙනුම් පුහුණු කේතය මෙන්ම එහි අනුවාද පුස්තකාල පරායත්තතා, සැකසුම් සහ පුහුණු සහ පරීක්ෂණ දත්ත ඇතුළත් වේ.
MLflow යන්ත්ර ඉගෙනුම් පුහුණු ක්රියාවලියක් සඳහා අවශ්යතා සම්පූර්ණයෙන් පැහැදිලිව විස්තර කිරීමෙන් ක්රියාත්මක කිරීමේ සන්දර්භ හරහා ප්රතිනිෂ්පාදනය සහතික කරයි. එය එම පුස්තකාල සියල්ල ස්ථාපනය කිරීමෙන් සහ කේතය ක්රියාත්මක වන එකම පද්ධති තත්ත්වය සම්පූර්ණ කිරීමෙන් මෙය ඉටු කරයි.
MLflow ව්යාපෘතිය නාමාවලියකට වඩා වැඩි දෙයක් නොවේ. එය පුහුණු කේතය, පුස්තකාල පරායත්තතා නිර්වචනය සහ පුහුණු සැසියට අවශ්ය අනෙකුත් දත්ත මෙන්ම මෙම විකල්ප වින්යාස ගොනුව ඇතුළත් නාමාවලියකි.
මෙම පුස්තකාල අවශ්යතා විවිධාකාරයෙන් අර්ථ දැක්විය හැක. පරිශීලකයින්ට, උදාහරණයක් ලෙස, ඔවුන්ගේ පුහුණු කේත පුස්තකාල අවශ්යතා ලැයිස්තුගත කිරීමට YAML-ආකෘතිගත ඇනකොන්ඩා පරිසර පිරිවිතර සැපයිය හැක. MLflow කන්ටේනරය තුළ පුහුණු කේතය ක්රියාත්මක කරයි. එවැනි අවස්ථාවක, ඒවාට ඩොකර් කන්ටේනරයක් ද ඇතුළත් කළ හැකිය.
අවසාන වශයෙන්, MLflow මෙම ව්යාපෘති ක්රියාත්මක කිරීම සඳහා විධාන රේඛා අතුරු මුහුණතක් (CLI) මෙන්ම Python සහ Java API ද ඇත. මෙම ව්යාපෘති පරිශීලකයාගේ ප්රාදේශීය පද්ධතිය මත මෙන්ම Databricks රැකියා කාලසටහන්කරු සහ Kubernetes වැනි විවිධ දුරස්ථ සැකසුම් වල ක්රියාත්මක විය හැක. MLflow ව්යාපෘති මඟින් ඔබට දත්ත විද්යා කේතය නැවත නැවතත් භාවිතා කළ හැකි ආකාරයෙන් ඇසුරුම් කිරීමට ඉඩ සලසයි, බොහෝ දුරට ප්රමිති මත පදනම්ව.
ව්යාපෘති සංරචකයට API එකක් මෙන්ම ව්යාපෘති කළමනාකරණය සඳහා විධාන රේඛා උපයෝගිතා ඇතුළත් වේ. යන්ත්ර ඉගෙනීමේ ක්රියාවලි සැකසීම සඳහා ව්යාපෘති එකට බැඳිය හැකි බව මෙම හැකියාවන් සහතික කරයි.
මූලික ලක්ෂණ
- ඩොකර් බහාලුම් පරිසරය, කොන්ඩා පරිසරය සහ පද්ධති පරිසරය ඇතුළු ව්යාපෘති පරිසරයන් සඳහා MLflow සහාය දක්වයි.
- ඕනෑම Git ගබඩාවක් හෝ දේශීය නාමාවලියක් MLflow ව්යාපෘතියක් ලෙස සැලකිය හැක; පෙරනිමියෙන්; ඔබට ඕනෑම කවචයක් භාවිතා කළ හැකිය පයිතන් පිටපත ව්යාපෘති ප්රවේශ ලක්ෂ්යයක් ලෙස නාමාවලියෙහි.
- Java libraries වැනි Python නොවන පරායත්තතා Docker බහාලුම් භාවිතයෙන් ග්රහණය කර ගත හැක.
- YAML වාක්ය ඛණ්ඩයේ ඇති පෙළ ගොනුවක් වන ව්යාපෘති මූල නාමාවලියට ව්යාපෘති ගොනුවක් එක් කිරීමෙන් ඔබට MLflow ව්යාපෘතියක් මත වැඩි පාලනයක් ලබා ගත හැක.
වැඩි විස්තර සඳහා, ඔබට නිල පරීක්ෂා කළ හැක ලේඛගතකිරීම.
3. MLflow ආකෘති
දැන්, මම පුළුල් පරාසයක නිෂ්පාදන සන්දර්භයන් සඳහා සහය දක්වන පොදු කාර්ය ආකෘති ආකෘතියක් වන MLflow ආකෘති ගැන සාකච්ඡා කිරීමට කැමැත්තෙමි. MLflow මාදිලි සඳහා හේතුව දැන් ව්යාපෘති සඳහා තරමක් සමාන ය.
නැවතත්, පුළුල් පරාසයක මෙවලම් භාවිතයෙන් ආකෘති ජනනය කළ හැකි බව අපට පෙනේ, නමුත් පුහුණු පරිසරයන්ට ප්රතිවිරුද්ධව ඒවා විශාල පරාසයක තත්වයන් තුළ නිෂ්පාදනය කිරීමට හෝ යෙදවීමට ද හැකිය.
මෙම සිටුවම්වලට Kubernetes හෝ Amazon SageMaker වැනි තත්ය කාලීන සේවය සඳහා මෙවලම් මෙන්ම Spark වැනි ප්රවාහය සහ කණ්ඩායම් ලකුණු කිරීම ඇතුළත් වේ. තවද, සමහර ව්යාපාර පූර්ව වින්යාස කළ වලාකුළු අවස්ථාවක් මත ක්රියාත්මක වන RESTful වෙබ් සේවාවක් ලෙස ආකෘති යෙදවීමට තෝරා ගත හැක.
ව්යාපෘතියක් වැනි MLflow ආකෘතියක් යනු නාමාවලි ව්යුහයකි. එයට වින්යාස ගොනුවක් ඇතුළත් වන අතර, මෙවර පුහුණු කේතයට වඩා අනුක්රමික ආකෘති කෞතුක වස්තුවක් ඇතුළත් වේ. ව්යාපෘතියක් ලෙස පුනරාවර්තන හැකියාව සඳහා මෙම පරායත්තතා කට්ටලය ද එයට ඇතුළත් වේ. මෙවර, අපි කොන්ඩා පරිසරයක සන්දර්භය තුළ ඇගයීම් පරායත්තතා දෙස බලමු.
මීට අමතරව, MLflow ජනප්රිය රාමු පරාසයකින් MLflow ආකෘතියෙන් අනුක්රමික මාදිලි සඳහා ආකෘති උත්පාදන මෙවලම් ඇතුළත් වේ. අවසාන වශයෙන්, MLflow ඕනෑම MLflow ආකෘතියක් නිෂ්පාදනය කිරීම සහ සම්බන්ධ කිරීම සඳහා යෙදවුම්, APIs එකතු කරයි, සහ මෙම APIs Python, Java, R සහ CLI ආකෘතියෙන් ප්රවේශ විය හැක.
ආකෘති යනු අනුමාන සේවාදායක හෝ පහත් මෙවලම් මගින් භාවිතා කළ හැකි සහ තේරුම් ගත හැකි ඇසුරුම් ආකෘති සඳහා සම්මත ව්යුහයක් සහිත සංරචකයකි. දත්ත සමුදායන් කණ්ඩායම් අනුමාන වේදිකාව. මෙම සංරචකය නිෂ්පාදනය සඳහා ආකෘතියක් ඇසුරුම් කිරීමේදී පැය ගණනක නියම කේතය ඉතිරි කරයි.
MLflow ආකෘතිය යනු "රස" ලෙස හඳුන්වන විවිධ ආකාරවලින් යන්ත්ර ඉගෙනුම් ආකෘති ඇසුරුම් කිරීම සඳහා වන ප්රමිතියකි. MLflow විවිධ මාදිලියේ මාදිලි යෙදවීමට ඔබට උපකාර කිරීමට බොහෝ මෙවලම් සපයයි. සෑම MLflow ආකෘතියක්ම අත්තනෝමතික ගොනු අඩංගු නාමාවලියක් මෙන්ම එය භාවිතා කළ හැකි රසයන් ලැයිස්තුවක් සහිත ML ආකෘති විස්තර ගොනුවක් ලෙස තබා ඇත.
මූලික ලක්ෂණ
- MLflow හි සියලුම බිල්ට් යෙදවුම් මෙවලම් පයිතන් ශ්රිතයක් ලෙස ආකෘතිය ක්රියාත්මක කරන ආකාරය පැහැදිලි කරන "Python Function" රසය වැනි බහු "සම්මත" රසයන් පිරිනමයි.
- සෑම MLflow ආකෘතියක්ම අත්තනෝමතික ගොනු අඩංගු නාමාවලියකින් මෙන්ම, ආකෘතියේ විවිධ රසයන් නිර්වචනය කරන නාමාවලියේ මූලයේ ඇති ML ආකෘති ගොනුවකින් සමන්විත වේ.
- ආකෘතියක් ගබඩා කරන විට, MLflow මඟින් ඔබට ආකෘතියේ පරායත්තතා අඩංගු Conda පරිසර පරාමිතියක් නියම කිරීමට ඉඩ සලසයි. කොන්ඩා පරිසරයක් නිශ්චිතව දක්වා නොමැති නම්, ආකෘතියේ රසය මත පදනම්ව පෙරනිමි පරිසරයක් ගොඩනගා ඇත. ඊට පසු, කොන්ඩා පරිසරය conda.yaml හි ගබඩා කර ඇත.
වැඩි විස්තර සඳහා, ඔබට නිල පරීක්ෂා කළ හැක ලේඛගතකිරීම.
4. MLflow ආදර්ශ රෙජිස්ට්රි
ආකෘති රෙජිස්ට්රියක් යනු ඉගෙන ගත් යන්ත්ර ඉගෙනුම් (ML) ආකෘති සඳහා ගබඩාවකි. Model Registry සෑදී ඇත්තේ API වලින් සහ කණ්ඩායමක් ලෙස විවිධ අදියරයන්හිදී ආකෘති නඩත්තු කිරීමට භාවිතා කරන වෙබ් පාදක යෙදුමකිනි. Model Lineage, Model Versioning, Easy Stage Transition, සහ Annotation යනු Model Registry හි ඇති හැකියාවන්ගෙන් කිහිපයක් පමණි.
ආදර්ශ රෙජිස්ට්රියක, ආකෘති වලට අමතරව, ආකෘතිය ගොඩනැගීමට භාවිතා කරන දත්ත සහ පුහුණු කාර්යයන් පිළිබඳ තොරතුරු (පාර-දත්ත) අඩංගු වේ. ML මාදිලි සඳහා පෙළගැස්ම නිර්මාණය කිරීම සඳහා මෙම අවශ්ය යෙදවුම් පිළිබඳව සටහන් තබා ගැනීම ඉතා වැදගත් වේ. මේ සම්බන්ධයෙන්, ආකෘති රෙජිස්ට්රියක් සාමාන්ය මෘදුකාංග වලට සමානව ක්රියා කරයි අනුවාද පාලනය පද්ධති (උදා, Git, SVN) සහ කෞතුක භාණ්ඩ ගබඩා (උදා, කෘතිම, PyPI).
Model Registry යනු දත්ත විද්යාඥයින්ට සහ යන්ත්ර ඉගෙනුම් ඉංජිනේරුවන්ට අනෙකුත් කණ්ඩායම් සමඟ සහයෝගීතාවය සඳහා ඔවුන්ගේ ආකෘති ප්රකාශනය කිරීමට, පරීක්ෂා කිරීමට, නිරීක්ෂණය කිරීමට, කළමනාකරණය කිරීමට සහ බෙදා හැරීමට ඉඩ සලසන රාමුවකි. අත්යවශ්යයෙන්ම, ඔබ ඔබේ පරීක්ෂණ අදියර සම්පූර්ණ කළ පසු සහ ඔබේ සොයාගැනීම් කණ්ඩායම සහ පාර්ශවකරුවන් සමඟ බෙදා ගැනීමට සූදානම් වූ පසු ආදර්ශ ලේඛනය භාවිතා වේ.
MLflow Model Registry මඟින් API එකක් සහ ඔබේ මාදිලි සහ ඒවායේ ආයු කාලය මධ්ය ස්ථානයක සිට කළමනාකරණය කිරීම සඳහා පරිශීලක අතුරු මුහුණතක් සපයයි. ආදර්ශ පෙළපත, ආකෘති අනුවාදය, විවරණ සහ වේදිකා සංක්රාන්ති සියල්ල රෙජිස්ට්රිය හරහා ලබා ගත හැක.
MLflow හි, ලියාපදිංචි ආකෘතියක් යනු අනන්ය නමක් සහ පාර-දත්ත, ආකෘති අනුවාද, සංක්රාන්ති අවධීන් සහ ආදර්ශ පෙළපතක් සහිත එකකි. ලියාපදිංචි ආකෘතියක ආකෘති අනුවාද එකක් හෝ කිහිපයක් සොයා ගත හැක. නව මාදිලියක් රෙජිස්ට්රි එකේ ලියාපදිංචි වූ විට එය 1 වන අනුවාදය ලෙස සලකනු ලැබේ. පහත අනුවාදය එකම නම සහිත ඕනෑම නව මාදිලියකට එකතු කරනු ලැබේ.
ඔබට ඕනෑම වේලාවක ඕනෑම මාදිලි අනුවාදයකට එක් පියවරක් පැවරිය හැකිය. කෙසේ වෙතත්, වේදිකාගත කිරීම, නිෂ්පාදනය සහ සංරක්ෂණය වැනි විධිමත් ලෙස නිශ්චිතව දක්වා ඇති MLflow අදියර යටතේ අදියර පැවරිය යුතුය. ආදර්ශ අනුවාදයක් එක් අදියරකින් තවත් අදියරකට මාරු කළ හැකිය.
MLflow ඔබට ඉහළ මට්ටමේ මාදිලිය සහ එක් එක් විශේෂිත අනුවාදය යන දෙකම විවරණය කිරීමට මාර්ක්ඩවුන් භාවිතා කිරීමට ඉඩ සලසයි. ඔබට විස්තර මෙන්ම ඇල්ගොරිතම පැහැදිලි කිරීම්, ක්රමවේදය සහ භාවිතා කරන දත්ත කට්ටල වැනි වෙනත් අදාළ තොරතුරු ඇතුළත් කළ හැක.
මූලික ලක්ෂණ
- ඔබගේම MLflow සේවාදායකය සත්කාරකත්වය දරන විට UI හෝ API හරහා ආකෘති රෙජිස්ට්රිය වෙත ප්රවේශ වීමට, ඔබ දත්ත සමුදාය පිටුබලය සහිත පසුපෙළ ගබඩාවක් භාවිතා කළ යුතුය.
- MLflow මාදිලියේ රසය හෝ MLflow Client Tracking API අතුරුමුහුණත හරහාද Model Registry වෙත ප්රවේශ විය හැක. උදාහරණයක් ලෙස, ඔබට MLflow පරීක්ෂණ ධාවනයකදී හෝ ඔබගේ සියලු පරීක්ෂණ ධාවනයෙන් පසුව ආකෘතියක් ලියාපදිංචි කළ හැක.
- සෑම කෙනෙකුම MLflow භාවිතයෙන් ඔවුන්ගේ ආකෘති පුහුණු කිරීමට පටන් නොගනී. එහි ප්රතිඵලයක් වශයෙන්, MLflow භාවිතා කිරීමට පෙර ඔබට සමහර මාදිලි පුහුණු කර තිබිය හැක. ආකෘති නැවත පුහුණු කරනවාට වඩා, ඔබට අවශ්ය වන්නේ ඔබේ ගබඩා කර ඇති මාදිලි ආදර්ශ රෙජිස්ට්රිය සමඟ ලියාපදිංචි කිරීමයි.
වැඩි විස්තර සඳහා, ඔබට නිල පරීක්ෂා කළ හැක ලේඛගතකිරීම.
නිගමනය
MLflow යනු විශිෂ්ට සහ නිරන්තරයෙන් වර්ධනය වන ML ජීවන චක්ර මෙවලමකි. ඔබට එය ඔබගේ වත්මන් මෙවලම් සහ වේදිකා සමඟ භාවිතා කළ හැක.
එය පයිතන්, ජාවා සහ ආර් ඇතුළු ක්රමලේඛන භාෂා කිහිපයකට සහය දක්වයි. ඔබට එහි පරිශීලක-හිතකාමී සැලසුමට ස්තූතිවන්ත වන පරිදි විවිධ මාදිලියේ අනුවාද ඉක්මනින් නිරීක්ෂණය කිරීමට, සුරැකීමට සහ සංසන්දනය කිරීමටද හැකිය.
MLflow උත්සාහ කර ඔබගේ අත්දැකීම අපට දන්වන්න!
ඔබමයි