Inhaltsverzeechnes[Verstoppen][Show]
Machine Learning Modeller sinn elo iwwerall op der Plaz. Während dem Dag benotzt Dir dës Modeller wahrscheinlech vill méi wéi Dir wësst. Maschinn Léieren Modeller ginn an allgemeng Aufgaben benotzt wéi Social Media Surfen, Fotograféieren an d'Wieder kontrolléieren.
E Maschinnléier-Algorithmus kann Iech dëse Blog recommandéiert hunn. Mir hunn all héieren iwwer wéi Zäitopwänneg et ass dës Modeller ze trainéieren. Mir hunn all héieren datt d'Ausbildung vun dëse Modeller Zäitopwänneg ass.
Wéi och ëmmer, Inferenz iwwer dës Modeller ze maachen ass dacks computationally deier.
Mir brauche Computersystemer déi séier genuch sinn fir den Taux ze handhaben mat deem mir Maschinnléiere Servicer benotzen. Als Resultat ginn d'Majoritéit vun dëse Modeller op massiven Datenzentere mat CPU- a GPU-Cluster lafen (och TPUs an e puer Fäll).
Wann Dir eng Foto maacht, wëllt Dir Maschinn léieren fir et direkt ze verbesseren. Dir wëllt net musse waarden bis d'Bild an en Rechenzentrum transferéiert gëtt, veraarbecht a bei Iech zréckginn. An dësem Fall soll de Maschinn Léiermodell lokal ausgefouert ginn.
Wann Dir "Hey Siri" oder "OK, Google" seet, wëllt Dir datt Är Gadgeten direkt reagéieren. Waart op Är Stëmm fir op d'Computeren iwwerdroen ze ginn, wou se evaluéiert an Daten kritt.
Dëst brauch Zäit an huet e schiedlechen Effekt op d'Benotzererfarung. An dësem Fall wëllt Dir datt de Maschinn Léiermodell och lokal funktionnéiert. Dëst ass wou TinyML era kënnt.
An dësem Post wäerte mir TinyML kucken, wéi et funktionnéiert, seng Uwendungen, wéi een domat unzefänken, a vill méi.
Wat ass TinyML?
TinyML ass eng opzedeelen Disziplin déi de revolutionäre Potenzial vu Maschinnléieren op d'Leeschtungs- a Kraaftgrenze vu klengen Apparater an embedded Systemer applizéiert.
Erfollegräich Détachement an dëser Industrie erfuerdert e grëndlecht Verständnis vun Uwendungen, Algorithmen, Hardware a Software. Et ass e Maschinnléiere Subgenre deen déif Léieren a Maschinnléiere Modeller an embedded Systemer benotzt déi Mikrokontroller, digital Signalprozessoren oder aner ultra-low-power spezialiséiert Prozessoren benotzen.
TinyML-aktivéiert embedded Geräter sollen e Maschinnléier Algorithmus fir eng spezifesch Aarbecht ausféieren, typesch als Deel vum Apparat Randberechnung.
Fir Wochen, Méint oder souguer Joeren ouni Opluedstatioun oder Batterie Ersatz ze lafen, mussen dës embedded Systemer e Stroumverbrauch vu manner wéi 1 mW hunn.
Wéi heescht et schaffen?
Deen eenzege Maschinnléiere Kader dee mat Mikrokontroller a Computer ka benotzt ginn ass TensorFlow Lite. Et ass eng Rei vun Tools déi d'Entwéckler erlaben hir Modeller op mobilen, embedded a edge-Geräter auszeféieren, wat Maschinnléiere während der Flucht erlaabt.
D'Interface vum Mikrokontroller gëtt benotzt fir Daten vu Sensoren ze sammelen (wéi Mikrofonen, Kameraen oder embedded Sensoren).
Ier se un de Mikrokontroller geschéckt ginn, ginn d'Donnéeën an e Cloud-baséiert Maschinnléiermodell agebaut. Batch Training am offline Modus gëtt allgemeng benotzt fir dës Modeller ze trainéieren. D'Sensordaten déi benotzt gi fir Léieren an Inferenz ass scho fir déi spezifesch Applikatioun bestëmmt.
Wann de Modell trainéiert gëtt fir e Wake Wort z'entdecken, zum Beispill, ass et scho ageriicht fir e kontinuéierleche Audiostream vun engem Mikrofon ze handhaben.
Alles ass scho mat der Hëllef vun enger Cloud Plattform wéi Google Colab am Fall vun TensorFlow Lite gemaach, inklusiv Datasetauswiel, Normaliséierung, Ënnerfitting oder Overfitting vum Modell, Regulariséierung, Datevergréisserung, Training, Validatioun an Testen.
E voll ausgebilte Modell gëtt schlussendlech transforméiert an op de Mikrokontroller, de Mikrocomputer oder den digitale Signalprozessor no offline Batch Training transferéiert. De Modell huet keng zousätzlech Ausbildung nodeems hien op en embedded Apparat geplënnert ass. Amplaz benotzt se nëmmen Echtzäitdaten vu Sensoren oder Input-Geräter fir de Modell z'applizéieren.
Als Resultat muss e TinyML Maschinnléiermodell aussergewéinlech haltbar sinn a fäeg sinn no Joeren ëmgebilt ze ginn oder ni nei ausgebilt ze ginn. All Potential Modell underfitting an overfitting muss ënnersicht ginn sou datt de Modell fir eng verlängert Längt vun Zäit relevant bleift, Idealfall onbestëmmten.
Awer Firwat benotzt TinyML?
TinyML huet ugefaang als Beméihung fir dem IoT seng Ofhängegkeet op Cloud Servicer fir Basis kleng Skala ze eliminéieren oder ze reduzéieren Maschinn léieren Operatiounen. Dëst huet d'Benotzung vu Maschinnléiermodeller op de Randgeräter selwer erfuerderlech. Et bitt déi folgend grouss Virdeeler:
- Niddereg Kraaft Konsum: Eng TinyML Applikatioun soll am léifsten manner wéi 1 MilliWatt Muecht benotzen. Mat esou nidderegen Energieverbrauch kann en Apparat weiderhin Conclusiounen aus Sensordaten fir Méint oder Joer ofzéien, och wann et vun enger Mënzbatterie ugedriwwe gëtt.
- Méi nidderege Präis: Et ass entwéckelt fir op Low-Cost 32-Bit Mikrokontroller oder DSPs ze lafen. Dës Mikrokontroller sinn typesch e puer Cent all, an de ganzen embedded System mat hinnen entwéckelt ass manner wéi $ 50. Dëst ass eng ganz kosteneffektiv Optioun fir kleng Maschinnléiere Programmer op grousser Skala ze lafen, an et ass besonnesch gutt an IoT Uwendungen wou Maschinnléiere muss applizéiert ginn.
- Méi niddereg Latenz: Seng Uwendungen hunn eng geréng latency well se net brauchen fir Daten iwwer d'Netz ze transportéieren oder auszetauschen. All Sensordaten ginn lokal opgeholl, a Conclusiounen ginn mat engem Modell gezunn, dee scho trainéiert gouf. D'Resultater vun Inferenzen kënnen op e Server oder Cloud geschéckt ginn fir ze protokolléieren oder zousätzlech Veraarbechtung, obwuel dëst net wesentlech ass fir datt den Apparat funktionnéiert. Dëst miniméiert d'Netzlatenz an eliminéiert d'Bedierfnes fir Maschinnléieroperatiounen op enger Wollek oder Server auszeféieren.
- Privatsphär: Et ass eng grouss Suerg um Internet a mam Internet vun de Saachen. D'Maschinn Léieraarbecht an TinyML Apps gëtt lokal ausgefouert, ouni Sensor / Benotzerdaten op e Server / Cloud ze späicheren oder ze schécken. Als Resultat, och wa se mat engem Netzwierk verbonne sinn, sinn dës Uwendungen sécher ze benotzen a stellen keng Privatsphär Risiken aus.
Applicatioun
- Landwirtschaft - Wéini Baueren eng Foto vun enger Planz, TensorFlow Lite Applikatioun erkennt Krankheeten an et. Et funktionnéiert op all Apparat a brauch keng Internetverbindung. D'Prozedur schützt landwirtschaftlech Interessen an ass eng kritesch Noutwennegkeet fir ländlech Baueren.
- Mechanik Ënnerhalt - TinyML, wann se op niddereg ugedriwwen Apparater benotzt gëtt, kann kontinuéierlech Mängel an enger Maschinn identifizéieren. Et enthält Prognose-baséiert Ënnerhalt. Ping Services, en australesche Start-up, huet en IoT Gadget agefouert, deen d'Windturbinen iwwerwaacht andeems se sech un d'Turbine dobausse befestegt. Et informéiert d'Autoritéiten wann et e méigleche Problem oder Feelfunktioun erkennt.
- Spideeler - D Solar Scare ass e Projet. Mosquito benotzt TinyML fir d'Verbreedung vu Krankheeten wéi Dengue a Malaria ze stoppen. Et gëtt mat Solarenergie ugedriwwen an erkennt Moustiquezuchtbedéngungen ier se d'Waasser signaliséiert fir Moustiquezucht ze hemmen.
- Verkéier Iwwerwaachung - Vun TinyML op Sensoren applizéieren déi Echtzäit Trafficdaten sammelen, kënne mir se benotze fir de Verkéier besser ze dirigéieren an d'Äntwertzäite fir Noutfahrzeuge ze reduzéieren. Swim.AI, zum Beispill, benotzt dësen Tech op Streaming Daten fir d'Sécherheet vu Passagéier ze erhéijen an och Stau an Emissiounen duerch Smart Routing ze reduzéieren.
- Gesetz: TinyML kann an der Affekot benotzt ginn fir illegal Handlungen z'identifizéieren wéi Onrouen an Déif mat Maschinnléieren a Gesteerkennung. En ähnleche Programm kann och benotzt ginn fir Bankautomaten ze sécheren. Andeems Dir d'Benotzerverhalen beobachtet, kann en TinyML Modell viraussoen ob de Benotzer e richtege Konsument ass deen eng Transaktioun ofgeschloss huet oder en Andréngen probéiert den Geldautomaten ze hacken oder ze zerstéieren.
Wéi fänken ech mat TinyML un?
Fir mat TinyML an TensorFlow Lite unzefänken, braucht Dir e kompatiblen Mikrokontroller Board. TensorFlow Lite fir Mikrokontroller ënnerstëtzt d'Mikrokontroller hei ënnendrënner.
- Wio Terminal: ATSAMD51
- Himax WE-I Plus EVB Endpoint AI Development Board
- STM32F746 Discovery Kit
- Adafruit EdgeBadge
- Synopsys DesignWare ARC EM Software Entwécklung Plattform
- Sony Express
- Arduino Nano 33 BLE Sinn
- SparkFun Edge
- Adafruit TensorFlow Lite fir Mikrokontroller Kit
- Adafruit Circuit Spillplaz Bluefruit
- Espressif ESP32-DevKitC
- Espressif ESP-EYE
Dëst sinn 32-Bit Mikrokontroller déi genuch Flash Memory, RAM a Auerfrequenz hunn fir e Maschinnléiermodell auszeféieren. D'Brieder hunn och eng Zuel vun onboard Sensoren, déi fäeg sinn all embedded Programm auszeféieren an Maschinnléiermodeller op déi gezielte Applikatioun z'applizéieren. Zu bauen e Maschinn Léieren Modell, Dir braucht e Laptop oder Computer nieft enger Hardwareplattform.
All Hardwareplattform huet seng eege Programméierungsinstrumenter fir ze bauen, ze trainéieren an ze portéieren Maschinn Léieren Modeller, déi den TensorFlow Lite fir Mikrokontroller Package benotzen. TensorFlow Lite ass gratis ze benotzen an z'änneren well et ass Open Source.
Fir mat TinyML an TensorFlow Lite unzefänken, alles wat Dir braucht ass eng vun den uewe genannten embedded Hardware Plattformen, e Computer / Laptop, en USB Kabel, en USB-to-Serial Konverter - an de Wonsch fir Maschinnléieren mat embedded Systemer ze üben .
Erausfuerderunge
Och wärend dem TinyML säi Fortschrëtt vill positiv Resultater bruecht huet, konfrontéiert d'Maschinn Léierindustrie nach ëmmer bedeitend Hindernisser.
- Software Diversitéit - Hand Kodéierung, Code Generatioun, an ML Dolmetscher sinn all Optiounen fir Modeller op TinyML Apparater z'installéieren, a jidderee brauch eng aner Zäit an Effort. Verschidde Leeschtunge kënnen doduerch entstoen.
- Hardware Diversitéit - Do sinn verschidden Hardware Optiounen sinn. TinyML Plattforme kënnen alles sinn vun allgemengen Zweck Mikrokontroller bis opzedeelen neural Prozessoren. Dëst verursaacht Probleemer mat der Deployment vum Modell iwwer verschidden Architekturen.
- Troubleshooting / Debugging - Wéini en ML Modell funktionnéiert schlecht op der Wollek, et ass einfach d'Donnéeën ze kucken an erauszefannen wat falsch leeft. Wann e Modell iwwer Dausende vun TinyML Geräter verbreet ass, ouni Datenstroum zréck an d'Wollek, gëtt Debugging schwéier a kann eng aner Method erfuerderen.
- Erënnerung Aschränkungen - Traditionell Plattformen, wéi Smartphones a Laptops, brauche Gigabyte vum RAM, wärend TinyML Geräter Kilobytes oder Megabytes benotzen. Als Resultat ass d'Gréisst vum Modell deen ofgesat ka ginn limitéiert.
- Modell Training - Obwuel et gi verschidde Virdeeler fir ML Modeller op TinyML Apparater z'installéieren, de gréissten Deel vun ML Modeller gëtt nach ëmmer op der Wollek trainéiert fir d'Modelgenauegkeet ze iteréieren a kontinuéierlech ze verbesseren.
Zukunft
TinyML, mat sengem klenge Foussofdrock, nidderegen Batterieverbrauch, a Mangel u oder limitéierter Ofhängegkeet op Internetverbindung, huet enorm Potenzial an Zukunft, well d'Majoritéit vu schmuele Kënschtlech Intelligenz wäert op Randgeräter oder onofhängeg embedded Gadgeten implementéiert ginn.
Et wäert IoT Uwendungen méi privat a sécher maachen andeems se se benotzen. Obwuel TensorFlow Lite ass de Moment deen eenzege Maschinnléierekader fir Mikrokontroller a Mikrocomputer, aner vergläichbar Kaderen wéi Sensor an ARM's CMSIS-NN sinn an de Wierker.
Wärend TensorFlow Lite en Open-Source-Projet ass amgaang deen e super Start mam Google Team ugefaang huet, brauch et nach ëmmer Gemeinschaftssupport fir an de Mainstream ze kommen.
Konklusioun
TinyML ass eng nei Approche déi embedded Systemer mat Maschinnléiere kombinéiert. Wéi déi schmuel AI Peaks a ville Vertikalen an Domainen, kann d'Technologie als e prominent Ënnerfeld am Maschinnléieren a kënschtlecher Intelligenz entstoen.
Et bitt eng Léisung fir vill Erausfuerderunge mat deenen den IoT Secteur a Professionnelen, déi Maschinnléiere fir vill Domain-spezifesch Disziplinnen applizéieren, elo konfrontéiert sinn.
D'Konzept fir Maschinnléieren ze benotzen bei Randgeräter mat engem klenge Rechen Foussofdrock a Kraaftverbrauch huet de Potenzial fir wesentlech ze transforméieren wéi embedded Systemer a Robotik konstruéiert ginn.
Hannerlooss eng Äntwert