Ang mga modelo sa Pagkat-on sa Machine naa sa tanan nga lugar karon. Sa maadlaw, lagmit imong gigamit kini nga mga modelo labi pa sa imong nahibal-an. Ang mga modelo sa pagkat-on sa makina gigamit sa kasagarang mga buluhaton sama sa pag-browse sa social media, pagkuha og litrato, ug pagsusi sa panahon.
Ang usa ka algorithm sa pagkat-on sa makina mahimong nagrekomenda niini nga blog kanimo. Kitang tanan nakadungog bahin sa kung unsa kadugay ang pagbansay niini nga mga modelo. Kitang tanan nakadungog nga ang pagbansay niini nga mga modelo makahurot ug panahon.
Bisan pa, ang paghimo og inference sa kini nga mga modelo kanunay nga gasto sa pagkalkula.
Kinahanglan namon ang mga sistema sa kompyuter nga igo nga paspas aron madumala ang rate sa among paggamit sa mga serbisyo sa pagkat-on sa makina. Ingon usa ka sangputanan, kadaghanan sa kini nga mga modelo gipadagan sa daghang mga sentro sa datos nga adunay mga cluster sa CPU ug GPU (bisan ang mga TPU sa pipila ka mga kaso).
Kung magkuha ka ug litrato, gusto nimo pagkat-on sa makina aron mapalambo dayon kini. Dili nimo gusto nga maghulat alang sa imahe nga ibalhin sa usa ka sentro sa datos, iproseso, ug ibalik kanimo. Sa kini nga kaso, ang modelo sa pagkat-on sa makina kinahanglan nga ipatuman sa lokal.
Kung moingon ka nga "Hey Siri" o "OK, Google," gusto nimo nga ang imong mga gadget motubag dayon. Naghulat alang sa imong tingog nga ipadala ngadto sa mga kompyuter, diin kini susihon ug makuha ang datos.
Nagkinahanglan kini og panahon ug adunay makadaot nga epekto sa kasinatian sa tiggamit. Sa kini nga kaso, gusto nimo nga ang modelo sa pagkat-on sa makina molihok usab sa lokal. Dinhi diin ang TinyML moabut.
Sa kini nga post, atong tan-awon ang TinyML, kung giunsa kini paglihok, paggamit niini, kung giunsa pagsugod kini, ug daghan pa.
Unsa ang TinyML?
Ang TinyML usa ka cutting-edge nga disiplina nga nag-aplay sa rebolusyonaryong potensyal sa machine learning sa performance ug power limit sa gagmay nga mga device ug embedded system.
Ang malampuson nga pag-deploy sa kini nga industriya nanginahanglan usa ka hingpit nga pagsabut sa mga aplikasyon, algorithm, hardware, ug software. Usa kini ka subgenre sa pagkat-on sa makina nga naggamit ug lawom nga pagkat-on ug mga modelo sa pagkat-on sa makina sa mga naka-embed nga sistema nga naggamit ug mga microcontroller, digital signal processor, o uban pang ultra-low-power nga espesyal nga mga processor.
Ang TinyML-enabled embedded device gituyo sa pagpadagan sa usa ka machine learning algorithm alang sa usa ka piho nga trabaho, kasagaran isip kabahin sa device sa edge computing.
Aron makadagan sulod sa mga semana, mga bulan, o bisan mga tuig nga walay pag-recharge o pag-ilis sa baterya, kini nga mga naka-embed nga sistema kinahanglan nga adunay konsumo sa kuryente nga ubos sa 1 mW.
Unsang paagi kini sa trabaho?
Ang bugtong balangkas sa pagkat-on sa makina nga mahimong magamit sa mga microcontroller ug kompyuter mao TensorFlow Lite. Kini usa ka hugpong sa mga himan nga nagtugot sa mga developer sa pagpadagan sa ilang mga modelo sa mga mobile, embedded, ug edge nga mga aparato, nga nagtugot sa pagkat-on sa makina sa madali.
Ang interface sa microcontroller gigamit sa pagkolekta sa datos gikan sa mga sensor (sama sa mga mikropono, mga kamera, o mga naka-embed nga sensor).
Sa wala pa ipadala sa microcontroller, ang datos gilakip sa usa ka modelo sa pagkat-on sa makina nga nakabase sa panganod. Ang batch nga pagbansay sa offline mode kasagarang gigamit sa pagbansay niini nga mga modelo. Ang data sa sensor nga gamiton alang sa pagkat-on ug pagsabot nadeterminar na para sa espesipikong aplikasyon.
Kung ang modelo gibansay aron makit-an ang usa ka pulong sa pagmata, pananglitan, gipahimutang na kini aron pagdumala sa usa ka padayon nga audio stream gikan sa usa ka mikropono.
Ang tanan nahimo na sa tabang sa usa ka cloud platform sama sa Google Colab sa kaso sa TensorFlow Lite, lakip ang pagpili sa dataset, normalisasyon, underfitting o overfitting sa modelo, regularization, data augmentation, pagbansay, validation, ug testing.
Ang usa ka hingpit nga nabansay nga modelo sa katapusan mabag-o ug ibalhin sa microcontroller, microcomputer, o digital signal processor pagkahuman sa offline nga pagbansay sa batch. Ang modelo wala’y dugang nga pagbansay pagkahuman gibalhin sa usa ka naka-embed nga aparato. Hinuon, gigamit ra niini ang real-time nga datos gikan sa mga sensor o mga aparato sa pag-input aron magamit ang modelo.
Ingon usa ka sangputanan, ang usa ka modelo sa pagkat-on sa makina nga TinyML kinahanglan nga labi ka lig-on ug adunay katakus nga mabansay pag-usab pagkahuman sa mga tuig o dili na mabansay pag-usab. Ang tanan nga potensyal nga modelo nga underfitting ug overfitting kinahanglan nga imbestigahan aron ang modelo magpabilin nga may kalabutan sa usa ka taas nga gidugayon sa panahon, labing maayo nga walay katapusan.
Apan Ngano nga gigamit ang TinyML?
Nagsugod ang TinyML isip usa ka paningkamot sa pagwagtang o pagpaminus sa pagsalig sa IoT sa mga serbisyo sa panganod alang sa batakang gamay nga scale. pagkat-on sa makina mga operasyon. Gikinahanglan niini ang paggamit sa mga modelo sa pagkat-on sa makina sa mga edge device mismo. Naghatag kini sa mosunod nga dagkong mga benepisyo:
- Kusog-kusog konsumo: Ang aplikasyon sa TinyML mas maayo nga mogamit ug ubos sa 1 milliWatt nga gahum. Uban sa ingon ka gamay nga konsumo sa kuryente, ang usa ka aparato mahimo’g magpadayon nga makakuha mga konklusyon gikan sa data sa sensor sa mga bulan o tuig, bisan kung gipaandar sa usa ka baterya nga sensilyo.
- Ubos nga gasto: Gidisenyo kini nga modagan sa mubu nga gasto nga 32-bit microcontrollers o DSPs. Kini nga mga microcontroller kasagaran pipila ka sentimo ang matag usa, ug ang kinatibuk-ang naka-embed nga sistema nga naugmad uban niini dili moubos sa $50. Kini usa ka epektibo kaayo nga kapilian nga kapilian alang sa pagpadagan sa gamay nga mga programa sa pagkat-on sa makina sa usa ka dako nga sukod, ug labi na kini nga mapuslanon sa mga aplikasyon sa IoT diin kinahanglan nga magamit ang pagkat-on sa makina.
- Ubos nga Latency: Ang mga aplikasyon niini adunay gamay nga latency tungod kay dili nila kinahanglan nga magdala o magbinayloay og data sa network. Ang tanan nga datos sa sensor girekord sa lokal, ug ang mga konklusyon gihimo gamit ang usa ka modelo nga nabansay na. Ang mga resulta sa mga inferences mahimong ipadala sa usa ka server o cloud para sa pag-log o dugang nga pagproseso, bisan kung dili kini kinahanglanon aron molihok ang aparato. Gipamenos niini ang latency sa network ug giwagtang ang panginahanglan alang sa mga operasyon sa pagkat-on sa makina nga himuon sa usa ka panganod o server.
- Privacy: Usa kini ka dakong kabalaka sa internet ug sa internet sa mga butang. Ang trabaho sa pagkat-on sa makina sa TinyML nga mga app gihimo sa lokal, nga wala magtipig o magpadala data sa sensor/user sa usa ka server/cloud. Ingon usa ka sangputanan, bisan kung gi-link sa usa ka network, kini nga mga aplikasyon luwas nga gamiton ug wala’y peligro sa pagkapribado.
aplikasyon
- Agrikultura – Kanus-a Ang mga mag-uuma nagkuha og litrato sa usa ka tanum, ang aplikasyon sa TensorFlow Lite nakamatikod sa mga sakit niini. Naglihok kini sa bisan unsang aparato ug wala magkinahanglan usa ka koneksyon sa internet. Ang pamaagi nanalipod sa mga interes sa agrikultura ug usa ka kritikal nga kinahanglanon alang sa mga mag-uuma sa kabanikanhan.
- Pagmentinar sa Mekaniko - Ang TinyML, kung gigamit sa mga aparato nga wala’y gahum, padayon nga makaila sa mga sayup sa usa ka makina. Naglangkob kini sa pagmentinar nga gibase sa panagna. Ang Ping Services, usa ka Australian start-up, nagpaila sa IoT gadget nga nagmonitor sa mga wind turbine pinaagi sa pag-attach sa kaugalingon sa turbine sa gawas. Kini nagpahibalo sa mga awtoridad sa matag higayon nga kini makamatikod sa bisan unsa nga posible nga problema o malfunction.
- Mga Ospital - Ang Ang Solar Scare usa ka proyekto. Gigamit sa lamok ang TinyML aron mapugngan ang pagkaylap sa mga sakit sama sa dengue ug malaria. Gipaandar kini sa solar energy ug makamatikod sa mga kondisyon sa pagpasanay sa lamok sa dili pa magsenyas sa tubig aron mapugngan ang pagpasanay sa lamok.
- Traffic Surveillance – Ni paggamit sa TinyML sa mga sensor nga nagkolekta sa tinuod nga panahon nga datos sa trapiko, mahimo namong gamiton kini aron mas maayo nga madirekta ang trapiko ug maputol ang mga oras sa pagtubag alang sa mga emergency nga sakyanan. Ang Swim.AI, pananglitan, naggamit niini nga teknolohiya sa streaming data aron madugangan ang kaluwasan sa mga pasahero samtang makunhuran usab ang paghuot ug mga emisyon pinaagi sa maalamon nga pagruta.
- Balaod: Mahimong gamiton ang TinyML sa pagpatuman sa balaod aron mailhan ang mga ilegal nga aksyon sama sa kagubot ug pagpangawat gamit ang pagkat-on sa makina ug pag-ila sa lihok. Ang susama nga programa mahimo usab nga gamiton aron masiguro ang mga ATM sa bangko. Pinaagi sa pagtan-aw sa pamatasan sa tiggamit, ang usa ka modelo sa TinyML mahimong makatagna kung ang tiggamit usa ka tinuod nga konsumedor nga nagkompleto sa usa ka transaksyon o usa ka manunulong nga misulay sa pag-hack o pagguba sa ATM.
Giunsa pagsugod ang TinyML?
Para makasugod sa TinyML sa TensorFlow Lite, magkinahanglan ka ug compatible microcontroller board. Ang TensorFlow Lite para sa Microcontrollers nagsuporta sa mga microcontroller nga gilista sa ubos.
- Wio Terminal: ATSAMD51
- Himax WE-I Plus EVB Endpoint AI Development Board
- STM32F746 Discovery kit
- Adafruit EdgeBadge
- Synopsys DesignWare ARC EM Software Development Platform
- Ang Sony Spresense
- Arduino Nano 33 BLE Sense
- SparkFun Edge
- Adafruit TensorFlow Lite para sa Microcontrollers Kit
- Adafruit Circuit Playground nga Bluefruit
- Espressif ESP32-DevKitC
- Espressif ESP-MATA
Kini ang 32-bit nga mga microcontroller nga adunay igo nga flash memory, RAM, ug frequency sa orasan aron ipatuman ang usa ka modelo sa pagkat-on sa makina. Ang mga tabla usab adunay daghang mga onboard sensor nga makahimo sa pagpadagan sa bisan unsang naka-embed nga programa ug pagpadapat sa mga modelo sa pagkat-on sa makina sa gipunting nga aplikasyon. Sa paghimo usa ka modelo sa pagkat-on sa makina, magkinahanglan ka og laptop o kompyuter dugang sa plataporma sa hardware.
Ang matag plataporma sa hardware adunay kaugalingong mga himan sa pagprograma alang sa pagtukod, pagbansay, ug pag-port sa mga modelo sa pagkat-on sa makina, nga naggamit sa TensorFlow Lite alang sa Microcontrollers nga pakete. Ang TensorFlow Lite libre nga gamiton ug usbon tungod kay kini Bukas nga tinubdan.
Aron makasugod sa TinyML ug TensorFlow Lite, ang tanan nga imong gikinahanglan mao ang usa sa nahisgutan sa ibabaw nga naka-embed nga hardware platform, usa ka computer/laptop, usa ka USB cable, usa ka USB-to-Serial converter - ug ang tinguha nga magpraktis sa pagkat-on sa makina gamit ang mga embedded system. .
mga hagit
Bisan kung ang pag-uswag sa TinyML naghatag daghang positibo nga mga sangputanan, ang industriya sa pagkat-on sa makina nag-atubang gihapon sa daghang mga babag.
- Diversity sa software – Hand-coding, code generation, ug ML interpreters mao ang tanan nga mga kapilian sa pag-deploy sa mga modelo sa TinyML device, ug ang matag usa nagkinahanglan og lain-laing gidugayon sa panahon ug paningkamot. Ang lainlaing mga pasundayag mahimong motungha tungod niini.
- Pagkalainlain sa hardware - Didto Adunay daghang mga kapilian sa hardware nga magamit. Ang mga plataporma sa TinyML mahimong bisan unsa gikan sa mga microcontroller sa kinatibuk-ang katuyoan hangtod sa mga advanced nga neural processor. Kini ang hinungdan sa mga isyu sa pag-deploy sa modelo sa lainlaing mga arkitektura.
- Troubleshooting/debugging – Kanus-a ang usa ka modelo sa ML dili maayo nga nahimo sa panganod, yano nga tan-awon ang datos ug mahibal-an kung unsa ang sayup. Kung ang usa ka modelo mikaylap sa libu-libo nga mga aparato sa TinyML, nga wala’y stream sa data nga nagbalik sa panganod, ang pag-debug mahimong lisud ug mahimong magkinahanglan usa ka lahi nga pamaagi.
- Mga limitasyon sa memorya - Tradisyonal Ang mga plataporma, sama sa mga smartphone ug laptop, nagkinahanglan og gigabytes sa RAM, samtang ang TinyML nga mga device naggamit sa kilobytes o megabytes. Ingon usa ka sangputanan, ang gidak-on sa modelo nga mahimong i-deploy limitado.
- Pagbansay sa modelo - Bisan pa adunay ubay-ubay nga mga bentaha sa pag-deploy sa mga modelo sa ML sa mga aparato nga TinyML, ang kadaghanan sa mga modelo sa ML gibansay gihapon sa panganod aron mabag-o ug padayon nga mapaayo ang katukma sa modelo.
Kaugmaon
Ang TinyML, uban ang gamay nga tunob niini, gamay nga konsumo sa baterya, ug kakulang o limitado nga pagsalig sa koneksyon sa internet, adunay dako nga potensyal sa umaabot, tungod kay ang kadaghanan sa pig-ot. artipisyal nga intelligence nga ipatuman sa edge device o independent embedded gadgets.
Kini maghimo sa IoT nga mga aplikasyon nga mas pribado ug luwas pinaagi sa paggamit niini. Bisan pa TensorFlow Ang Lite sa pagkakaron mao ang bugtong balangkas sa pagkat-on sa makina alang sa mga microcontroller ug microcomputers, ang uban pang susama nga mga frameworks sama sa sensor ug CMSIS-NN sa ARM anaa sa mga buhat.
Samtang ang TensorFlow Lite usa ka bukas nga gigikanan nga proyekto nga nagpadayon nga nagsugod sa usa ka maayo nga pagsugod sa Google's Team, kinahanglan pa kini nga suporta sa komunidad aron makasulod sa mainstream.
Panapos
Ang TinyML usa ka bag-ong pamaagi nga naghiusa sa mga naka-embed nga sistema sa pagkat-on sa makina. Samtang ang pig-ot nga AI nag-uswag sa daghang mga bertikal ug mga dominyo, ang teknolohiya mahimong mogawas ingon usa ka prominenteng subfield sa pagkat-on sa makina ug artificial intelligence.
Naghatag kini usa ka solusyon sa daghang mga hagit nga giatubang karon sa sektor sa IoT ug mga propesyonal nga nag-aplay sa pagkat-on sa makina sa daghang mga disiplina nga piho sa domain.
Ang konsepto sa paggamit sa pagkat-on sa makina sa edge device nga adunay gamay nga computing Ang footprint ug konsumo sa kuryente adunay potensyal nga mabag-o pag-ayo kung giunsa paghimo ang mga naka-embed nga sistema ug robotics.
Leave sa usa ka Reply