Pregled sadržaja[Sakriti][Pokazati]
Mnogi zamišljaju robote poput onih u filmovima znanstvene fantastike koji oponašaju ili čak nadmašuju ljudski intelekt kada čuju izraze umjetna inteligencija, duboko učenje i strojno učenje.
Drugi misle da ti uređaji samo primaju informacije i sami uče iz njih. Pa... Malo je varljivo. Označavanje podataka je metoda koja se koristi za treniranje računala da postanu "pametna", budući da imaju ograničene mogućnosti bez ljudskih uputa.
Kako bismo osposobili računalo da djeluje "pametno", unosimo podatke u različite oblike i učimo ga raznim strategijama uz pomoć označavanja podataka.
Skupovi podataka moraju biti anotirani ili označeni brojnim permutacijama istih informacija kao dio znanstvene podloge označavanja podataka.
Trud i predanost uloženi u finalni proizvod su za svaku pohvalu, čak i kada iznenađuju i olakšavaju svakodnevni život.
Saznajte više o označavanju podataka u ovom članku kako biste saznali što je to, kako funkcionira, različite vrste označavanja podataka, prepreke i još mnogo toga.
Dakle, što je označavanje podataka?
In stroj za učenje, kalibar i priroda ulaznih podataka diktiraju kalibar i prirodu izlaza. Točnost vašeg AI modela poboljšana je kalibrom podataka koji se koriste za njegovo treniranje.
Drugim riječima, označavanje podataka je čin označavanja ili označavanja različitih nestrukturiranih ili strukturiranih skupova podataka kako bi se naučilo računalo identificirati razlike i obrasce među njima.
Ilustracija će vam pomoći da to shvatite. Potrebno je označiti svako crveno svjetlo na raznim slikama kako bi računalo naučilo da je crveno svjetlo znak za zaustavljanje.
Na temelju toga AI razvija algoritam koji će u svakoj situaciji protumačiti crveno svjetlo kao znak zaustavljanja. Još jedna ilustracija je mogućnost kategoriziranja različitih skupova podataka pod naslovima jazz, pop, rock, klasika i drugo kako bi se odvojili različiti glazbeni žanrovi.
Pojednostavljeno rečeno, označavanje podataka u strojnom učenju odnosi se na proces otkrivanja neoznačenih podataka (kao što su fotografije, tekstualne datoteke, videozapisi itd.) i dodavanje jedne ili više relevantnih oznaka za pružanje konteksta tako da model strojnog učenja može učiti iz to.
Oznake bi mogle reći, na primjer, pokazuje li rendgenska slika tumor ili ne, koje su riječi izgovorene u audio isječku ili slika ptice ili automobila.
Označavanje podataka bitno je za brojne slučajeve upotrebe, uključujući prepoznavanje govora, računalni vid, i obrada prirodnog jezika.
Označavanje podataka: Zašto je važno?
Prvo, četvrta industrijska revolucija usredotočena je na vještinu strojeva za obuku. Kao rezultat toga, svrstava se među najznačajnija softverska dostignuća današnjice.
Vaš sustav strojnog učenja mora biti kreiran, što uključuje označavanje podataka. Utvrđuje mogućnosti sustava. Nema sustava ako podaci nisu označeni.
Mogućnosti označavanja podataka ograničene su samo vašom kreativnošću. Bilo koja radnja koju možete mapirati u sustav ponovit će se sa svježim informacijama.
Što znači da će vrsta, količina i raznolikost podataka koje možete poučiti sustavu odrediti njegovu inteligenciju i sposobnost.
Drugi je da rad na označavanju podataka dolazi prije rada na znanosti o podacima. Sukladno tome, označavanje podataka je neophodno za znanost o podacima. Neuspjesi i pogreške u označavanju podataka utječu na znanost o podacima. Alternativno, da upotrijebim grublji klišej, "smeće unutra, smeće van."
Treće, Umijeće označavanja podataka označava promjenu u načinu na koji ljudi pristupaju razvoju sustava umjetne inteligencije. Istovremeno usavršavamo strukturu označavanja podataka kako bismo bolje ispunili svoje ciljeve umjesto da samo pokušavamo poboljšati matematičke tehnike.
Na tome se temelji moderna automatizacija i središte je AI transformacije koja je trenutno u tijeku. Sada više nego ikad, rad znanja se mehanizira.
Kako funkcionira označavanje podataka?
Tijekom postupka označavanja podataka slijedi se sljedeći kronološki redoslijed.
Skupljanje podataka
Podaci su kamen temeljac svakog strojnog učenja. Početna faza označavanja podataka sastoji se od prikupljanja odgovarajuće količine neobrađenih podataka u različitim oblicima.
Prikupljanje podataka može imati jedan od dva oblika: ili dolazi iz internih izvora koje tvrtka koristi ili dolazi iz javno dostupnih vanjskih izvora.
Budući da su u sirovom obliku, ove podatke je potrebno očistiti i obraditi prije izrade oznaka skupa podataka. Model se zatim obučava pomoću ovih očišćenih i prethodno obrađenih podataka. Nalazi će biti točniji što je skup podataka veći i raznolikiji.
Anotiranje podataka
Nakon čišćenja podataka, stručnjaci za domenu ispituju podatke i primjenjuju oznake pomoću nekoliko tehnika označavanja podataka. Model ima smislen kontekst koji se može koristiti kao osnovna istina.
Ovo su varijable koje želite da model predvidi, kao što su fotografije.
Osiguranje kvalitete
Kvaliteta podataka, koji bi trebali biti pouzdani, točni i dosljedni, ključna je za uspjeh obuke modela strojnog učenja. Moraju se provoditi redoviti QA testovi kako bi se zajamčilo ovo točno i ispravno označavanje podataka.
Moguće je procijeniti točnost ovih napomena korištenjem tehnika osiguranja kvalitete kao što su Consensus i Cronbachov alfa test. Točnost rezultata je značajno poboljšana rutinskim QA inspekcijama.
Modeli obuke i testiranja
Navedeni postupci imaju smisla samo ako se provjeri točnost podataka. Tehnika će se testirati uključivanjem nestrukturiranog skupa podataka kako bi se provjerilo daje li željene rezultate.
Strategije označavanja podataka
Označavanje podataka je naporan proces koji zahtijeva pažnju prema detaljima. Metoda koja se koristi za označavanje podataka razlikovat će se ovisno o izjavi o problemu, o tome koliko podataka treba označiti, koliko su podaci komplicirani i stilu.
Prođimo kroz neke od opcija koje vaša tvrtka ima, ovisno o resursima koje ima i vremenu koje ima na raspolaganju.
Označavanje podataka unutar tvrtke
Kao što naziv implicira, unutarnje označavanje podataka obavljaju stručnjaci unutar tvrtke. Kada imate dovoljno vremena, osoblja i financijskih sredstava, to je najbolja opcija jer osigurava najtočnije označavanje. Međutim, kreće se sporo.
Outsourcing
Još jedna opcija za obavljanje poslova je angažiranje slobodnih saradnika za zadatke označavanja podataka koji se mogu otkriti na raznim tržištima za traženje posla i slobodnim zanimanjima kao što je Upwork.
Outsourcing je brza opcija za dobivanje usluga označavanja podataka, međutim, kvaliteta bi mogla biti oštećena, slično prethodnoj metodi.
bing
Možete se prijaviti kao podnositelj zahtjeva i distribuirati različite poslove označavanja dostupnim izvođačima na specijaliziranim platformama za masovno okupljanje kao što su Amazon Mechanical Turk (MTurk).
Ova metoda, iako je donekle brza i jeftina, ne može pružiti kvalitetne označene podatke.
Automatsko označavanje podataka.
Postupak može biti potpomognut softverom osim što se može provesti ručno. Koristeći pristup aktivnog učenja, oznake se mogu automatski pronaći i dodati skupu podataka za obuku.
U biti, ljudski stručnjaci razvijaju AI Auto-label model za označavanje neoznačenih, neobrađenih podataka. Zatim odlučuju je li model ispravno primijenio označavanje. Ljudi popravljaju pogreške nakon neuspjeha i ponovno uvježbavaju algoritam.
Razvoj sintetičkih podataka.
Umjesto podataka iz stvarnog svijeta, sintetički podaci je označeni skup podataka koji je umjetno proizveden. Proizvodi se pomoću algoritama ili računalnih simulacija i često se koristi trenirati modele strojnog učenja.
Sintetički podaci izvrstan su odgovor na pitanja nedostatka i raznolikosti podataka u kontekstu postupaka označavanja. Stvaranje sintetički podaci od nule nudi rješenje.
Razvojni programeri skupa podataka moraju moći prepoznati stvaranje 3D postavki sa stavkama i okruženjem modela. Može se prikazati onoliko sintetičkih podataka koliko je potrebno za projekt.
Izazovi označavanja podataka
Zahtijeva više vremena i truda
Osim što je zahtjevno dobiti velike količine podataka (osobito za visoko specijalizirane industrije poput zdravstva), označavanje svakog dijela podataka ručno je i naporno i naporno, zahtijevajući pomoć ljudi koji označavaju.
Gotovo 80% vremena utrošenog na projekt tijekom cijelog ciklusa razvoja ML-a potrošeno je na pripremu podataka, što uključuje označavanje.
Mogućnost nedosljednosti
Većinu vremena unakrsno označavanje, koje se događa kada mnogi ljudi označavaju iste skupove podataka, rezultira većom točnošću.
Međutim, budući da pojedinci ponekad imaju različite stupnjeve kompetencije, standardi označavanja i same oznake mogu biti nedosljedni, što je drugi problem. Moguće je da se dva ili više anotatora ne slažu oko nekih oznaka.
Na primjer, jedan bi stručnjak mogao recenziju hotela ocijeniti povoljnom, dok bi je drugi smatrao sarkastičnom i dodijelio joj nisku ocjenu.
Poznavanje domene
Osjetit ćete potrebu zaposliti etiketere sa specijaliziranim industrijskim znanjem za neke sektore.
Anotatori bez potrebnog znanja o domeni, na primjer, imat će vrlo teško vrijeme za odgovarajuće označavanje stavki dok stvaraju ML aplikaciju za zdravstveni sektor.
Sklonost pogreškama
Ručno označavanje podložno je ljudskim pogreškama, bez obzira na to koliko su vaši etiketeri obrazovani i pažljivi. Zbog činjenice da anotatori često rade s ogromnim neobrađenim skupovima podataka, ovo je neizbježno.
Zamislite osobu koja označava 100,000 slika s do 10 različitih stvari.
Uobičajene vrste označavanja podataka
računalni vid
Da biste razvili svoj skup podataka za obuku, prvo morate označiti slike, piksele ili ključne točke ili uspostaviti granicu koja u potpunosti zatvara digitalnu sliku, poznatu kao granični okvir, kada gradite sustav računalnog vida.
Fotografije se mogu kategorizirati na razne načine, uključujući prema sadržaju (što je zapravo na samoj slici) i kvaliteti (kao što su fotografije proizvoda u odnosu na način života).
Slike se također mogu podijeliti u segmente na razini piksela. Model računalnog vida razvijen korištenjem ovih podataka o obuci može se naknadno koristiti za automatsko klasificiranje slika, određivanje položaja objekata, isticanje ključnih područja na slici i segmentiranje slika.
Obrada prirodnog jezika
Prije izrade skupa podataka za obuku obrade prirodnog jezika, morate ručno odabrati relevantne tekstualne fragmente ili klasificirati materijal s određenim oznakama.
Na primjer, mogli biste htjeti prepoznati govorne obrasce, klasificirati vlastite imenice kao što su mjesta i ljudi i identificirati tekst na slikama, PDF-ovima ili drugim medijima. Možda ćete također htjeti odrediti osjećaj ili namjeru reklamnog teksta.
Napravite granične okvire oko teksta u skupu podataka za obuku kako biste to postigli, a zatim ga ručno prepišite.
Optičko prepoznavanje znakova, identifikacija naziva entiteta i analiza osjećaja izvode se korištenjem modela obrade prirodnog jezika.
Audio obradu
Obrada zvuka pretvara sve vrste zvukova u strukturirani format tako da se mogu koristiti u strojnom učenju, uključujući govor, zvukove životinja (lajanje, zvižduke ili cvrkut) i zvukove zgrada (razbijeno staklo, skeniranje ili sirene).
Često, prije nego što počnete rukovati zvukom, morate ga ručno pretvoriti u tekst. Nakon toga, kategorizacijom i dodavanjem oznaka zvuku, možete saznati više detaljnih informacija o njemu. Vaš baza podataka treninga je li ovo tajni audio.
Zaključak
Zaključno, identificiranje vaših podataka ključan je dio obuke bilo kojeg modela umjetne inteligencije. No, organizacija s brzim tempom jednostavno si ne može priuštiti trošenje vremena radeći to ručno jer oduzima puno vremena i energije.
Osim toga, to je postupak koji je sklon netočnosti i ne obećava veliku točnost. Ne mora biti tako teško, što je izvrsna vijest.
Današnje tehnologije označavanja podataka omogućuju suradnju između ljudi i strojeva za pružanje preciznih i korisnih podataka za razne aplikacije strojnog učenja.
Ostavi odgovor