Sadržaj[Sakrij][Prikaži]
Mnogi zamišljaju robote poput onih u naučnofantastičnim filmovima koji oponašaju ili čak nadmašuju ljudski intelekt kada čuju pojmove umjetna inteligencija, duboko učenje i strojno učenje.
Drugi misle da ovi uređaji samo preuzimaju informacije i uče iz njih sami. Pa… Malo je varljivo. Označavanje podataka je metoda koja se koristi za obuku računara da postanu „pametni“, jer imaju ograničene mogućnosti bez ljudskih instrukcija.
Da bismo obučili računar da se ponaša „pametno“, unosimo podatke u različite oblike i učimo ga raznim strategijama uz pomoć označavanja podataka.
Skupovi podataka moraju biti označeni ili označeni brojnim permutacijama istih informacija kao dio nauke koja leži u osnovi označavanja podataka.
Trud i posvećenost uloženi u konačni proizvod su hvalevrijedni, čak i kada iznenađuje i olakšava naš svakodnevni život.
Naučite o označavanju podataka u ovom članku kako biste saznali što je to, kako funkcionira, različite vrste označavanja podataka, prepreke i još mnogo toga.
Dakle, šta je označavanje podataka?
In mašinsko učenje, kalibar i priroda ulaznih podataka diktiraju kalibar i prirodu izlaza. Preciznost vašeg AI modela je poboljšana kalibrom podataka koji se koriste za njegovu obuku.
Drugim rečima, označavanje podataka je čin označavanja ili označavanja različitih nestrukturiranih ili strukturiranih skupova podataka kako bi se računar naučio da identifikuje razlike i obrasce između njih.
Ilustracija će vam pomoći da ovo shvatite. Potrebno je označiti svako crveno svjetlo na raznim slikama kako bi računar naučio da je crveno svjetlo signal za zaustavljanje.
Na osnovu toga, AI razvija algoritam koji će u svakoj situaciji tumačiti crveno svjetlo kao indikaciju za zaustavljanje. Još jedna ilustracija je mogućnost kategorizacije različitih skupova podataka pod naslovima džez, pop, rok, klasika i još mnogo toga kako bi se razdvojili različiti muzički žanrovi.
Jednostavno rečeno, označavanje podataka u mašinskom učenju odnosi se na proces otkrivanja neoznačenih podataka (kao što su fotografije, tekstualne datoteke, video zapisi, itd.) i dodavanja jedne ili više relevantnih oznaka kako bi se ponudio kontekst tako da model mašinskog učenja može učiti iz to.
Oznake bi mogle, na primjer, reći da li rendgenski snimak pokazuje tumor ili ne, koje riječi su izgovorene u audio snimku, ili da li je slika ptice ili automobila.
Označavanje podataka je neophodno za brojne slučajeve upotrebe, uključujući prepoznavanje govora, računarski vidi obrada prirodnog jezika.
Označavanje podataka: Zašto je važno?
Prvo, četvrta industrijska revolucija je usredsređena na veštinu mašina za obuku. Kao rezultat toga, svrstava se među najznačajnija softverska dostignuća u sadašnjosti.
Vaš sistem mašinskog učenja mora biti kreiran, što uključuje označavanje podataka. On utvrđuje sposobnosti sistema. Nema sistema ako podaci nisu označeni.
Mogućnosti s označavanjem podataka ograničene su samo vašom kreativnošću. Svaka radnja koju možete mapirati u sistem će se ponoviti sa svježim informacijama.
To znači da će vrsta, količina i raznolikost podataka koje možete naučiti sistemu odrediti njegovu inteligenciju i sposobnost.
Drugi je da rad na označavanju podataka dolazi prije rada na nauci o podacima. Shodno tome, označavanje podataka je neophodno za nauku o podacima. Neuspjesi i greške u označavanju podataka utiču na nauku o podacima. Alternativno, da upotrebimo grublji kliše, „ubaciti smeće, izbaciti smeće“.
Treće, umjetnost označavanja podataka označava promjenu u načinu na koji ljudi pristupaju razvoju AI sistema. Istovremeno preciziramo strukturu označavanja podataka kako bismo bolje ispunili svoje ciljeve, a ne samo da pokušavamo poboljšati matematičke tehnike.
Moderna automatizacija je zasnovana na tome, i to je centar AI transformacije koja je trenutno u toku. Sada se više nego ikada rad znanja mehanizuje.
Kako funkcionira označavanje podataka?
Sljedeći hronološki redoslijed slijedi tokom postupka označavanja podataka.
Prikupljanje podataka
Podaci su kamen temeljac svakog poduhvata mašinskog učenja. Početna faza označavanja podataka sastoji se od prikupljanja odgovarajuće količine neobrađenih podataka u različitim oblicima.
Prikupljanje podataka može imati jedan od dva oblika: ili dolazi iz internih izvora koje je preduzeće koristilo ili dolazi iz javno dostupnih eksternih izvora.
Pošto su u sirovom obliku, ove podatke je potrebno očistiti i obraditi prije nego što se naprave oznake skupa podataka. Model se zatim obučava koristeći ove očišćene i prethodno obrađene podatke. Nalazi će biti tačniji što je skup podataka veći i raznovrsniji.
Anotiranje podataka
Nakon čišćenja podataka, stručnjaci domene pregledavaju podatke i primjenjuju oznake koristeći nekoliko tehnika označavanja podataka. Model ima smisleni kontekst koji se može koristiti kao temeljna istina.
Ovo su varijable koje želite da model predvidi, kao što su fotografije.
Osiguranje kvaliteta
Kvalitet podataka, koji treba da bude pouzdan, tačan i konzistentan, ključan je za uspeh obuke modela ML. Redovni QA testovi moraju biti implementirani kako bi se garantovalo ovo tačno i ispravno označavanje podataka.
Moguće je procijeniti tačnost ovih napomena korištenjem QA tehnika kao što su Konsenzus i Cronbachov alfa test. Ispravnost rezultata je značajno poboljšana rutinskim QA inspekcijama.
Modeli obuke i testiranja
Navedene procedure imaju smisla samo ako se provjeri ispravnost podataka. Tehnika će biti stavljena na test uključivanjem nestrukturiranog skupa podataka kako bi se provjerilo da li daje željene rezultate.
Strategije označavanja podataka
Označavanje podataka je naporan proces koji zahtijeva pažnju na detalje. Metoda koja se koristi za označavanje podataka će se razlikovati ovisno o izjavi o problemu, koliko podataka treba označiti, koliko su podaci složeni i stilu.
Hajde da prođemo kroz neke od opcija koje vaše preduzeće ima, u zavisnosti od resursa koje ima i vremena koje ima na raspolaganju.
Označavanje podataka u kući
Kao što naziv govori, interno označavanje podataka obavljaju stručnjaci unutar kompanije. Kada imate dovoljno vremena, osoblja i finansijskih sredstava, to je najbolja opcija jer osigurava najpreciznije označavanje. Međutim, kreće se sporo.
Outsourcing
Druga opcija za obavljanje poslova je unajmiti slobodnjake za zadatke označavanja podataka koji se mogu otkriti na raznim tržištima za traženje posla i slobodnim radnjama kao što je Upwork.
Outsourcing je brza opcija za dobijanje usluga označavanja podataka, međutim, kvalitet bi mogao da trpi, slično prethodnoj metodi.
Crowdsourcing
Možete se prijaviti kao podnosilac zahtjeva i distribuirati različite poslove označavanja dostupnim izvođačima na specijaliziranim platformama za masovno oglašavanje kao što su Amazon mehanički Turk (MTurk).
Metoda, iako je donekle brza i jeftina, ne može pružiti kvalitetne podatke s komentarima.
Automatsko označavanje podataka.
Procedura može biti potpomognuta softverom osim što se izvodi ručno. Koristeći pristup aktivnog učenja, oznake se mogu automatski pronaći i dodati skupu podataka za obuku.
U suštini, stručnjaci za ljude razvijaju model automatskog označavanja AI za označavanje neobeleženih, sirovih podataka. Zatim odlučuju da li je model na odgovarajući način primijenio označavanje. Ljudi popravljaju greške nakon neuspjeha i ponovo obučavaju algoritam.
Razvoj sintetičkih podataka.
Umjesto podataka iz stvarnog svijeta, sintetički podaci je označeni skup podataka koji je umjetno proizveden. Proizvodi se algoritmima ili kompjuterskim simulacijama i često se koristi obučite modele mašinskog učenja.
Sintetički podaci su odličan odgovor na pitanja oskudice i raznolikosti podataka u kontekstu postupaka označavanja. Stvaranje sintetički podaci od nule nudi rješenje.
Kreiranje 3D postavki sa stavkama i okruženjem modela moraju biti u stanju da prepoznaju programeri skupova podataka. Može se prikazati onoliko sintetičkih podataka koliko je potrebno za projekat.
Izazovi označavanja podataka
Zahteva više vremena i truda
Osim što je izazov za dobivanje velikih količina podataka (posebno za visokospecijalizirane industrije kao što je zdravstvo), ručno označavanje svakog podatka je i radno intenzivno i naporno, što zahtijeva pomoć ljudi koji ih označavaju.
Gotovo 80% vremena provedenog na projektu tokom cijelog ciklusa razvoja ML-a se troši na pripremu podataka, što uključuje i označavanje.
Mogućnost nedosljednosti
Većinu vremena, unakrsno označavanje, koje se dešava kada mnogi ljudi označavaju iste skupove podataka, rezultira većom preciznošću.
Međutim, budući da pojedinci ponekad imaju različite stepene kompetencije, standardi označavanja i same oznake mogu biti nedosljedni, što je još jedan problem, moguće je da se dva ili više anotatora ne slažu oko nekih oznaka.
Na primjer, jedan stručnjak bi mogao ocijeniti recenziju hotela povoljnom, dok bi je drugi smatrao sarkastičnom i dodijelio joj nisku ocjenu.
Poznavanje domena
Osjetit ćete potrebu da unajmite etiketere sa specijalizovanim industrijskim znanjem za neke sektore.
Annotatori bez potrebnog znanja o domeni, na primjer, imat će vrlo teško vrijeme da prikladno označe stavke dok kreiraju ML aplikaciju za zdravstveni sektor.
Sklonost greškama
Ručno označavanje podložno je ljudskim greškama, bez obzira na to koliko su vaši etiketirci obrazovani i pažljivi. Zbog činjenice da anotatori često rade sa ogromnim skupovima sirovih podataka, ovo je neizbježno.
Zamislite osobu koja označava 100,000 slika sa do 10 različitih stvari.
Uobičajene vrste označavanja podataka
Computer Vision
Da biste razvili svoj skup podataka za obuku, prvo morate označiti slike, piksele ili ključne tačke, ili uspostaviti granicu koja u potpunosti obuhvata digitalnu sliku, poznatu kao granična kutija, kada gradite sistem kompjuterskog vida.
Fotografije se mogu kategorizirati na različite načine, uključujući sadržaj (ono što je zapravo na samoj slici) i kvalitet (kao što su slike proizvoda naspram životnog stila).
Slike se također mogu podijeliti na segmente na nivou piksela. Model kompjuterskog vida razvijen pomoću ovih podataka obuke može se kasnije koristiti za automatsku klasifikaciju slika, određivanje lokacije objekata, isticanje ključnih područja na slici i segmentiranje slika.
Obrada prirodnog jezika
Prije izrade skupa podataka za obuku za obradu prirodnog jezika, morate ručno odabrati relevantne tekstualne fragmente ili klasificirati materijal određenim oznakama.
Na primjer, mogli biste prepoznati govorne obrasce, klasificirati vlastite imenice poput mjesta i ljudi i identificirati tekst na slikama, PDF-ovima ili drugim medijima. Možda ćete htjeti odrediti sentiment ili namjeru tekstualne slike.
Napravite granične okvire oko teksta u vašem skupu podataka za obuku da biste to postigli, a zatim ga ručno transkribirajte.
Optičko prepoznavanje znakova, identifikacija naziva entiteta i analiza osjećaja se izvode korištenjem modela obrade prirodnog jezika.
Obrada zvuka
Obrada zvuka pretvara sve vrste zvukova u strukturirani format tako da se mogu koristiti u mašinskom učenju, uključujući govor, zvukove životinja (lajanje, zvižduke ili cvrčanje) i zvukove zgrada (slomljeno staklo, skeniranje ili sirene).
Često, prije nego što možete rukovati zvukom, morate ga ručno pretvoriti u tekst. Nakon toga, kategorizacijom i dodavanjem oznaka zvuku, možete saznati detaljnije informacije o njemu. Tvoje skup podataka za obuku je li ovo povjerljivi zvuk.
zaključak
Zaključno, identifikacija vaših podataka je ključni dio obuke bilo kojeg AI modela. Organizacija koja se brzo razvija, međutim, jednostavno ne može sebi priuštiti da troši vrijeme radeći to ručno jer je to dugotrajno i energetski intenzivno.
Osim toga, to je postupak koji je sklon nepreciznostima i ne obećava veliku preciznost. Ne mora biti tako teško, što je odlična vijest.
Današnje tehnologije označavanja podataka omogućavaju saradnju između ljudi i mašina kako bi se pružili precizni i korisni podaci za različite aplikacije mašinskog učenja.
Ostavite odgovor