Spis treści[Ukryć][Pokazać]
Wiele osób wyobraża sobie roboty, takie jak te w filmach science fiction, które naśladują, a nawet przewyższają ludzki intelekt, gdy słyszą pojęcia sztucznej inteligencji, głębokiego uczenia się i uczenia maszynowego.
Inni uważają, że te urządzenia po prostu pobierają informacje i uczą się z nich samodzielnie. Cóż… To trochę zwodnicze. Etykietowanie danych to metoda wykorzystywana do trenowania komputerów, aby stały się „inteligentne”, ponieważ mają ograniczone możliwości bez instrukcji człowieka.
Aby wytrenować komputer, aby działał „mądrze”, wprowadzamy dane w różnych formach i uczymy go różnych strategii za pomocą etykietowania danych.
Zbiory danych muszą być opatrzone adnotacjami lub etykietami z licznymi permutacjami tych samych informacji w ramach nauki leżącej u podstaw etykietowania danych.
Wysiłek i poświęcenie włożone w produkt końcowy są godne pochwały, nawet jeśli zaskakuje i ułatwia codzienne życie.
Dowiedz się więcej o oznaczaniu danych w tym artykule, aby dowiedzieć się, co to jest, jak działa, różne typy oznaczania danych, przeszkody i wiele więcej.
Czym więc jest etykietowanie danych?
In uczenie maszynowekaliber i charakter danych wejściowych dyktują kaliber i charakter danych wyjściowych. Dokładność modelu AI jest zwiększona przez kaliber danych wykorzystywanych do jego trenowania.
Innymi słowy, oznaczanie danych jest czynnością oznaczania lub dodawania adnotacji do różnych nieustrukturyzowanych lub ustrukturyzowanych zestawów danych w celu nauczenia komputera rozpoznawania różnic i wzorców między nimi.
Ilustracja pomoże ci to zrozumieć. Konieczne jest oznaczenie każdego czerwonego światła na różnych obrazach, aby komputer dowiedział się, że czerwone światło jest sygnałem do zatrzymania.
Na tej podstawie sztuczna inteligencja opracowuje algorytm, który w każdej sytuacji zinterpretuje czerwone światło jako sygnalizację zatrzymania. Inną ilustracją jest możliwość kategoryzacji różnych zbiorów danych pod nagłówkami jazz, pop, rock, muzyka klasyczna i nie tylko w celu oddzielenia różnych gatunków muzycznych.
Mówiąc prościej, etykietowanie danych w uczeniu maszynowym odnosi się do procesu wykrywania nieoznakowanych danych (takich jak zdjęcia, pliki tekstowe, filmy itp.) i dodawania jednej lub więcej odpowiednich etykiet w celu zaoferowania kontekstu, dzięki czemu model uczenia maszynowego może się uczyć to.
Etykiety mogą na przykład wskazywać, czy prześwietlenie pokazuje guz, czy nie, jakie słowa zostały wypowiedziane w klipie audio lub czy zdjęcie ptaka lub samochodu.
Etykietowanie danych jest niezbędne w wielu przypadkach użycia, w tym w rozpoznawaniu mowy, wizja komputerowaoraz przetwarzanie języka naturalnego.
Etykietowanie danych: dlaczego jest ważne?
Po pierwsze, czwarta rewolucja przemysłowa koncentruje się na umiejętnościach trenowania maszyn. W rezultacie plasuje się wśród najbardziej znaczących postępów w oprogramowaniu w teraźniejszości.
Musisz stworzyć swój system uczenia maszynowego, który obejmuje etykietowanie danych. Określa możliwości systemu. Nie ma systemu, jeśli dane nie są oznakowane.
Możliwości związane z etykietowaniem danych są ograniczone jedynie Twoją kreatywnością. Każda czynność, którą możesz zmapować do systemu, będzie powtarzana z nowymi informacjami.
Oznacza to, że rodzaj, ilość i różnorodność danych, których możesz nauczyć system, determinują jego inteligencję i możliwości.
Po drugie, praca nad etykietowaniem danych ma pierwszeństwo przed pracą naukową o danych. W związku z tym etykietowanie danych jest niezbędne do nauki o danych. Niepowodzenia i błędy w etykietowaniu danych wpływają na naukę o danych. Ewentualnie, by użyć bardziej prymitywnego frazesu, „wyrzucać śmieci, wyrzucać śmieci”.
Po trzecie, The Art of Data Labeling oznacza zmianę w podejściu ludzi do rozwoju systemów sztucznej inteligencji. Jednocześnie udoskonalamy strukturę etykietowania danych, aby lepiej spełniać nasze cele, a nie tylko próbować ulepszać techniki matematyczne.
Na tym opiera się nowoczesna automatyzacja i jest to centrum trwającej obecnie transformacji AI. Teraz bardziej niż kiedykolwiek praca z wiedzą jest mechanizowana.
Jak działa etykietowanie danych?
Podczas procedury znakowania danych przestrzegany jest następujący porządek chronologiczny.
Zbieranie danych
Dane są podstawą każdego przedsięwzięcia związanego z uczeniem maszynowym. Początkowy etap znakowania danych polega na zebraniu odpowiedniej ilości surowych danych w różnych formach.
Gromadzenie danych może przybrać jedną z dwóch form: albo pochodzą ze źródeł wewnętrznych, z których korzysta firma, albo z publicznie dostępnych źródeł zewnętrznych.
Ponieważ są w postaci surowej, dane te muszą zostać oczyszczone i przetworzone przed utworzeniem etykiet zestawu danych. Model jest następnie szkolony przy użyciu oczyszczonych i wstępnie przetworzonych danych. Wyniki będą tym dokładniejsze, im większy i bardziej zróżnicowany zbiór danych.
Dodawanie adnotacji do danych
Po oczyszczeniu danych eksperci domeny badają dane i stosują etykiety przy użyciu kilku technik oznaczania danych. Model ma znaczący kontekst, który można wykorzystać jako podstawową prawdę.
Są to zmienne, które ma przewidywać model, takie jak zdjęcia.
Zapewnienie jakości
Jakość danych, które powinny być godne zaufania, dokładne i spójne, ma kluczowe znaczenie dla powodzenia uczenia modelu ML. Należy wdrożyć regularne testy QA, aby zagwarantować dokładne i prawidłowe oznakowanie danych.
Dokładność tych adnotacji można ocenić za pomocą technik zapewniania jakości, takich jak Konsensus i test alfa Cronbacha. Poprawność wyników znacznie poprawiają rutynowe inspekcje QA.
Modele szkoleniowe i testowe
Powyższe procedury mają sens tylko wtedy, gdy dane są sprawdzane pod kątem poprawności. Technika zostanie przetestowana poprzez włączenie nieustrukturyzowanego zestawu danych, aby sprawdzić, czy przynosi pożądane wyniki.
Strategie oznaczania danych
Etykietowanie danych to pracochłonny proces, który wymaga dbałości o szczegóły. Metoda używana do adnotowania danych będzie się różnić w zależności od stwierdzenia problemu, ilości danych do otagowania, stopnia skomplikowania danych i stylu.
Przyjrzyjmy się niektórym z opcji, jakie oferuje Twoja firma, w zależności od posiadanych zasobów i dostępnego czasu.
Etykietowanie danych we własnym zakresie
Jak sama nazwa wskazuje, wewnętrzne etykietowanie danych jest wykonywane przez ekspertów w firmie. Gdy masz wystarczająco dużo czasu, personelu i zasobów finansowych, jest to najlepsza opcja, ponieważ zapewnia najdokładniejsze etykietowanie. Porusza się jednak powoli.
Outsourcing
Inną opcją do załatwienia sprawy jest zatrudnienie freelancerów do zadań związanych z etykietowaniem danych, których można znaleźć na różnych rynkach poszukiwania pracy i freelancerów, takich jak Upwork.
Outsourcing to szybka opcja uzyskania usług etykietowania danych, jednak jakość może ucierpieć, podobnie jak w przypadku poprzedniej metody.
Crowdsourcing
Możesz zalogować się jako requester i rozesłać różne zadania związane z etykietowaniem do dostępnych wykonawców na wyspecjalizowanych platformach crowdsourcingowych, takich jak Amazon Mechanical Turk (Mturk).
Metoda ta, choć dość szybka i niedroga, nie zapewnia dobrej jakości danych z adnotacjami.
Automatyczne etykietowanie danych.
Procedurę może wspomagać oprogramowanie, a także przeprowadzać ją ręcznie. Stosując metodę aktywnego uczenia się, tagi mogą być automatycznie wyszukiwane i dodawane do zestawu danych treningowych.
Zasadniczo specjaliści od ludzi opracowują model automatycznego etykietowania AI do oznaczania nieoznakowanych, surowych danych. Następnie decydują, czy model odpowiednio zastosował oznakowanie. Ludzie naprawiają błędy po awarii i ponownie szkolą algorytm.
Opracowanie danych syntetycznych.
Zamiast danych ze świata rzeczywistego, dane syntetyczne to oznaczony zestaw danych, który został sztucznie wyprodukowany. Jest tworzony przez algorytmy lub symulacje komputerowe i jest często używany trenować modele uczenia maszynowego.
Dane syntetyczne są doskonałą odpowiedzią na problem niedoboru i różnorodności danych w kontekście procedur znakowania. Stworzenie dane syntetyczne od podstaw oferuje rozwiązanie.
Tworzenie ustawień 3D z elementami i otoczeniem modelu musi być możliwe do rozpoznania przez twórców zestawów danych. Można wyrenderować tyle syntetycznych danych, ile jest wymaganych do projektu.
Wyzwania związane z etykietowaniem danych
Wymaga więcej czasu i wysiłku
Oprócz trudności w uzyskaniu dużych ilości danych (zwłaszcza w przypadku wysoce wyspecjalizowanych branż, takich jak opieka zdrowotna), ręczne etykietowanie każdego elementu danych jest zarówno pracochłonne, jak i pracochłonne, co wymaga pomocy ludzi zajmujących się etykietowaniem.
Prawie 80% czasu spędzonego nad projektem w całym cyklu rozwoju ML jest przeznaczane na przygotowanie danych, w tym etykietowanie.
Możliwość niespójności
W większości przypadków etykietowanie krzyżowe, które ma miejsce, gdy wiele osób oznacza te same zestawy danych, zapewnia większą dokładność.
Jednak ponieważ poszczególne osoby mają czasem różne stopnie kompetencji, standardy etykietowania i same etykiety mogą być niespójne, co stanowi kolejną kwestię. Możliwe jest, że dwóch lub więcej adnotatorów nie zgadza się w przypadku niektórych tagów.
Na przykład jeden ekspert może ocenić ocenę hotelu jako korzystną, podczas gdy inny uzna ją za sarkastyczną i przyzna mu niską ocenę.
Wiedza domenowa
Poczujesz konieczność wynajęcia firm etykietujących ze specjalistyczną wiedzą branżową dla niektórych sektorów.
Na przykład adnotatorzy bez niezbędnej wiedzy w dziedzinie domeny będą mieli bardzo trudny czas na odpowiednie tagowanie elementów podczas tworzenia aplikacji ML dla sektora opieki zdrowotnej.
Skłonność do błędów
Ręczne etykietowanie jest obarczone ludzkimi błędami, niezależnie od tego, jak kompetentni i ostrożni są twoi etykietujący. Jest to nieuniknione, ponieważ adnotatorzy często pracują z ogromnymi zestawami nieprzetworzonych danych.
Wyobraź sobie osobę, która dodaje adnotacje do 100,000 10 obrazów z maksymalnie XNUMX różnymi rzeczami.
Popularne typy etykietowania danych
Wizja komputerowa
Aby opracować swój treningowy zestaw danych, musisz najpierw oznaczyć obrazy, piksele lub kluczowe punkty lub ustalić granicę, która całkowicie otacza obraz cyfrowy, zwaną ramką ograniczającą, podczas budowania komputerowego systemu wizyjnego.
Zdjęcia można kategoryzować na różne sposoby, w tym według treści (co faktycznie znajduje się na samym obrazie) i jakości (np. ujęcia produktu a ujęcia stylu życia).
Obrazy można również podzielić na segmenty na poziomie pikseli. Model wizji komputerowej opracowany przy użyciu tych danych treningowych może być następnie wykorzystany do automatycznej klasyfikacji obrazów, określania lokalizacji obiektów, wyróżniania kluczowych obszarów obrazu i segmentowania obrazów.
Przetwarzanie języka naturalnego
Przed utworzeniem zestawu danych szkoleniowych przetwarzania języka naturalnego należy ręcznie wybrać odpowiednie fragmenty tekstu lub sklasyfikować materiał za pomocą określonych etykiet.
Na przykład możesz chcieć rozpoznawać wzorce mowy, klasyfikować nazwy własne, takie jak miejsca i ludzie, oraz identyfikować tekst w obrazach, plikach PDF lub innych mediach. Możesz także określić sentyment lub intencję notki tekstowej.
Aby to osiągnąć, utwórz ramki ograniczające wokół tekstu w treningowym zestawie danych, a następnie dokonaj ręcznej transkrypcji.
Optyczne rozpoznawanie znaków, identyfikacja nazwy jednostki i analiza sentymentu są wykonywane przy użyciu modeli przetwarzania języka naturalnego.
Obróbka dźwięku
Przetwarzanie dźwięku przekształca wszystkie rodzaje dźwięków w ustrukturyzowany format, aby można je było wykorzystać w uczeniu maszynowym, w tym mowy, odgłosy zwierząt (szczekanie, gwizdki lub ćwierkanie) oraz odgłosy budynków (tłuczone szkło, skanowanie lub syreny).
Często zanim będzie można obsłużyć dźwięk, należy ręcznie przekonwertować go na tekst. Następnie, kategoryzując i dodając tagi do dźwięku, możesz uzyskać więcej szczegółowych informacji na jego temat. Twój zbiór danych treningowych czy to jest sklasyfikowany dźwięk.
Wnioski
Podsumowując, identyfikacja danych jest kluczowym elementem szkolenia każdego modelu AI. Jednak szybko rozwijająca się organizacja po prostu nie może sobie pozwolić na spędzanie czasu na robieniu tego ręcznie, ponieważ jest to czasochłonne i energochłonne.
Dodatkowo jest to procedura, która jest podatna na niedokładność i nie obiecuje dużej dokładności. To nie musi być takie trudne, co jest świetną wiadomością.
Dzisiejsze technologie etykietowania danych umożliwiają współpracę między ludźmi i maszynami w celu dostarczania precyzyjnych i użytecznych danych dla różnych zastosowań uczenia maszynowego.
Dodaj komentarz