Зміст[Сховати][Показати]
Багато хто уявляє собі роботів, як у науково-фантастичних фільмах, які імітують або навіть перевершують людський інтелект, коли вони чують терміни штучний інтелект, глибоке навчання та машинне навчання.
Інші вважають, що ці пристрої просто приймають інформацію та навчаються на ній самостійно. Ну… Це трохи оманливо. Позначення даних — це метод, який використовується, щоб навчити комп’ютери ставати «розумними», оскільки вони мають обмежені можливості без вказівок людини.
Щоб навчити комп’ютер діяти «розумно», ми вводимо дані в різних формах і навчаємо його різним стратегіям за допомогою маркування даних.
Набори даних повинні бути анотовані або позначені численними перестановками тієї самої інформації, що є частиною науки, що лежить в основі маркування даних.
Зусилля та відданість, вкладені в кінцевий продукт, заслуговують похвали, навіть якщо він дивує та полегшує наше повсякденне життя.
Дізнайтеся про маркування даних у цій статті, щоб дізнатися, що це таке, як воно працює, різні типи маркування даних, перешкоди та багато іншого.
Отже, що таке маркування даних?
In навчання за допомогою машини, калібр і характер вхідних даних визначають калібр і характер виходу. Точність вашої моделі ШІ підвищується калібром даних, які використовуються для її навчання.
Іншими словами, маркування даних — це акт маркування або анотування різних неструктурованих або структурованих наборів даних, щоб навчити комп’ютер визначати відмінності та закономірності між ними.
Зрозуміти це вам допоможе ілюстрація. Необхідно позначити кожне червоне світло на різноманітних зображеннях, щоб комп’ютер дізнався, що червоне світло є сигналом до зупинки.
На основі цього AI розробляє алгоритм, який у кожній ситуації інтерпретує червоне світло як індикацію зупинки. Іншою ілюстрацією є можливість класифікувати різні набори даних за заголовками джаз, поп, рок, класика тощо, щоб відокремити різні музичні жанри.
Простіше кажучи, маркування даних у машинному навчанні стосується процесу виявлення немаркованих даних (таких як фотографії, текстові файли, відео тощо) і додавання однієї або кількох відповідних міток, щоб запропонувати контекст, щоб модель машинного навчання могла навчатися це.
Наприклад, на ярликах може бути вказано, чи рентгенівський знімок показує пухлину чи ні, які слова були сказані в аудіозаписі, зображення птаха чи автомобіля.
Позначення даних має важливе значення для ряду випадків використання, включаючи розпізнавання мови, комп'ютерне бачення, і обробка природної мови.
Маркування даних: чому це важливо?
По-перше, четверта промислова революція зосереджена на вмінні тренувати машини. Як наслідок, це одне з найзначніших програмних досягнень сучасності.
Треба створити вашу систему машинного навчання, яка передбачає маркування даних. Він визначає можливості системи. Немає системи, якщо дані не позначені.
Можливості маркування даних обмежені лише вашою творчістю. Будь-яка дія, яку ви можете відобразити в системі, повторюватиметься зі свіжою інформацією.
Це означає, що тип, кількість і різноманітність даних, які ви можете навчити системі, визначатимуть її інтелект і можливості.
По-друге, робота з маркування даних передує науковій роботі. Відповідно, маркування даних необхідне для науки про дані. Невдачі та помилки в маркуванні даних впливають на науку про дані. Як альтернатива, якщо використовувати більш грубе кліше, «сміття всередину, сміття геть».
По-третє, «Мистецтво маркування даних» означає зміну того, як люди підходять до розробки систем ШІ. Ми одночасно вдосконалюємо структуру маркування даних, щоб краще відповідати нашим цілям, а не лише намагатися покращити математичні методи.
Сучасна автоматизація базується на цьому, і це є центром ШІ-трансформації, яка зараз триває. Зараз, як ніколи, праця знань механізується.
Як працює маркування даних?
Під час процедури маркування даних дотримується такий хронологічний порядок.
Збір даних
Дані є наріжним каменем будь-якого процесу машинного навчання. Початковий етап маркування даних полягає в зборі відповідної кількості необроблених даних у різних формах.
Збір даних може відбуватися в одній із двох форм: вони надходять із внутрішніх джерел, якими користується компанія, або з загальнодоступних зовнішніх джерел.
Оскільки вони знаходяться в необробленому вигляді, ці дані потрібно очистити й обробити перед створенням міток набору даних. Потім модель навчається, використовуючи ці очищені та попередньо оброблені дані. Висновки будуть точнішими, чим більший і різноманітніший набір даних.
Анотування даних
Після очищення даних експерти досліджують дані та застосовують мітки за допомогою кількох методів міток даних. Модель має значущий контекст, який можна використовувати як основну правду.
Це змінні, які ви хочете, щоб передбачила модель, наприклад фотографії.
Гарантія якості
Якість даних, які мають бути достовірними, точними та узгодженими, має вирішальне значення для успіху навчання моделі ML. Необхідно проводити регулярні перевірки якості, щоб гарантувати точне та правильне маркування даних.
Оцінити точність цих анотацій можна за допомогою методів забезпечення якості, таких як Консенсус і альфа-тест Кронбаха. Правильність результатів значно покращується регулярними перевірками якості.
Моделі навчання та тестування
Вищезазначені процедури мають сенс лише за умови перевірки правильності даних. Техніка буде перевірена шляхом включення неструктурованого набору даних, щоб перевірити, чи вона дає бажані результати.
Стратегії маркування даних
Маркування даних – трудомісткий процес, який вимагає уваги до деталей. Метод, який використовується для анотування даних, буде відрізнятися залежно від формулювання проблеми, кількості даних, які потрібно позначити, наскільки складні дані та стилю.
Давайте розглянемо деякі варіанти, які має ваш бізнес, залежно від наявних у нього ресурсів і часу.
Власне маркування даних
Як випливає з назви, власне маркування даних виконується експертами компанії. Якщо у вас достатньо часу, персоналу та фінансових ресурсів, це найкращий варіант, оскільки він забезпечує найточніше маркування. Проте рухається повільно.
Аутсорсинг
Ще один варіант виконання завдань – це найняти фрілансерів для завдань маркування даних, яких можна знайти на різних ринках для пошуку роботи та фрілансерів, таких як Upwork.
Аутсорсинг — це швидкий варіант отримання послуг маркування даних, однак якість може постраждати, як і в попередньому методі.
Краудсорсинг
Ви можете увійти як запитувач і розподілити різні роботи з маркування доступним підрядникам на спеціалізованих краудсорсингових платформах, як-от Amazon Mechanical Turk (МТурк).
Незважаючи на те, що цей метод досить швидкий і недорогий, він не може забезпечити якісні анотовані дані.
Автоматичне маркування даних.
Окрім виконання вручну, процедурі може допомогти програмне забезпечення. Використовуючи підхід активного навчання, теги можна автоматично знаходити та додавати до навчального набору даних.
По суті, спеціалісти-людини розробляють модель автоміток штучного інтелекту для позначення нерозмічених необроблених даних. Потім вони вирішують, чи правильно модель застосувала маркування. Люди виправляють помилки після невдачі та перенавчають алгоритм.
Розробка синтетичних даних.
Замість реальних даних, синтетичні дані це позначений набір даних, створений штучно. Він створюється за допомогою алгоритмів або комп’ютерного моделювання і часто використовується тренувати моделі машинного навчання.
Синтетичні дані є чудовою відповіддю на проблеми дефіциту та різноманітності даних у контексті процедур маркування. Створення синтетичні дані з нуля пропонує рішення.
Розробники набору даних повинні розпізнавати створення 3D-налаштувань з елементами й оточуючими моделлю. Можна відобразити стільки синтетичних даних, скільки потрібно для проекту.
Проблеми маркування даних
Вимагає більше часу та зусиль
Крім того, що важко отримати великі обсяги даних (особливо для вузькоспеціалізованих галузей, таких як охорона здоров’я), маркування кожного фрагмента даних вручну є трудомістким і трудомістким, що потребує допомоги людей, які займаються етикетками.
Майже 80% часу, витраченого на проект за весь цикл розробки ML, витрачається на підготовку даних, що включає маркування.
Можливість невідповідності
У більшості випадків перехресне маркування, яке відбувається, коли багато людей позначає ті самі набори даних, призводить до більшої точності.
Однак, оскільки люди іноді мають різний рівень компетентності, стандарти маркування та самі мітки можуть бути непослідовними, що є іншою проблемою. Можливо, що два або більше анотаторів не погодяться щодо деяких тегів.
Наприклад, один експерт може оцінити відгук про готель як сприятливий, а інший вважатиме його саркастичним і присвоїть йому низьку оцінку.
Знання предметної області
Ви відчуєте необхідність найняти етикетувальників зі спеціальними галузевими знаннями для деяких секторів.
Наприклад, анотаторам без необхідних знань предметної області буде дуже важко правильно позначати елементи під час створення програми ML для сектору охорони здоров’я.
Схильність до помилок
У ручному маркуванні можливі людські помилки, незалежно від того, наскільки обізнаними та уважними є ваші етикетувальники. Через те, що анотатори часто працюють із величезними наборами необроблених даних, це неминуче.
Уявіть собі людину, яка коментує 100,000 10 зображень до XNUMX різних елементів.
Поширені типи маркування даних
Комп'ютерне бачення
Щоб створити свій навчальний набір даних, ви повинні спочатку позначити зображення, пікселі або ключові точки або встановити межу, яка повністю охоплює цифрове зображення, відому як обмежувальна рамка, під час створення системи комп’ютерного зору.
Фотографії можна класифікувати різними способами, у тому числі за вмістом (те, що насправді є на самому зображенні) і якістю (наприклад, зображення продукту чи способу життя).
Зображення також можна розділити на сегменти на рівні пікселів. Модель комп’ютерного зору, розроблену з використанням цих навчальних даних, можна згодом використовувати для автоматичної класифікації зображень, визначення розташування об’єктів, виділення ключових областей на зображенні та сегментації зображень.
Обробка природних мов
Перш ніж створювати навчальний набір даних обробки природної мови, ви повинні вручну вибрати відповідні текстові фрагменти або класифікувати матеріал за допомогою визначених міток.
Наприклад, ви можете розпізнавати шаблони мовлення, класифікувати власні імена, як-от місця та люди, і ідентифікувати текст на зображеннях, PDF-файлах чи інших носіях. Ви також можете визначити настрій або зміст текстової анонси.
Для цього створіть обмежувальні рамки навколо тексту у вашому навчальному наборі даних, а потім транскрибуйте його вручну.
Оптичне розпізнавання символів, ідентифікація імені об’єкта та аналіз настроїв виконуються за допомогою моделей обробки природної мови.
Обробка аудіо
Обробка аудіо перетворює всі типи звуків у структурований формат, щоб їх можна було використовувати в машинному навчанні, включаючи мовлення, звуки тварин (гавкіт, свист або цвірінькання) і звуки будівель (розбите скло, сканування або сирени).
Часто, перш ніж працювати зі звуком, його потрібно вручну перетворити на текст. Після цього, класифікуючи та додаючи теги до аудіо, ви зможете отримати більш детальну інформацію про нього. ваш навчальний набір даних це секретне аудіо.
Висновок
Підсумовуючи, ідентифікація ваших даних є важливою частиною навчання будь-якої моделі ШІ. Однак швидко розвивається організація просто не може дозволити собі витрачати час на це вручну, оскільки це вимагає багато часу та енергії.
Крім того, це процедура, яка схильна до неточності та не обіцяє високої точності. Це не повинно бути так складно, і це чудова новина.
Сучасні технології маркування даних дозволяють співпрацювати між людьми та машинами для надання точних і корисних даних для різноманітних програм машинного навчання.
залишити коментар