Содержание[Скрывать][Показывать]
Многие представляют себе роботов, как в научно-фантастических фильмах, которые имитируют человеческий интеллект или даже превосходят его, когда слышат термины «искусственный интеллект», «глубокое обучение» и «машинное обучение».
Другие думают, что эти устройства просто принимают информацию и учатся на ней самостоятельно. Ну… это немного обманчиво. Маркировка данных — это метод, используемый для обучения компьютеров, чтобы они стали «умными», поскольку их возможности ограничены без участия человека.
Чтобы научить компьютер действовать «умно», мы вводим данные в различных формах и обучаем его различным стратегиям с помощью маркировки данных.
Наборы данных должны быть аннотированы или помечены многочисленными перестановками одной и той же информации в рамках научной работы, лежащей в основе маркировки данных.
Усилия и самоотверженность, вложенные в конечный продукт, достойны похвалы, даже если они удивляют и облегчают нашу повседневную жизнь.
Узнайте в этой статье о маркировке данных, чтобы узнать, что это такое, как это работает, различные типы маркировки данных, препятствия и многое другое.
Итак, что такое маркировка данных?
In обучение с помощью машины, калибр и характер входных данных определяют калибр и характер выходных данных. Точность вашей модели ИИ повышается за счет качества данных, используемых для ее обучения.
Другими словами, маркировка данных — это действие по маркировке или аннотированию различных неструктурированных или структурированных наборов данных, чтобы научить компьютер выявлять различия и закономерности между ними.
Иллюстрация поможет вам понять это. Необходимо пометить каждый красный свет на множестве изображений, чтобы компьютер узнал, что красный свет является сигналом к остановке.
На основе этого ИИ разрабатывает алгоритм, который в любой ситуации будет интерпретировать красный свет как сигнал остановки. Другой иллюстрацией является возможность категоризировать различные наборы данных под заголовками джаз, поп, рок, классика и т. д., чтобы разделить разные музыкальные жанры.
Проще говоря, маркировка данных в машинном обучении относится к процессу обнаружения немаркированных данных (таких как фотографии, текстовые файлы, видео и т. д.) и добавлению одной или нескольких соответствующих меток для предоставления контекста, чтобы модель машинного обучения могла учиться на основе данных. Это.
Этикетки могли сказать, например, есть ли на рентгене опухоль или нет, какие слова были сказаны в аудиоклипе, или изображение птицы или автомобиля.
Маркировка данных необходима для ряда случаев использования, включая распознавание речи, компьютерное зрениеи обработка естественного языка.
Маркировка данных: почему это важно?
Во-первых, четвертая промышленная революция сосредоточена на обучении машин. В результате он входит в число наиболее значительных программных достижений современности.
Ваша система машинного обучения должна быть создана, что включает в себя маркировку данных. Он устанавливает возможности системы. Нет никакой системы, если данные не помечены.
Возможности маркировки данных ограничены только вашим творчеством. Любое действие, которое вы можете отобразить в системе, будет повторяться с новой информацией.
Это означает, что тип, количество и разнообразие данных, которые вы можете передать системе, будут определять ее интеллект и возможности.
Во-вторых, работа над маркировкой данных предшествует работе с наукой о данных. Соответственно, маркировка данных необходима для науки о данных. Сбои и ошибки в маркировке данных влияют на науку о данных. В качестве альтернативы, используя более грубое клише, «мусор на входе, мусор на выходе».
В-третьих, «Искусство маркировки данных» означает изменение подхода людей к разработке систем ИИ. Мы одновременно улучшаем структуру маркировки данных, чтобы лучше соответствовать нашим целям, а не просто пытаемся усовершенствовать математические методы.
На этом основана современная автоматизация, и в настоящее время она является центром трансформации ИИ. Сейчас более чем когда-либо умственный труд механизируется.
Как работает маркировка данных?
Во время процедуры маркировки данных соблюдается следующий хронологический порядок.
Сбор данных
Данные являются краеугольным камнем любой деятельности по машинному обучению. Начальный этап маркировки данных состоит из сбора соответствующего количества необработанных данных в различных формах.
Сбор данных может принимать одну из двух форм: либо из внутренних источников, используемых бизнесом, либо из общедоступных внешних источников.
Поскольку они находятся в необработанном виде, эти данные необходимо очистить и обработать перед созданием меток набора данных. Затем модель обучается с использованием этих очищенных и предварительно обработанных данных. Выводы будут тем точнее, чем больше и разнообразнее набор данных.
Аннотирование данных
После очистки данных эксперты в предметной области изучают данные и наносят метки, используя несколько методов маркировки данных. Модель имеет значимый контекст, который можно использовать в качестве исходной истины.
Это переменные, которые вы хотите, чтобы модель предсказывала, например фотографии.
Гарантия качества
Качество данных, которые должны быть достоверными, точными и последовательными, имеет решающее значение для успеха обучения модели машинного обучения. Необходимо проводить регулярные тесты обеспечения качества, чтобы гарантировать точную и правильную маркировку данных.
Точность этих аннотаций можно оценить с помощью методов контроля качества, таких как консенсус и альфа-тест Кронбаха. Корректность результатов значительно улучшается за счет плановых проверок качества.
Модели обучения и тестирования
Вышеупомянутые процедуры имеют смысл только в том случае, если данные проверяются на правильность. Метод будет проверен путем включения неструктурированного набора данных, чтобы проверить, дает ли он желаемые результаты.
Стратегии маркировки данных
Разметка данных — трудоемкий процесс, требующий внимания к деталям. Метод, используемый для аннотирования данных, будет варьироваться в зависимости от постановки задачи, объема данных, которые необходимо пометить, сложности данных и стиля.
Давайте рассмотрим некоторые варианты, которые есть у вашего бизнеса, в зависимости от имеющихся у него ресурсов и доступного времени.
Маркировка данных внутри компании
Как следует из названия, внутренняя маркировка данных выполняется экспертами внутри компании. Когда у вас достаточно времени, персонала и финансовых ресурсов, это лучший вариант, поскольку он обеспечивает наиболее точную маркировку. Однако движется медленно.
Аутсорсинг
Еще один способ добиться цели — нанять фрилансеров для выполнения задач по маркировке данных, которых можно найти на различных площадках для поиска работы и фриланса, таких как Upwork.
Аутсорсинг — это быстрый вариант получения услуг по маркировке данных, однако качество может пострадать, как и в предыдущем методе.
Краудсорсинг
Вы можете войти в систему как заказчик и распределить различные задания по маркировке среди доступных подрядчиков на специализированных краудсорсинговых платформах, таких как Amazon Mechanical Turk (МТурк).
Этот метод, хотя и довольно быстрый и недорогой, не может предоставить аннотированные данные хорошего качества.
Маркировка данных автоматически.
Эта процедура может выполняться не только вручную, но и с помощью программного обеспечения. При активном подходе к обучению можно автоматически находить теги и добавлять их в набор обучающих данных.
По сути, специалисты-люди разрабатывают модель автоматической маркировки ИИ для маркировки немаркированных необработанных данных. Затем они решают, правильно ли модель применила маркировку. Люди исправляют ошибки после сбоя и переобучают алгоритм.
Разработка синтетических данных.
Вместо реальных данных, синтетические данные представляет собой помеченный набор данных, который был создан искусственно. Он создается с помощью алгоритмов или компьютерного моделирования и часто используется для обучать модели машинного обучения.
Синтетические данные — отличный ответ на проблемы нехватки и разнообразия данных в контексте процедур маркировки. Создание синтетические данные с нуля предлагает решение.
Разработчики наборов данных должны уметь распознавать создание 3D-настроек с элементами и окружающей моделью. Можно визуализировать столько синтетических данных, сколько требуется для проекта.
Проблемы маркировки данных
Требует больше времени и усилий
В дополнение к сложности получения больших объемов данных (особенно для узкоспециализированных отраслей, таких как здравоохранение), ручная маркировка каждого фрагмента данных является одновременно трудоемкой и трудоемкой задачей, требующей помощи специалистов по маркировке.
Почти 80% времени, затрачиваемого на проект за весь цикл разработки ML, уходит на подготовку данных, в том числе на разметку.
Возможность несоответствия
В большинстве случаев перекрестная маркировка, которая происходит, когда многие люди маркируют одни и те же наборы данных, приводит к большей точности.
Однако, поскольку люди иногда имеют разную степень компетентности, стандарты маркировки и сами метки могут быть противоречивыми, что является еще одной проблемой. Два или более аннотаторов могут не согласиться с некоторыми тегами.
Например, один эксперт может оценить отзыв об отеле как положительный, а другой сочтет его саркастическим и присвоит ему низкую оценку.
Базовые знания
Вы почувствуете необходимость нанять этикетировщиков со специальными отраслевыми знаниями для некоторых секторов.
Аннотаторам без необходимых знаний предметной области, например, будет очень трудно правильно пометить элементы при создании приложения машинного обучения для сектора здравоохранения.
Склонность к ошибкам
Ручная маркировка подвержена человеческим ошибкам, независимо от того, насколько хорошо осведомлены и осторожны ваши этикетировщики. Из-за того, что аннотаторы часто работают с огромными наборами необработанных данных, это неизбежно.
Представьте себе человека, комментирующего 100,000 10 изображений с XNUMX разными вещами.
Общие типы маркировки данных
Компьютерное зрение
Чтобы разработать обучающий набор данных, вы должны сначала пометить изображения, пиксели или ключевые точки или установить границу, которая полностью окружает цифровое изображение, известную как ограничительная рамка, при построении системы компьютерного зрения.
Фотографии можно классифицировать по-разному, в том числе по содержанию (то, что на самом деле находится на самом изображении) и качеству (например, снимки продукта или образа жизни).
Изображения также можно разделить на сегменты на уровне пикселей. Модель компьютерного зрения, разработанная с использованием этих обучающих данных, впоследствии может использоваться для автоматической классификации изображений, определения местоположения объектов, выделения ключевых областей на изображении и сегментации изображений.
Обработка естественного языка
Перед созданием набора данных для обучения обработке естественного языка вы должны вручную выбрать соответствующие текстовые фрагменты или классифицировать материал с помощью указанных меток.
Например, вы можете захотеть распознавать речевые паттерны, классифицировать имена собственные, такие как места и люди, а также идентифицировать текст в изображениях, PDF-файлах или других медиафайлах. Вы также можете определить настроение или намерение текстовой рекламы.
Для этого создайте ограничивающие рамки вокруг текста в наборе обучающих данных, а затем расшифруйте его вручную.
Оптическое распознавание символов, идентификация имени объекта и анализ настроений выполняются с использованием моделей обработки естественного языка.
Обработка аудио
Обработка звука преобразует все типы звуков в структурированный формат, чтобы их можно было использовать в машинном обучении, включая речь, звуки животных (лай, свист или чириканье) и шумы зданий (битое стекло, сканирование или сирены).
Часто, прежде чем вы сможете обрабатывать звук, вы должны вручную преобразовать его в текст. После этого, классифицируя и добавляя теги к аудио, вы можете узнать о нем более подробную информацию. Ваш набор обучающих данных это засекреченное аудио.
Заключение
В заключение, идентификация ваших данных является важной частью обучения любой модели ИИ. Однако динамично развивающаяся организация просто не может позволить себе тратить время на выполнение этих операций вручную, поскольку это отнимает много времени и энергии.
Кроме того, эта процедура склонна к неточностям и не обещает высокой точности. Это не должно быть так сложно, что является отличной новостью.
Современные технологии маркировки данных обеспечивают сотрудничество между людьми и машинами для предоставления точных и полезных данных для различных приложений машинного обучения.
Оставьте комментарий