많은 사람들이 인공 지능, 딥 러닝, 머신 러닝이라는 용어를 들었을 때 인간의 지성을 모방하거나 능가하는 공상 과학 영화에 나오는 로봇과 같은 로봇을 상상합니다.
다른 사람들은 이러한 장치가 단순히 정보를 받아들이고 스스로 학습한다고 생각합니다. 음… 조금 기만적입니다. 데이터 라벨링은 사람의 지시 없이는 기능이 제한되어 있기 때문에 컴퓨터가 "스마트"하게 되도록 훈련하는 데 사용되는 방법입니다.
컴퓨터가 "똑똑하게" 작동하도록 훈련하기 위해 다양한 형식의 데이터를 입력하고 데이터 레이블을 사용하여 다양한 전략을 가르칩니다.
데이터 세트는 데이터 레이블링의 기초가 되는 과학의 일부로 동일한 정보의 수많은 순열로 주석을 달거나 레이블을 지정해야 합니다.
최종 제품에 대한 노력과 헌신은 놀라움과 일상 생활을 더 쉽게 만들어 준다고 해도 칭찬할 만합니다.
이 문서에서 데이터 레이블 지정에 대해 알아보면 그것이 무엇인지, 어떻게 작동하는지, 다양한 유형의 데이터 레이블 지정, 장애물 등을 배울 수 있습니다.
그렇다면 데이터 라벨링이란 무엇입니까?
In 기계 학습, 입력 데이터의 구경과 특성은 출력의 구경과 특성을 나타냅니다. AI 모델의 정확도는 훈련에 활용되는 데이터의 범위에 따라 향상됩니다.
다시 말해서, 데이터 라벨링은 컴퓨터가 그들 사이의 차이점과 패턴을 식별하도록 가르치기 위해 서로 다른 비정형 또는 구조화된 데이터 세트에 레이블을 지정하거나 주석을 추가하는 행위입니다.
이것을 이해하는 데 그림이 도움이 될 것입니다. 컴퓨터가 빨간불이 정지 신호라는 것을 배우려면 다양한 이미지의 모든 빨간불에 태그를 지정해야 합니다.
이를 기반으로 AI는 모든 상황에서 빨간불을 정지 표시로 해석하는 알고리즘을 개발합니다. 또 다른 예는 다양한 음악 장르를 구분하기 위해 재즈, 팝, 록, 클래식 등의 제목으로 다양한 데이터 세트를 분류하는 기능입니다.
간단히 말해서 머신 러닝에서 데이터 레이블링은 레이블이 지정되지 않은 데이터(예: 사진, 텍스트 파일, 비디오 등)를 감지하고 하나 이상의 관련 레이블을 추가하여 컨텍스트를 제공하여 머신 러닝 모델이 학습할 수 있도록 하는 프로세스를 말합니다. 그것.
레이블은 예를 들어 엑스레이에 종양이 있는지 없는지, 오디오 클립에서 어떤 단어가 말했는지, 새나 자동차 사진이 있는지 등을 알 수 있습니다.
데이터 라벨링은 음성 인식, 컴퓨터 비전, 자연어 처리.
데이터 라벨링: 왜 중요한가요?
첫째, XNUMX차 산업혁명은 훈련기의 기술 중심이다. 결과적으로 현재 가장 중요한 소프트웨어 발전 중 하나입니다.
데이터 레이블 지정과 관련된 기계 학습 시스템을 만들어야 합니다. 시스템의 기능을 설정합니다. 데이터에 레이블이 지정되지 않으면 시스템이 없습니다.
데이터 라벨링의 가능성은 창의력에 의해서만 제한됩니다. 시스템에 매핑할 수 있는 모든 작업은 새로운 정보로 반복됩니다.
즉, 시스템에 가르칠 수 있는 데이터의 유형, 양 및 다양성이 시스템의 지능과 기능을 결정합니다.
두 번째는 데이터 레이블 지정 작업이 데이터 과학 작업보다 먼저 수행된다는 것입니다. 따라서 데이터 사이언스에는 데이터 라벨링이 필요합니다. 데이터 레이블 지정의 실패 및 실수는 데이터 과학에 영향을 미칩니다. 또는 더 조잡한 진부한 표현을 사용하려면 "쓰레기통, 쓰레기통"을 사용하십시오.
셋째, Art of Data Labeling은 사람들이 AI 시스템 개발에 접근하는 방식의 변화를 의미합니다. 우리는 동시에 수학적 기술을 향상시키려는 시도보다 목표를 더 잘 달성하기 위해 데이터 레이블링의 구조를 수정합니다.
현대 자동화는 이를 기반으로 하며 현재 진행 중인 AI Transformation의 중심입니다. 지금은 그 어느 때보다 지식 작업이 기계화되고 있습니다.
데이터 라벨링은 어떻게 작동합니까?
데이터 라벨링 절차 중에 다음과 같은 시간 순서를 따릅니다.
데이터 수집
데이터는 모든 기계 학습 노력의 초석입니다. 데이터 라벨링의 초기 단계는 적절한 양의 원시 데이터를 다양한 형식으로 수집하는 것으로 구성됩니다.
데이터 수집은 비즈니스에서 사용해온 내부 소스에서 가져오거나 공개적으로 액세스할 수 있는 외부 소스에서 가져오는 두 가지 형식 중 하나를 취할 수 있습니다.
원시 형식이므로 이 데이터는 데이터 세트 레이블을 만들기 전에 정리 및 처리해야 합니다. 그런 다음 모델은 이 정리되고 사전 처리된 데이터를 사용하여 학습됩니다. 결과는 더 크고 더 다양한 데이터 세트가 더 정확할 것입니다.
데이터 주석 달기
데이터 정리 후 도메인 전문가는 데이터를 검사하고 여러 데이터 레이블 지정 기술을 사용하여 레이블을 적용합니다. 모델에는 ground truth로 활용될 수 있는 의미 있는 컨텍스트가 있습니다.
사진과 같이 모델이 예측할 변수입니다.
품질 보증
신뢰할 수 있고 정확하며 일관성이 있어야 하는 데이터의 품질은 ML 모델 교육의 성공에 매우 중요합니다. 이러한 정확하고 정확한 데이터 라벨링을 보장하려면 정기적인 QA 테스트를 구현해야 합니다.
Consensus 및 Cronbach의 알파 테스트와 같은 QA 기술을 사용하여 이러한 주석의 정확성을 평가할 수 있습니다. 정기적인 QA 검사를 통해 결과 정확성이 상당히 향상됩니다.
학습 및 테스트 모델
앞서 언급한 절차는 데이터의 정확성이 확인된 경우에만 의미가 있습니다. 이 기술은 구조화되지 않은 데이터 세트를 포함하여 원하는 결과를 산출하는지 확인하는 테스트를 거칩니다.
데이터 레이블 지정 전략
데이터 라벨링은 세부 사항에 주의를 기울여야 하는 힘든 과정입니다. 데이터에 주석을 달 때 사용하는 방법은 문제 설명, 태그를 지정해야 하는 데이터의 양, 데이터의 복잡성 및 스타일에 따라 다릅니다.
보유하고 있는 자원과 사용 가능한 시간에 따라 귀하의 비즈니스에 있는 몇 가지 옵션을 살펴보겠습니다.
사내 데이터 라벨링
이름에서 알 수 있듯이 사내 데이터 라벨링은 회사 내 전문가가 수행합니다. 시간, 인력, 재정적 자원이 충분하다면 가장 정확한 라벨링을 보장하므로 최고의 선택입니다. 그러나 천천히 움직입니다.
아웃소싱
작업을 완료하는 또 다른 옵션은 Upwork와 같은 다양한 구직 및 프리랜스 마켓플레이스에서 발견할 수 있는 데이터 레이블 지정 작업을 위해 프리랜서를 고용하는 것입니다.
아웃소싱은 데이터 라벨링 서비스를 받기 위한 빠른 옵션이지만 이전 방법과 유사하게 품질이 저하될 수 있습니다.
크라우드 소싱
요청자로 로그인하고 다음과 같은 전문 크라우드소싱 플랫폼에서 사용 가능한 계약자에게 다양한 라벨링 작업을 배포할 수 있습니다. 아마존 기계 터크 (엠터크).
이 방법은 다소 빠르고 저렴하지만 좋은 품질의 주석 데이터를 제공할 수 없습니다.
데이터에 자동으로 레이블을 지정합니다.
절차는 수동으로 수행되는 것 외에도 소프트웨어의 도움을 받을 수 있습니다. 능동 학습 접근 방식을 사용하면 태그를 자동으로 찾아 학습 데이터 세트에 추가할 수 있습니다.
본질적으로 인간 전문가는 레이블이 지정되지 않은 원시 데이터를 표시하기 위해 AI 자동 레이블 모델을 개발합니다. 그런 다음 모델이 라벨링을 적절하게 적용했는지 결정합니다. 인간은 실패 후 실수를 수정하고 알고리즘을 재교육합니다.
합성 데이터의 개발.
실제 데이터 대신, 합성 데이터 인위적으로 제조된 레이블이 지정된 데이터 세트입니다. 알고리즘 또는 컴퓨터 시뮬레이션에 의해 생성되며 자주 사용됩니다. 기계 학습 모델 학습.
합성 데이터는 라벨링 절차의 맥락에서 데이터 희소성과 다양성 문제에 대한 훌륭한 답변입니다. 의 생성 합성 데이터 처음부터 솔루션을 제공합니다.
항목과 모델을 둘러싼 3D 설정 생성은 데이터 세트 개발자가 인식할 수 있어야 합니다. 프로젝트에 필요한 만큼의 합성 데이터를 렌더링할 수 있습니다.
데이터 라벨링의 과제
더 많은 시간과 노력이 필요합니다
많은 양의 데이터를 얻는 것이 어려울 뿐만 아니라(특히 의료와 같은 고도로 전문화된 산업의 경우), 각 데이터 조각에 손으로 레이블을 지정하는 것은 노동 집약적이고 힘든 일이므로 레이블 담당자의 도움이 필요합니다.
ML 개발의 전체 주기에 걸쳐 프로젝트에 소요되는 시간의 거의 80%가 레이블 지정을 포함한 데이터 준비에 소요됩니다.
불일치 가능성
대부분의 경우 많은 사람들이 동일한 데이터 집합에 레이블을 지정할 때 발생하는 교차 레이블 지정을 사용하면 정확도가 높아집니다.
그러나 개인마다 능력의 정도가 다를 수 있기 때문에 레이블링 표준과 레이블 자체가 일치하지 않을 수 있습니다. 이는 또 다른 문제입니다. 두 명 이상의 주석자가 일부 태그에 대해 동의하지 않을 수 있습니다.
예를 들어, 한 전문가는 호텔 리뷰를 호의적인 것으로 평가하고 다른 전문가는 비꼬는 것으로 간주하여 낮은 평점을 지정할 수 있습니다.
도메인 지식
일부 부문에서는 전문 산업 지식을 갖춘 라벨러를 고용해야 할 필요성을 느낄 것입니다.
예를 들어, 필요한 도메인 지식이 없는 주석자는 의료 부문을 위한 ML 앱을 만드는 동안 항목에 적절하게 태그를 지정하는 데 매우 어려움을 겪을 것입니다.
오류 경향
수동 라벨링은 라벨러의 지식과 주의력에 관계없이 사람이 실수할 수 있습니다. 애노테이터는 방대한 원시 데이터 세트로 작업하는 경우가 많기 때문에 이는 불가피합니다.
최대 100,000개의 다른 것으로 10개의 이미지에 주석을 추가하는 사람을 상상해 보십시오.
데이터 레이블링의 일반적인 유형
컴퓨터 비전
훈련 데이터 세트를 개발하려면 컴퓨터 비전 시스템을 구축할 때 먼저 그림, 픽셀 또는 주요 지점에 레이블을 지정하거나 경계 상자라고 하는 디지털 이미지를 완전히 둘러싸는 경계를 설정해야 합니다.
사진은 내용(이미지 자체에 실제로 있는 것)과 품질(예: 제품 대 라이프스타일 사진)을 포함하여 다양한 방식으로 분류될 수 있습니다.
이미지는 픽셀 수준에서 세그먼트로 나눌 수도 있습니다. 이러한 훈련 데이터를 사용하여 개발된 컴퓨터 비전 모델은 이후에 이미지를 자동으로 분류하고, 물체의 위치를 결정하고, 이미지의 주요 영역을 강조 표시하고, 이미지를 분할하는 데 사용할 수 있습니다.
자연 언어 처리
자연어 처리 훈련 데이터 세트를 생성하기 전에 관련 텍스트 조각을 수동으로 선택하거나 지정된 레이블로 자료를 분류해야 합니다.
예를 들어, 음성 패턴을 인식하고, 장소 및 사람과 같은 고유 명사를 분류하고, 이미지, PDF 또는 기타 미디어에서 텍스트를 식별할 수 있습니다. 텍스트 광고 문구의 감정이나 의도를 결정할 수도 있습니다.
이를 수행하기 위해 훈련 데이터 세트의 텍스트 주위에 경계 상자를 만든 다음 수동으로 전사합니다.
광학 문자 인식, 엔티티 이름 식별 및 감정 분석은 모두 자연어 처리 모델을 사용하여 수행됩니다.
오디오 프로세싱
오디오 처리는 모든 유형의 소리를 구조화된 형식으로 변환하여 음성, 동물 소음(짖는 소리, 휘파람 또는 짹짹), 건물 소음(깨진 유리, 스캐닝 또는 사이렌)을 포함한 기계 학습에 활용할 수 있습니다.
종종 오디오를 처리하기 전에 수동으로 텍스트로 변환해야 합니다. 이후 오디오를 분류하고 태그를 추가하면 오디오에 대한 보다 자세한 정보를 알 수 있습니다. 당신의 훈련 데이터 세트 이 분류된 오디오입니다.
결론
결론적으로 데이터를 식별하는 것은 모든 AI 모델을 훈련하는 데 중요한 부분입니다. 그러나 빠르게 변화하는 조직은 시간과 에너지 집약적이기 때문에 수동으로 시간을 할애할 여유가 없습니다.
또한 부정확하기 쉽고 큰 정확성을 약속하지 않는 절차입니다. 그렇게 어려울 필요는 없습니다. 이것은 좋은 소식입니다.
오늘날의 데이터 레이블링 기술은 인간과 기계 간의 협업을 통해 다양한 기계 학습 응용 프로그램에 정확하고 유용한 데이터를 제공할 수 있습니다.
댓글을 남겨주세요.