우리는 단어를 듣거나 읽을 때마다 단어를 개인, 장소, 위치, 가치 등으로 인식하고 분류하는 타고난 능력을 가지고 있습니다. 인간은 단어를 빠르게 분류하고 식별하고 이해할 수 있습니다.
예를 들어, "스티브 잡스"라는 이름을 들으면 대상을 분류하고 최소한 XNUMX~XNUMX개의 특성을 빠르게 떠올릴 수 있습니다.
- 사람: "스티브 잡스"
- 조직: "애플"
- 위치: “캘리포니아”
컴퓨터에는 이러한 타고난 기술이 없기 때문에 우리는 컴퓨터가 단어나 텍스트를 인식하고 분류하도록 도와야 합니다. 이 경우 NER(Named Entity Recognition)이 사용됩니다.
이 기사에서는 중요성, 이점, 상위 NER API 등을 포함하여 NER(Named Entity Recognition)을 자세히 살펴보겠습니다.
NER(Named Entity Recognition)이란 무엇입니까?
개체 식별 또는 개체 추출이라고도 하는 명명된 개체 인식(NER)으로 알려진 자연어 처리(NLP) 접근 방식은 텍스트에서 명명된 개체를 자동으로 인식하고 미리 결정된 범주로 그룹화합니다.
엔티티에는 개인, 그룹, 장소, 날짜, 금액, 달러 금액, 백분율 등이 포함됩니다. 명명된 엔터티 인식을 사용하면 이를 활용하여 데이터베이스에 대한 중요한 데이터를 수집하거나 문서의 내용을 이해하는 데 중요한 정보를 추출할 수 있습니다.
NER는 NLP가 텍스트 분석 프로세스의 상당한 발전을 나타내더라도 AI 시스템이 상대적 의미와 감정에 대해 텍스트를 분석하기 위해 의존하는 초석입니다.
NER의 의미는 무엇입니까?
텍스트 분석 접근 방식의 기초는 NER입니다. ML 모델은 영어를 이해하기 전에 미리 정의된 범주와 함께 수백만 개의 샘플을 처음에 제공받아야 합니다.
API는 처음 읽는 텍스트에서 이러한 구성 요소를 인식할 때 시간이 지남에 따라 향상됩니다. 텍스트 분석 엔진의 위력은 NER 역량의 역량과 강점에 따라 증가합니다.
여기에서 볼 수 있듯이 여러 ML 작업은 NER에 의해 트리거됩니다.
의미 검색
이제 Google에서 시맨틱 검색을 사용할 수 있습니다. 질문을 입력하시면 최선을 다해 답변해드리겠습니다. 사용자가 찾고 있는 정보를 찾기 위해 Alexa, Siri, 챗봇 등과 같은 디지털 비서는 일종의 의미 검색을 사용합니다.
이 기능은 맞을 수도 있고 놓칠 수도 있지만 그 활용도가 높아지고 있으며 그 효율성도 빠르게 상승하고 있습니다.
데이터 분석
알고리즘을 사용하여 구조화되지 않은 데이터에서 분석을 생성하는 일반적인 문구입니다. 이 데이터를 표시하는 방법과 관련 데이터를 찾고 수집하는 프로세스를 통합합니다.
이것은 결과에 대한 간단한 통계적 설명이나 데이터의 시각적 표현의 형태를 취할 수 있습니다. 특정 주제에 대한 관심 및 참여 분석은 시청자가 특정 비디오를 클릭할 때를 포함하여 YouTube 조회수의 정보를 사용하여 수행할 수 있습니다.
제품의 별 등급은 전자 상거래 사이트의 데이터 스크래핑을 사용하여 분석하여 제품이 얼마나 잘 작동하는지에 대한 전반적인 점수를 제공할 수 있습니다.
감정 분석
NER를 더 탐색하고, 심리 분석 별점 정보가 없어도 좋은 리뷰와 나쁜 리뷰를 구별할 수 있습니다.
"과대 평가된", "성실한", "바보 같은"과 같은 용어는 부정적인 의미를 갖는 반면 "유용한", "빠른" 및 "쉬운"과 같은 용어는 부정적인 의미를 내포합니다. "쉬운"이라는 단어는 컴퓨터 게임에서 부정적으로 해석될 수 있습니다..
정교한 알고리즘은 사물 간의 관계도 인식할 수 있습니다.
텍스트 분석
데이터 분석과 마찬가지로 텍스트 분석은 구조화되지 않은 텍스트 문자열에서 정보를 추출하고 NER를 사용하여 중요한 데이터에 집중합니다.
제품의 언급, 평균 가격 또는 고객이 특정 브랜드를 설명하기 위해 가장 자주 사용하는 용어에 대한 데이터를 컴파일하는 데 사용할 수 있습니다.
동영상 콘텐츠 분석
가장 복잡한 시스템은 얼굴 인식, 오디오 분석 및 사진 인식을 사용하여 비디오 정보에서 데이터를 추출하는 시스템입니다.
비디오 콘텐츠 분석을 사용하여 YouTube "언박싱" 비디오, Twitch 게임 데모, Reels에서 오디오 자료의 립싱크 등을 찾을 수 있습니다.
온라인 비디오 자료의 양이 증가함에 따라 사람들이 제품 또는 서비스에 연결하는 방법에 대한 중요한 정보를 놓치는 것을 방지하려면 NER 기반 비디오 콘텐츠 분석을 위한 보다 빠르고 독창적인 기술이 필수적입니다.
NER의 실제 적용
NER(Named Entity Recognition)는 사람, 위치, 브랜드, 금전적 가치 등과 같은 텍스트의 필수 측면을 식별합니다.
텍스트에서 주요 엔터티를 추출하면 구조화되지 않은 데이터를 정렬하고 중요한 정보를 감지하는 데 도움이 됩니다. 이는 큰 데이터 세트를 다룰 때 매우 중요합니다.
다음은 명명된 엔터티 인식의 몇 가지 매력적인 실제 사례입니다.
고객 피드백 분석
온라인 리뷰는 고객이 귀하의 상품에 대해 무엇을 좋아하고 싫어하는지, 회사에서 개선해야 할 부분에 대한 자세한 정보를 제공할 수 있으므로 소비자 피드백의 환상적인 소스입니다.
이 모든 클라이언트 입력은 NER 시스템을 사용하여 구성할 수 있으며, 이는 반복되는 문제도 식별할 수 있습니다.
예를 들어, NER을 사용하여 좋지 않은 고객 리뷰에서 자주 인용되는 장소를 식별하면 특정 지점에 집중하기로 결정할 수 있습니다.
콘텐츠 추천
읽고 있는 기사와 연결된 기사 목록은 BBC 및 CNN과 같은 웹사이트에서 기사를 읽을 때 찾을 수 있습니다.
이러한 웹사이트는 NER를 사용하여 읽고 있는 콘텐츠에서 추출한 엔티티에 대한 정보를 제공하는 추가 웹사이트에 대한 권장 사항을 제공합니다.
고객 지원에서 티켓 정리
고객의 지원 티켓 수 증가를 관리하는 경우 명명된 엔터티 인식 알고리즘을 사용하여 클라이언트 요청에 더 빠르게 응답할 수 있습니다.
고객의 불만 및 문의 분류와 같은 시간 소모적인 고객 관리 작업을 자동화하여 비용을 절감하고 고객 만족도를 높이며 해결률을 높입니다.
항목 추출을 사용하여 제품 이름이나 일련 번호와 같은 관련 데이터를 추출하여 해당 문제를 해결하기 위해 적합한 상담원이나 팀에게 티켓을 더 쉽게 라우팅할 수 있습니다.
검색 알고리즘
수백만 개의 정보가 있는 웹사이트가 검색과 관련된 결과를 생성할 수 있는 방법에 대해 질문한 적이 있습니까? 웹 사이트 Wikipedia를 고려하십시오.
Wikipedia는 "작업"이라는 단어가 포함된 모든 기사를 반환하는 대신 "작업"을 검색할 때 검색어와 관련될 수 있는 미리 정의된 엔터티가 포함된 페이지를 표시합니다.
따라서 Wikipedia는 "직업"을 정의하는 기사에 대한 링크, Jobs라는 사람에 대한 섹션 및 영화와 같은 미디어에 대한 또 다른 영역에 대한 링크를 제공합니다. 비디오 게임, "작업"이라는 용어가 나타나는 기타 형태의 엔터테인먼트.
검색어가 포함된 위치에 대한 다른 세그먼트도 표시됩니다.
이력서 관리
이상적인 지원자를 찾기 위해 채용 담당자는 하루 중 상당 시간을 이력서를 검토하는 데 보냅니다. 모든 이력서는 동일한 정보를 가지고 있지만 모두 다르게 제시되고 구성되며 이는 비정형 데이터의 전형적인 예입니다.
개인 데이터(예: 이름, 주소, 전화번호, 생년월일, 이메일) 및 교육 및 경험(예: 자격증, 학위 , 회사 이름, 기술 등).
전자 상거래
제품 검색 알고리즘과 관련하여 수백 또는 수천 개의 상품을 보유한 온라인 소매업체는 NER의 이점을 누릴 수 있습니다.
NER가 없으면 "검은색 가죽 부츠"를 검색하면 검은색이 아닌 가죽과 신발이 모두 포함된 결과가 반환됩니다. 그렇다면 전자 상거래 웹 사이트는 고객을 잃을 위험이 있습니다.
In 우리의 경우 NER는 검색어를 가죽 부츠의 제품 유형으로 분류하고 검은색을 색상으로 분류합니다.
최고의 엔티티 추출 API
구글 클라우드 NLP
이미 훈련된 도구의 경우 Google Cloud NLP는 Natural Language API를 제공합니다. 또는 업계 용어에 대해 도구를 교육하려는 경우 AutoML Natural Language API를 다양한 종류의 텍스트 추출 및 분석에 적용할 수 있습니다.
API는 Gmail, Google 스프레드시트 및 기타 Google 앱과 쉽게 상호 작용하지만 타사 프로그램과 함께 사용하면 더 복잡한 코드가 필요할 수 있습니다.
이상적인 비즈니스 옵션은 Google 애플리케이션과 Cloud Storage를 관리형 서비스 및 API로 연결하는 것입니다.
IBM Watson
IBM Watson은 녹음된 오디오 및 전화 통화를 자동으로 분석할 수 있는 놀라운 소프트웨어인 음성-텍스트 변환과 같은 사전 구축된 기능을 제공하고 믿을 수 없을 정도로 빠르게 수행하는 멀티 클라우드 플랫폼입니다.
CSV 데이터를 사용하여 Watson Natural Language Understanding의 딥 러닝 AI는 항목 또는 키워드를 추출하는 추출 모델을 생성할 수 있습니다.
그리고 연습을 통해 훨씬 더 정교한 모델을 만들 수 있습니다. 광범위한 코딩 지식이 필요하지만 모든 기능은 API를 통해 액세스할 수 있습니다.
방대한 데이터 세트를 검사해야 하고 내부 기술 리소스가 있는 대기업에 적합합니다.
Cortical.io
Cortical.io는 신경학의 개념인 Semantic Folding을 사용하여 텍스트 추출 및 NLU 솔루션을 제공합니다.
이것은 전체 및 특정 용어로 텍스트의 의미를 나타내는 "의미적 지문"을 생성하기 위해 수행됩니다. 단어 클러스터 간의 관계를 설명하기 위해 의미 지문은 텍스트 데이터를 나타냅니다.
Cortical.io의 대화형 API 문서는 각 텍스트 분석 솔루션의 기능을 다루며 Java, Python 및 Javascript API를 사용하여 액세스하기 쉽습니다.
Cortical.io의 Contract Intelligence 도구는 의미 검색을 수행하고, 스캔한 문서를 변환하고, 주석으로 도움을 주고 향상시키기 위한 법률 분석을 위해 특별히 제작되었습니다.
특히 법률 부문에서 AI 지식이 필요하지 않은 사용이 간편한 API를 찾는 기업에 이상적입니다.
원숭이 배우기
모든 주요 컴퓨터 언어는 MonkeyLearn의 API에서 지원되며 몇 줄의 코드만 설정하면 추출된 엔터티가 포함된 JSON 파일이 생성됩니다. 사전 교육을 받은 추출기 및 텍스트 분석가의 경우 인터페이스가 사용자 친화적입니다.
또는 몇 가지 간단한 단계로 고유한 추출기를 만들 수 있습니다. 시간을 단축하고 정확성을 향상시키기 위해 심층 자연어 처리(NLP) 기계 학습 사람처럼 텍스트를 평가할 수 있습니다.
또한 SaaS API를 사용하면 Google Sheets, Excel, Zapier, Zendesk 등과 같은 도구와의 연결을 설정하는 데 수년간의 컴퓨터 과학 지식이 필요하지 않습니다.
현재 브라우저에서 사용할 수 있는 것은 이름 추출기, 회사 추출기 및 위치 추출기입니다. 고유한 구성 방법에 대한 자세한 내용은 명명된 엔터티 인식 블로그 문서를 참조하세요.
다양한 유형의 텍스트 추출 및 텍스트 분석을 위해 구현하기 쉬운 API가 필요한 기술, 소매 및 전자 상거래와 관련된 모든 규모의 비즈니스에 이상적입니다.
아마존 이해
Amazon Comprehend의 사전 구축 도구를 즉시 쉽게 연결하고 사용할 수 있도록 수백 개의 다양한 분야에서 교육을 받았습니다.
모니터링되는 서비스이므로 사내 서버가 필요하지 않습니다. 특히 현재 Amazon의 클라우드를 어느 정도 활용하고 있다면 해당 API는 기존 앱과 쉽게 통합됩니다. 그리고 조금만 더 훈련하면 추출 정확도를 높일 수 있습니다.
의료 기록 및 임상 시험에서 데이터를 얻기 위한 가장 신뢰할 수 있는 텍스트 분석 기술 중 하나는 Comprehend의 NERe(Medical Named Entity and Relationship Extraction)로, 약물, 상태, 테스트 결과 및 절차에 대한 세부 정보를 추출할 수 있습니다.
진단을 평가하고 미세 조정하기 위해 환자 데이터를 비교할 때 매우 유용할 수 있습니다. 사전 훈련된 도구로 관리형 서비스를 원하는 기업을 위한 최상의 옵션입니다.
에일리언
강력한 기계 학습 텍스트 분석에 쉽게 액세스할 수 있도록 AYLIEN은 XNUMX가지 인기 있는 프로그래밍 언어로 XNUMX가지 API 플러그인을 제공합니다.
그들의 News API는 전 세계 수만 개의 뉴스 소스에서 실시간 검색 및 엔티티 추출을 제공합니다.
문서에서 텍스트 분석 API를 사용하여 엔터티 추출 및 기타 여러 텍스트 분석 작업을 수행할 수 있습니다. 소셜 미디어 플랫폼, 소비자 설문조사 등
마지막으로 텍스트 분석 플랫폼을 사용하여 브라우저(TAP)에서 직접 추출기를 만들 수 있습니다. 주로 고정 API를 빠르게 통합해야 하는 회사에 적합합니다.
스페이시
SpaCy는 무료 오픈 소스인 Python NLP(자연어 처리) 패키지이며 수많은 내장 기능이 있습니다.
에 대해 점점 더 일반화되고 있습니다. NLP 데이터 처리 및 분석. 비정형 텍스트 데이터는 방대한 규모로 생성되기 때문에 이를 분석하고 인사이트를 도출하는 것이 중요합니다.
이를 위해서는 컴퓨터가 이해할 수 있는 방식으로 사실을 묘사해야 합니다. NLP를 통해 할 수 있습니다. 지연 시간이 30ms에 불과한 매우 빠르지만 결정적으로 HTTPS 페이지와 함께 사용하기 위한 것이 아닙니다.
이것은 로컬에서 작동하기 때문에 자신의 서버나 인트라넷을 스캔하는 데 좋은 옵션이지만 전체 인터넷을 연구하기 위한 도구는 아닙니다.
결론
NER(Named Entity Recognition)은 기업이 고객 지원 요청에서 관련 정보에 레이블을 지정하고, 고객 피드백에서 참조되는 엔터티를 찾고, 무엇보다도 연락처 세부 정보, 위치 및 날짜와 같은 중요한 데이터를 신속하게 추출하는 데 사용할 수 있는 시스템입니다.
엔티티 인식으로 명명되는 가장 일반적인 접근 방식은 엔티티 추출 API를 사용하는 것입니다(오픈 소스 라이브러리 또는 SaaS 제품에서 제공하는지 여부).
그러나 최상의 대안을 선택하는 것은 시간, 재정 및 기술에 따라 달라집니다. 어떤 종류의 사업이든 엔터티 추출과 보다 정교한 텍스트 분석 기술이 분명히 유리할 수 있습니다.
기계 학습 도구가 올바르게 학습되면 정확하고 데이터를 간과하지 않으므로 시간과 비용이 절약됩니다. API를 통합하여 이러한 솔루션이 지속적으로 자동으로 실행되도록 구성할 수 있습니다.
회사에 가장 적합한 조치를 선택하기만 하면 됩니다.
댓글을 남겨주세요.