https://brunch.co.kr/@harryban0917/255
Natural Language Understanding (NLU)
- 자연어 형태의 문장을 기계가 이해할 수 있게 만드는 기술
- 목적 : 다양한 표현과 문장의 구조에 대해 그 의미와 의도를 파악
- NLU의 주요 Task
- 감성분석(Sentiment Analysis) : 문장 또는 문서에 포함된 감정이나 의견을 분류
- 개체명 인식(Named Entity Recognition, NER) : 텍스트에서 특정 정보(이름, 위치, 날짜 등)을 인식하고 분류
- 품사 태깅(Part-of-Speech Tagging, POS Tagging) : 명사와 형용사 등 단어의 품사를 분류
- 의미 추출(Semantic Extraction) : 문장에서 의미를 가지는 문장을 추출
- 구문분석(Parsing) : 문장의 구조를 분석하고 관계 파악
Natural Language Generation (NLG)
- 학습 결과로 기계가 자연어 문장을 생성하는 기술
- 인공지능 언어 모델이 자연스러운 문장을 생성하기 위해 알고리즘의 한계와 학습 데이터의 부족으로 매끄러운 문장 생성이 어려웠음 → 방대한 양의 사전 학습 데이터를 활용한 LLM의 등장으로 한계를 극복하고 자연스러운 문장 생성 가능
- LNG 주요 Task
- 텍스트 요약(Text Summarization) : 긴 문서의 주요 내용을 짧게 요약
- 이미지 캡셔닝(Image Captioning) : 이미지의 내용을 설명하는 문장 생성
- 대화생성(Dialogue Generation) : 챗봇이나 대화형 AI를 위해 사용자의 질문이나 발화에 적절하게 반응하는 문장 생성
- 텍스트 자동 완성(Text Autocomplete) : 자연어 생성과 관련된 알고리즘은 다음에 올 단어를 예측하여 완성
- 질의응답 생성(Question-Answer Generation) : 주어진 문장에 대하여 질문을 던졌을 때 이에 대한 답을 예측하여 답
- NLG 단계
- Step 1. 콘텐츠 분석: 데이터가 필터링 되어 최종적으로 생성될 콘텐츠에 대한 내용 포함 여부 결정 ⇒ 원문의 주요 주제와 그들 사이의 관계 식별
- Step 2. 데이터 이해: 데이터 해석, 패턴 식별, 컨텍스트에 맞게 수집 ⇒ 모델 학습에 사용
- Step 3. 문서 구조화: 데이터가 해석되는 유형 기반으로 문서 계획 생성 및 서술 구조 선택
- Step 4. 문장 집계: 관련된 문장이나 문장의 일부의 주제를 정확하게 요약하여 결합
- Step 5. 문법 구조화: 문법 규칙이 적용되어 자연스러운 텍스트 생성 ⇒ 프로그램은 문장의 구조를 추론하고, 문장을 올바른 방식의 문법으로 다시 작성
- Step 6. 언어 표현: 최종 출력은 사용자 또는 프로그래머가 선택한 템플릿 또는 형식에 따라 생성
- NLG 모델 및 방법론
- 마르코프 체인 모델 : 마르코프 모델은 통계와 머신러닝에서 언어생성 등의 랜덤 선택을 할 수 있는 시스템을 모델링하고 분석하기 위해 사용되는 수학적 방법.
- 현재 상태와 이전 상태를 학습한 후 이전 두 상태를 기반으로 다음 상태로 이동할 확률 계산 ⇒ 함께 나타날 가능성이 높은 단어 선택하여 문장 생성
- RNN : 다양한 방식으로 순차 데이터를 처리하는데 사용
- 한 언어로 쓰여진 문장을 다른 언어로 번역하는 것과 같은 시스템 사이의 정보 전송에 사용
- 데이터에서 패턴을 식별하는데 사용
- 문장의 다양한 품사를 식별하기 위한 학습에 사용될 수 있음
- LSTM : 시스템이 경험을 통해 학습해야 할 딥러닝에서 사용
- 데이터 시퀀스를 처리하기 위해 필요한 컨텍스트를 학습할 수 있기 때문에 일반적으로 자연어 처리 작업에서 사용
- 게이팅 메커니즘을 사용하여 현재 단계에 영향을 미칠 수 있는 이전 단계의 수를 제한함으로써 장기 종속성 학습
- 트랜스포머(Transformer) : 언어의 장거리 종속성을 학습하고, 단어의 의미에서 문장 생성
- 입력을 처리하는 인코더와 생성된 문장을 출력하는 디코더 포함
Natural Language Processing (NLP)
- 자연어의 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 기술 ⇒ NLG + NLU
- 디지털 어시스턴스, 음성-텍스트 받아쓰기, Siri-빅스비 등의 가상 비서
- 한 언어에서 다른 언어로 텍스트 번역,
- 대용량 데이터 및 텍스트를 실시간 요약,
- 사용자 명령에 응답