LLM(Large Language Models, LLM)이란?

LLM

• 자연어 처리 분야를 혁신하고, 컴퓨터가 인간 언어를 이해하고 생성하는 방식을 변화 시키고 있음.
• 대형 언어 모델로 알려진 인공지능 시스템으로 자연어를 처리하고, 이해하는 것을 목적으로 설계 됨.
• 대형 언어 모델은 심층 학습 알고리즘의 힘을 활용하여 자연어를 처리하고 해석 ⇒ 데이터에서 패턴과 표현을 학습할 수 있음 
  • LLM은 대규모 텍스트 말뭉치를 분석함으로써 문법, 구문 및 의미적 관계를 이해하여 일관성 있고 맥락에 적합한 응답 생성

LLM의 특징

1. 트랜스포머 구조

• 트랜스포머 아키텍처 기반으로 구축됨 → 장거리 종속성과 문맥 정보를 효율적으로 포착할 수 있게 함
  • ⇒ 모델이 입력의 전체 맥락을 고려하여 일관되고 의미 있는 응답을 생성 할 수 있도록 함

2. 전이학습

• 대규모 데이터 셋에 대한 사전 훈련으로 얻은 지식을 활용할 수 있는 전이학습 활용
• 사전 훈련 단계 : 모델에게 방대한 양의 데이터를 노출시켜 언어에 대한 광법위한 이해력을 습득하도록 함
• 작은 작업별 데이터 셋을 사용하여, 특정 작업 프로그래밍 언어 또는 도메인에 대한 성능을 향상시키기 위해 세부 조정

 

LLM의 기능

1. 언어의 이해

• 정교한 아키텍처와 훈련으로 심층 학습 모델을 통해 언어의 이해에서 우수한 성과를 보임
• 각 모델은 대규모이고, 방대한 데이터로 훈련됨

⇒ 문법, 구문 및 의미적 관계의 미묘한 차이를 이해하여 인간의 언어를 정확하게 해석하고 처리할 수 있음

 

2. 언어 생성

• 인간과 같은 언어 응답을 생성하는데 능숙함
• 주어진 프롬프트에 따라 자연스러운 인간의 언어와 유사한 일관된 맥락에 맞는 텍스트 생성

⇒ 콘텐츠 생성, 챗봇, 가상 어시스턴트 어플리케이션에서 가치 있음

 

 

3. 다양한 작업에 대한 적응성

• 기계번역, 감성분석, 텍스트요약, 질문-답변 등을 위해 파인튜닝 될 수 있음
• 특정 데이터셋을 훈련시키고, 한 언어에서 다른 특정 작업을 위해 최적화 함으로써 다양한 영역에서 인상적인 결과를 제공하고, 전통적인 접근법을 능가할 수 있음

 

4. 다국어 지원

• 여러 언어에서 텍스트를 처리하고 생성할 수 있음
• 다양한 언어로 구성된 대량의 텍스트를 학습하여 다양한 언어적 맥락에서 텍스트를 이해하고 생성 할 수 있음

 

5. 문맥적 이해

• 문맥 속에서 언어를 이해하고 해석할 수 있음 → 단어와 구문 사이의 의존성 포착할 수 있음

⇒ 문맥의 이해는 LLM이 일관되고 관련성이 있으며, 문맥에 적합한 응답을 생성할 수 있도록 함.

 

 

LLM의 핵심 모델

• GPT-3.5 (OpenAI) : 광범위한 학습 데이터를 활용하여 언어이해 및 생성 능력 향상
• GPT-4(OpenAI) : 이전 버전보다 더 큰 모델 크기와 정교한 언어 이해 및 생성 능력을 갖춤
• PaLM2(Google) : Pre-trained Automatic Metrics를 사용한 언어 모델로 사전훈련 된 언어 모델을 사용하여 기계번역, 요약 , 질문 응답 등의 다양한 NLP 작업에서 성능평가를 위해 사용
• LlaMA(MetaAI) : Language Model Benchmark (LlaMA)에서 개발한 작업 중심의 언어 모델로 sota 달성, 다양한 자연어 처리 작업을 포함하여 언어 모델의 성능을 평가하고 비교하기 위해 사용

LLM의 장단점

• 장점
  • 폭 넓은 응용분야 : 언어 번역, 문장완성, 질문 분석, 감성분석 등에 사용
  • 지속적 향상 : 대규모 언어 모델 성능은 더 많은 매개변수가 추가될수록 성장하므로 지속적으로 향상, LLM이 사전 훈련 되면, 퓨삿 프롬프트를 통해 추가 매개변수 없이 모델이 프롬프트에서 학습
• 단점(위험요인)
  • 보안 : 적절하게 관리되거나 감시 되지 않으면 중요한 보안 위험 초래 → 사람들의 개인 정보 유출, 피싱 사기, 스팸 생성, 잘못된 정보 확산