- ChaptGPT의 등장 이후로, 생성형 AI가 주목 받고 있음
- 생성형 인공지능(생성형AI)는 대화, 이야기, 이미지, 영상, 음악 등 새로운 다양한 콘텐츠와 아디이어를 생성할 수 있는 AI이다.
- 창의적 콘텐츠 생성 가능 : AI가 생성한 음악, 그림, 시 소설 등의 콘텐츠는 인간의 창의력 향상, 예술적 표현의 경계 확장
- 업무 자동화와 효율성 향상 : AI를 이용하여 자동으로 광고 콘텐츠 생성, 게임 내 캐릭터 및 환경 디자인 가능 → 시간과 비용 절약, 전략적인 업무에 집중 가능
- 개인화 된 경험 제공: 사용자의 선호도와 행동을 분석하여 개인 맞춤형 콘텐츠 생성 가능 → 자신의 취향에 맞는 정보, 제품, 서비스를 더 쉽게 발견할 수 있음
생성형 AI의 작동 방식
기초 모델(FM, Foundation Model)
- FM 모델
- 대규모 데이터 셋을 기반으로 훈련됨
- 데이터 사이언티스트가 기계학습에 접근하는 방식을 변화시킨 대규모 딥러닝 신경망
- FM 모델 용어 → 연구자들이 광범위한 일반화 된 데이터와 레이블이 지정되지 않은 데이터에 대해 훈련되고 언어 이해, 텍스트 및 이미지 생성, 자연어 대화 같은 다양한 작업을 수행 할 수 있는 기계학습 모델을 설명하기 위해 만들어짐
- FM모델의 특징
- 적응성 : 입력 프롬프트를 통해 높은 정확도로 다양한 이질 적인 작업 수행 가능
- FM 모델 응용 분야
- 언어 번역
- 콘텐츠 생성
- 이미지 분류
- 고해상도 이미지 생성 및 편집
- 문서 추출
- 로보틱스
- 의료 서비스
- 자율 주행 차량
- 파운데이션 모델은 생성형 인공지능의 한 형태이다. → 인간 명렁의 형태로 하나 이상의 입력에서 출력 생성
- 모델 : 생성형 적대 네트워크(GAN), 트랜스포머, VAE 등을 기반으로 함
- 파운데이션 모델의 예
- BERT(Bidirectional Encoder Representations from Transformers) - 2018년
- 전체 시퀀스의 컨텍스트를 분석한 후 다음을 예측하는 양방향 모델
- 33억개의 토큰(단어)과 3억 4천만 개의 파라미터 사용, 일반텍스트 코퍼스와 위키피디아로 학습됨.
- 질문에 답, 문장 예측, 텍스트 번역 가능
- GPT(Generative Pre-trained Transformer) - 2018년 OpenAI
- 셀프 어텐션 메커니즘이 적용된 12개 레이어의 트랜스포머 디코더 사용
- 11,000권 이상의 BookCorpus 데이터 셋 기반으로 훈련 됨
- GPT-1 : 제로샷 학습
- GPT-2 : 2019년 출시, 15억개의 파라미터를 사용하여 모델 훈련
- GPT-3 : 96개 레이어의 신경망+1750억 개의 파라미터+5000억 단어의 Common Crawl 데이터 셋 사용하여 훈련
- GPT-3.5 : ChatGPT 챗봇
- GPT-4 : 2022년 출시
- Amazon Titan
- 대규모 데이터 세트에서 사전 학습되는 강력한 범용 모델
- 생성형 LLM : 요약, 텍스트 생성, 분류, 개방형 Q&A, 정보 추출 등
- 임베딩 LLM : 단어, 구문 및 텍스트 단위를 포함한 텍스트 입력을 텍스트의 의미론적 의미를 포함하는 숫자표현(임베딩)으로 변환 ⇒ 텍스트를 생성하지 않지만 임베딩을 비교하면 모델이 단어 일치보다 관련성이 높고 상황에 맞는 응답을 생성하므로 개인화 및 검색과 같은 애플리케이션에 유용
- Stable Diffusion - 2022년
- 고해상도 이미지를 생성할 수 있는 text-to-image 모델
- 노이즈 생성 및 노이즈 제거 기술을 사용하여 이미지 생성 방법을 학습하는 대신 확산 모델을 갖추고 있음
- BERT(Bidirectional Encoder Representations from Transformers) - 2018년
대규모 언어 모델(LLM)
- 대규모 언어 모델 (LLM)
- 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델
- 기본 트랜스포머 : 셀프어텐션 기능을 갖춘 인고더와 디코더로 구성된 신경망 → 인코더와 디코더는 일련의 텍스트에서 의미를 추출하고, 텍스트 내의 단어와 구문 사이의 관계를 이해
- 트랜스포머 LLM : 비지도 학습이 가능하지만 더 정확한 설명은 트랜스포머가 자체 학습 수행 ⇒ 기본 문법, 언어 및 지식을 이해하는 방법 학습
- 입력을 순차적으로 처리하는 RNN과 다르게 트랜스포머 전체 시퀀스를 병렬 처리함 → GPU를 통해 트랜스포머 기반 LLM을 학습할 수 있기 때문에 훈련 시간 감소
- LLM 작동 방식
- 핵심요소 : 단어를 나타내는 방식
- 이전 형태의 머신러닝은 숫자 표를 사용하여 각 단어 표현 → 비슷한 의미를 가진 단어와 같은 단어 사이의 관계 인식 어려움
- 해결방법: 워드 임베딩(다차원 벡터)를 사용하여 벡터 공간에서 문맥상 의미가 비슷하거나 다른 관계가 있는 단어가 서로 가깝도록 단어를 표현하여 한계 극복
- 트랜스포머는 워드 임베딩을 사용하여 인코더를 통해 텍스트를 숫자 표현으로 사전 처리하고 비슷한 의미를 가진 단어 및 구문의 문맥, 품사와 같은 단어 사이의 관계 이해
- LLM은 디코더를 통해 언어 지식을 적용하여 고유한 출력 생성
- 이전 형태의 머신러닝은 숫자 표를 사용하여 각 단어 표현 → 비슷한 의미를 가진 단어와 같은 단어 사이의 관계 인식 어려움
- 핵심요소 : 단어를 나타내는 방식
- LLM 응용분야
- 지식 기반 답변 : 디지털 아카이브의 정보 도움말을 통해 특정 질문에 답할 수 있는 LLM
- 텍스트 분류 : 클러스터링을 사용하여 비슷한 의미나 감정을 가진 텍스트를 분류
- 텍스트 생성 : 불완전한 문장을 완성하거나 제품설명서 작성, 짧은 동화 등을 작성
생성형 AI가 산업에 미치는 영향
- 금융 서비스
- 금융기관 : 챗봇을 사용하여 상품 추천을 생성하고, 고객 문의에 응답하여 전반적인 고객 서비스 제공
- 은행 : 청구, 신용카드 및 대출 사기를 신속하게 탐지
- 의료 및 생명 과학
- 항체, 효소, 백신 및 유전자 요법을 설계하기 위한 특정 특성을 가진 새로운 단백질 서열 생성
- 합성 생물학 및 대사 공학에 적용할 합성 유전자 서열 설계 가능
- 합성된 환자 및 의료 데이터를 생성하여 대규모 실제 데이터 셋에 접근하지 않고 AI 모델을 학습하거나 임상시험을 시뮬레이션, 희귀 질환 연구에 활용 가능
- 자동차 및 제조
- 엔지니어링부터 차량 내 경험 및 고객 서비스에 이르기까지 다양한 목적으로 생성형 AI 기술 사용
- 고객 질문에 빠르게 응답하여 더 나은 고객 서비스 제공
- 생성형 AI를 통해 새로운 재료, 칩, 부품 설계를 생성하여 제조 프로세스를 최적화하고 비용 절감
- 미디어 및 엔터에인먼트
- 아티스트는 AI가 생성한 음악으로 앨범 보완 및 개선하여 새로운 경험 창조
- 미디어 조직은 개인화 된 콘텐츠와 광고를 제공하여 고객 경험을 개선하고 수익 증대
- 게임회사는 새로운 게임을 만들고 플레이어가 아바타를 만들도록 지원 가능
생성형 AI의 단점
https://www.igloo.co.kr/security-information/생성형-인공지능generative-ai의-보안-위협과-안전한-활용/
- 위험 초래 : 악의적인 사용자가 소셜 미디어의 대규모 허위 정보 또는 실제 인물을 겨냥한 무단 딥페이크 이미지와 같이 악의적인 목적에 사용할수 있음
- 잘못된 정보 제공 : 생성형 AI는 잘못된 정보와 장면을 생성할 수 있음
- 보안리스크와 법적 위험 초래 : 보안 설계가 되지 않은 어플리케이션에 사용자가 민감한 정보를 입력하는 경우 리스크 초래, 생성형 AI의 응답은 저작권 보호 콘텐츠 생산, 실제 사람의 음성 또는 신원을 동의 없이 도용하여 법적 위험 초래
생성형 AI 모델 작동 방법
- 특정 특징이 주어지면 레이블을 예측하는 방식 대신에 특정 레이블이 주어지면 특징을 예측.
- 수학적으로 생성형 모델링은 x와 y가 함께 발생할 확률을 계산
- 다양한 데이터 특징의 분포와 그 관계를 학습
1. 확산 모델
- 초기 데이터 샘플에 제어된 무작위 변경을 반복적으로 수행하여 새 데이터를 생성
- 본 데이터로 시작하여 미세한 변화(노이즈)를 추가하여 점차 원본과 덜 유사하게 만든다. 이 노이즈는 생성된 데이터가 일관되고 사실적으로 유지되도록 세심하게 제어 됨
- 여러 번의 반복에 걸쳐 노이즈를 추가한 후 확산 모델은 프로세스를 역전
- 역 노이즈 제거는 노이즈를 점진적으로 제거하여 원본과 유사한 새 데이터 샘플을 생성
2. 생성형 대립 네트워크(GAN)
- 두 신경망을 경쟁적으로 훈련시키는 방식으로 작동
- 생성자라고 하는 첫 번째 네트워크는 무작위 발생 노이즈를 추가하여 가짜 데이터 샘플을 생성
- 판별자라고 하는 두 번째 네트워크는 실제 데이터와 생성자가 생성한 가짜 데이터를 구별
- 훈련 중에 생성자는 사실적인 데이터를 생성하는 능력을 지속적으로 개선하며, 판별자는 가짜와 진짜를 더 잘 구분
- 이미지 생성, 스타일 전송 및 데이터 증강 작업에 널리 사용
3. 변이형 오토인코더(VAE)
- 잠재 공간이라는 간결한 데이터 표현을 학습
- 잠재 공간은 데이터를 수학적으로 표현한 것. 모든 속성을 기반으로 데이터를 나타내는 고유한 코드 ⇒ ex) 얼굴을 연구하는 경우, 잠재 공간에는 눈 모양, 코 모양, 광대뼈 및 귀를 나타내는 숫자가 포함
- VAE는 인코더와 디코더라는 두 개의 신경망을 사용
- 인코더 신경망은 입력 데이터를 잠재 공간의 각 차원에 대한 평균 및 분산에 매핑. 가우스(정규) 분포에서 무작위 표본을 생성 ⇒ 이 샘플은 잠재 공간의 한 지점이며 입력 데이터의 압축되고 단순화된 버전을 나타냄
- 디코더 신경망은 잠재 공간에서 이 샘플링된 지점을 가져와 원래 입력과 유사한 데이터로 다시 재구성. 수학 함수는 재구성된 데이터가 원본 데이터와 얼마나 잘 일치하는지 측정하는 데 사용
4. 트랜스포머 기반 모델
- 트랜스포머 기반 생성형 AI 모델은 VAE의 인코더 및 디코더 개념을 기반으로 함
- 트랜스포머 기반 모델은 인코더에 더 많은 레이어를 추가하여 이해, 번역, 창의적 글쓰기와 같은 텍스트 기반 작업의 성능을 개선트랜스포머 기반 모델은 셀프 어텐션 메커니즘을 사용 ⇒ 시퀀스의 각 요소를 처리할 때 여러 가지 입력 시퀀스 부분의 중요성에 가중치
- 컨텍스트 임베딩을 구현 ⇒ 시퀀스 요소의 인코딩은 요소 자체 뿐만 아니라 시퀀스 내의 컨텍스트에 따라 차이가 존재함
'논문리뷰(생성형 인공지능)' 카테고리의 다른 글
| LLM(Large Language Models, LLM)이란? (2) | 2024.12.29 |
|---|