리서치성장일기님의 블로그

LLM(Large Language Models, LLM)이란?

리서치성장일기 — Sun, 29 Dec 2024 19:04:57 +0900

LLM

자연어 처리 분야를 혁신하고, 컴퓨터가 인간 언어를 이해하고 생성하는 방식을 변화 시키고 있음.
대형 언어 모델로 알려진 인공지능 시스템으로 자연어를 처리하고, 이해하는 것을 목적으로 설계 됨.
대형 언어 모델은 심층 학습 알고리즘의 힘을 활용하여 자연어를 처리하고 해석 ⇒ 데이터에서 패턴과 표현을 학습할 수 있음
- LLM은 대규모 텍스트 말뭉치를 분석함으로써 문법, 구문 및 의미적 관계를 이해하여 일관성 있고 맥락에 적합한 응답 생성

LLM의 특징

1. 트랜스포머 구조

트랜스포머 아키텍처 기반으로 구축됨 → 장거리 종속성과 문맥 정보를 효율적으로 포착할 수 있게 함
- ⇒ 모델이 입력의 전체 맥락을 고려하여 일관되고 의미 있는 응답을 생성 할 수 있도록 함

2. 전이학습

대규모 데이터 셋에 대한 사전 훈련으로 얻은 지식을 활용할 수 있는 전이학습 활용
사전 훈련 단계 : 모델에게 방대한 양의 데이터를 노출시켜 언어에 대한 광법위한 이해력을 습득하도록 함
작은 작업별 데이터 셋을 사용하여, 특정 작업 프로그래밍 언어 또는 도메인에 대한 성능을 향상시키기 위해 세부 조정

LLM의 기능

1. 언어의 이해

정교한 아키텍처와 훈련으로 심층 학습 모델을 통해 언어의 이해에서 우수한 성과를 보임
각 모델은 대규모이고, 방대한 데이터로 훈련됨

⇒ 문법, 구문 및 의미적 관계의 미묘한 차이를 이해하여 인간의 언어를 정확하게 해석하고 처리할 수 있음

2. 언어 생성

인간과 같은 언어 응답을 생성하는데 능숙함
주어진 프롬프트에 따라 자연스러운 인간의 언어와 유사한 일관된 맥락에 맞는 텍스트 생성

⇒ 콘텐츠 생성, 챗봇, 가상 어시스턴트 어플리케이션에서 가치 있음

3. 다양한 작업에 대한 적응성

기계번역, 감성분석, 텍스트요약, 질문-답변 등을 위해 파인튜닝 될 수 있음
특정 데이터셋을 훈련시키고, 한 언어에서 다른 특정 작업을 위해 최적화 함으로써 다양한 영역에서 인상적인 결과를 제공하고, 전통적인 접근법을 능가할 수 있음

4. 다국어 지원

여러 언어에서 텍스트를 처리하고 생성할 수 있음
다양한 언어로 구성된 대량의 텍스트를 학습하여 다양한 언어적 맥락에서 텍스트를 이해하고 생성 할 수 있음

5. 문맥적 이해

문맥 속에서 언어를 이해하고 해석할 수 있음 → 단어와 구문 사이의 의존성 포착할 수 있음

⇒ 문맥의 이해는 LLM이 일관되고 관련성이 있으며, 문맥에 적합한 응답을 생성할 수 있도록 함.

LLM의 핵심 모델

GPT-3.5 (OpenAI) : 광범위한 학습 데이터를 활용하여 언어이해 및 생성 능력 향상
GPT-4(OpenAI) : 이전 버전보다 더 큰 모델 크기와 정교한 언어 이해 및 생성 능력을 갖춤
PaLM2(Google) : Pre-trained Automatic Metrics를 사용한 언어 모델로 사전훈련 된 언어 모델을 사용하여 기계번역, 요약 , 질문 응답 등의 다양한 NLP 작업에서 성능평가를 위해 사용
LlaMA(MetaAI) : Language Model Benchmark (LlaMA)에서 개발한 작업 중심의 언어 모델로 sota 달성, 다양한 자연어 처리 작업을 포함하여 언어 모델의 성능을 평가하고 비교하기 위해 사용

LLM의 장단점

장점
- 폭 넓은 응용분야 : 언어 번역, 문장완성, 질문 분석, 감성분석 등에 사용
- 지속적 향상 : 대규모 언어 모델 성능은 더 많은 매개변수가 추가될수록 성장하므로 지속적으로 향상, LLM이 사전 훈련 되면, 퓨삿 프롬프트를 통해 추가 매개변수 없이 모델이 프롬프트에서 학습
단점(위험요인)
- 보안 : 적절하게 관리되거나 감시 되지 않으면 중요한 보안 위험 초래 → 사람들의 개인 정보 유출, 피싱 사기, 스팸 생성, 잘못된 정보 확산

무인운반차(AGV, Automated Guided Vehicle) 시스템

리서치성장일기 — Tue, 17 Dec 2024 10:46:42 +0900

무인운반차(AGV, Automated Guided Vehicle) 시스템

참고 | https://www.autostoresystem.com/kr/insights/what-is-an-automated-guided-vehicle-agv

1. 작동방식

: 시설 내에서 미리 정해진 경로나 안내 시스템을 따라 움직이도록 설계. 경로는 자기테이프, 전선 또는 시각적으로 표시된 선과 같은 물리적 수단을 통해 정해지거나, 사전 설치된 리플렉터(반사판)를 사용하는 레이저 네비게이션과 같은 보다 정교한 방법을 통해 결정될 수 있다.

① 네비게이션 및 안내

자기 테이프 또는 와이어: 자기테이프(magnetic tape) 또는 바닥에 매립된 와이어에 의해 정해진 경로를 따라 이동. AGV가 자기장 또는 전기 신호를 감지하여 미리 정해진 경로를 따라가는 방식
레이저 내비게이션: 레이저 내비게이션이 장착된 AGV는 시설 주변에 배치된 리플렉터(반사판)을 사용. AGV에서 방출된 레이저 빔이 리플렉터에 부딪힌 후 반사되어 되돌아오는 시간을 기준으로 위치 계산
광학 내비게이션: 광학 내비게이션은 바닥에 시각적으로 표시된 마커나 선을 따라 AGV가 이동하는 방식
관성 내비게이션: 자이로스코프와 가속도계를 사용하여 주어진 위치로부터의 움직임을 추적하고, 시간의 경과에 따라 계산한 위치 변화를 기반으로 경로를 탐색할 수 있다.
GPS 내비게이션: 실외 환경에서 GPS를 통해 경로를 탐색할 수 있다. 단, 실내에서는 위성 신호 수신이 제한적이기 때문에 실내에서는 상대적으로 많이 사용되지 않는다.

② 장애물 감지 및 안전 : 장애물을 감지하고 안전한 작동을 보장하는 센서와 안전 매커니즘이 장착됨

라이다(Lidar) 및 초음파 센서: AGV 경로에서 장애물을 감지하고 충돌을 피하기 위해 차량이 속도를 줄이거나 멈추도록 작동시킴
범퍼: AGV가 물체나 사람과 접촉 할 경우 물리적 범퍼가 비상 정지 작동시킬 수 있음
비상 정지 버튼: 필요한 경우 사람이 직접 수동 정지 버튼을 눌러 AGV를 즉시 정지시킬 수 있음

③ 통신 및 제어 : 더 큰 자동화 시스템의 일부이며, 중앙 제어 시스템과 통신하여 지시를 받고 다른 차량 및 시스템과 작업 조율

Wi-Fi: 무선 네트워크를 통해 중앙 제어 시스템에 연결하여 경로 정보를 수신하고 작업을 배정 받는다.
RFID 태그: 현장에 내장된 무선 주파수 식별 태그는 AGV에 위치 데이터를 제공하고, 감지 시 특정 작업을 작동시킬 수 있다.

④ 동력 및 추진력: 일반적으로 배터리로 구동되며, 전기모터가 추진력을 제공.

2. AGV의 장점

① 인건비 절감: AGV는 반복적이고 일상적인 작업을 대신함으로써 수작업과 관련 된 비용을 크게 낮출 수 있다.

② 안전성 향상: 첨단 센서와 안전 기능이 탑재된 AGV는 작업장 사고의 위험을 줄이고, 고온/저온 환경 또는 위험물질이 있는 구역 등 사람이 작업하기에는 위험하거나 어려운 환경에서도 작동할 수 있다.

③ 정확성 및 생산성 향상: 인간 작업자의 피로나 실수로 인해 오류 발생 가능성 감소, 휴식 시간 및 교대 시간 없이 연속적으로 작동할 수 있기 때문에 생산성 개선

3. AGV 단점

① 반복적이지 않은 작업에는 적합하지 않음: 통제된 환경에서 일관되고 반복적인 작업을 수행할 때 탁월한 성능을 보인다. 반면에 작업의 종류가 다양하거나 사람의 판단이 필요한 상황에서 효율성이 떨어질 수 있음

② 유연성이 낮음: 사전에 정해진 경로와 작업에 의존하기 때문에 갑작스러운 작업 조건 변화에 적응력이 떨어질 수 있음

③ 먼지에 민감한 센서에 의존: 센서, 카메라 및 기타 내비게이션 기술에 의존하여 작업 환경 내에서 이동하고 작업을 수행하기 때문에 작업환경에 존재하는 먼지, 미세한 입자가 센서 시스템을 방해하여 잠재적으로 효율성이 떨어질 수 있음

④ 창고 보관에 필요한 공간 증가: 다른 장애물과 충돌하지 않고 원활하게 이동하기 위해 더 넓은 통로 공간 필요

Robotics 비전공자를 위한 개념 정리

리서치성장일기 — Tue, 17 Dec 2024 10:45:27 +0900

[용어 정리]

- Hydraulic : 유압, 서보-유압(servo-hydraulic)

- HPU(Hydraulic Power Unit): 시스템에 고압력으로 오일 공급하는 장치 → 오일 저장 탱크+펌프/모터+어큐뮬레이터로 구성됨

어큐뮬레이터: 유압 오일과 같은 유체를 저장하고, 시스템 내에서 압력을 조절하며 에너지를 저장하는데 사용 됨. → 유압시스템의 효율성을 향상, 시스템의 안정성 유지, 유압 충격 감소 등

① 작동원리:

어큐뮬레이터는 유압 시스템 내에서 압력의 변화를 관리하고, 필요할 때 추가적인 유압 오일을 시스템에 제공하며, 에너지를 저장하는 장치로써 가스와 액체 사이의 압축 가능성을 이용하여 작동.
어큐뮬레이터 내부에서는 유압 오일과 압축가스(질소가스)가 분리되어 있으며, 시스템의 압력에 따라 가스가 압축되거나 팽창하면서 에너지를 저장하고 방출

② 작동순서:

최초 가스 충전 후 주머니는 shell 내부의 전체 용적 차지
시스템의 유압펌프에 의해 작동유체가 어큐뮬레이터 내부로 유입될 때, 주머니 안의 질소가스는 압축되며 내부 압력 증가
주머니의 변형은 유체와 질소가스 압력이 균형을 이룰 때부터 시작되며, 단면의 형상이 정삼각, 정방향의 세 개의 돌출부 형상으로 수축변형 함.
축압 된 유량은 시스템 압력이 떨어질 때, 요구대로 압축된 질소가스 압력으로 인해 시스템 내에 방출됨

③ 어큐뮬레이터의 역할과 중요성:

에너지 저장 및 방출: 유압시스템에서 발생하는 에너지를 저장했다가 시스템이 에너지를 필요로 할 때, 즉시 방출함 → 시스템의 응답성을 향상시키고, 펌프의 부하를 감소시킨다.
압력 충격 완화: 유압시스템에서 발생할 수 있는 압력 충격이나 피크를 줄이는데 도움 → 파이프라인이나 구성 요소의 손상을 방지하며 시스템의 수명 연장
압력 유지: 시스템 내의 압력을 일정하게 유지하는데 기여 → 펌프가 비활성화되었을 때나 부하가 변동할 때 압력을 안정적으로 유지하며, 시스템의 안전한 작동 보장
유압유체의 보충: 유압시스템 내에서 유압 유체가 유실되었을 때, 어큐뮬레이터는 추가적인 유압 오일을 시스템에 공급하여 시스템의 효율성 유지

매니퓰레이터: 여러 개의 팔을 가지고 물체를 집어 올리거나 말단효과장치 (end-effector: 로봇의 마지막 관절에 연결된 로봇 손→gripper)를 사용하여 조립하는 작업 등을 수행 → 회전운동 또는 선운동의 관전을 가지며 자유도에 따라 연결된 링크의 운동이 결정함
그리퍼(Gripprt): 사람의 동작을 흉내내는 동작 감지기이며 자동화 모션에서 사람의 손가락과 같은 역할을 함. → 물체를 쥐거나 놓을 수 있는 능력을 가지며 일정 동작을 수행할 수 있음
JIG: 기계가공 시 가공 위치를 보정 해주는 보조용 기구 → 가공 대상물의 위치를 결정하고 잡아서 고정하며, Tool을 가이드 하는 기능까지 가진 장치
링크(link): 관절과 관절을 연결해주는 구조물
관절: 운동이 실제적으로 행해지는 부분
이동로봇: 자율적으로 장애물을 피해가며 주어진 경로를 따라가서 물체를 이송하는 작업을 수행 → 센서와 엑츄에이터를 사용하여 자유롭게 이동
자유도(DOF): 로봇 형태의 완전한 표현을 위해 필요로 하는 일반화된 좌표수와 기구학적으로 독립된 비-홀로노믹 제약 방적식의 수의 차이로 정의함. → 로봇의 위치와 자세를 결정하기 위해 필요한 변수들의 최소 개수 (위치 선정을 위해 3자유도, 방향을 위해 3자유도)
파지력: 꽉 움키어 지고 있는 힘
AGV(automated Guided Vehicle): 정해진 경로(통제된 환경)를 따라 이동하는 무인 운반 차량 → 자재 운반을 위해 고정된 경로 또는 트랙을 따라 이동
AMR(Autonomous Mobile Robot): 고정된 경로나 트랙 없이도 통제되지 않은 환경에서 탐색할 수 있는 로봇

※각속도: 일정 시간동안 각도가 얼마나 변하는지 나타내는 물리량

IMU(Inertial Measurement Unit): 관성 특정 장치 → 가속도, 방향, 각속도 및 기타 중력을 측정하고 보고하는 전자 장치
Gyro 센서: 회전하는 물체의 각속도를 측정할 수 있게 해주는 센서
ATC(Auto Tool Changer): 자동가공 공정에서 요구되는 공구보관 및 공구교환 요구사항을 제공하는 장치 → gripper 등의 tool을 자동으로 교환하는 장치
절삭력: 절삭 공구의 침입에 대한 재료의 저항
절입량: 공구가 공작물 속으로 파고드는 거리
마모: 마찰이 일어난 부분이 닳아서 작어지거나 없어짐
Tangential force(접선력): 물체의 표면에서 그 표면에 접선 방향으로 작용하는 힘(ex 마찰력)
normal force(수직항력): 어떤 물체들의 접축면에서 작용하는 힘 중, 서로에게 수직으로 작용하는 힘→ 형태를 유지하고자 상자를 밀어내는 힘
feed 속도: 공구가 이동하는 속도
Denavit–Hartenberg parameters（D-H parmeter): 로봇의 관절과 링크 간의 상대적인 위치와 방향을 설명하기 위한 방법. → 각 관절의 회전 및 평행 이동을 4개의 매개변수로 설명함, 복잡한 로봇 구조를 간단한 매개변수로 표현할 수 있다.

① θ(Theta): 관절의 회전 각도. → 회전 관절의 경우, 이 값은 가변적일 수 있다.

② d(Distance): 링크의 길이 또는 두 관절 사이의 거리. 슬라이드 관절의 경우 가변적일 수 있다.

③ a(Link Length): 이전 링크의 길이. 현재 관절에서 이전 관절까지의 거리를 나타냄

④ α(Twist Angle): 이전 링크와 현재 링크 사이의 각도. 이 각도는 두 링크가 이루는 평면과 수직인 축을 중심으로 함

➩ a, α는 x축에서의 이동, 회전

➩ θ, d는 z축에서의 이동, 회전

랙(rack): 피니언을 맞물려서 회전운동을 직선운동으로, 직선운동을 회전운동으로 바꾸기 위해 사용
피니언: 두 개의 맞물리는 기어의 작은 쪽의 기어/랙과 맞물려 회전운동을 직선운동으로 바꾸거나 직선운동을 회전운동으로 바꾸어 주는 기어
공구경로: 희망하는 부품 형상으로 가공하기 위한 공구 중심의 운동 궤적
황삭(Rough Grinding): 금속 가공의 첫 번째 단계로, 주로 큰 재료 제거를 목적으로 함 → 표면 거칠기를 낮추고, 재료의 모양을 대략적으로 다듬는데 중점을 둠, 황삭 과정에서 비교적 큰 입자 크기의 연마재를 사용하여 작업 효율을 높이며, 가공 속도가 빠르다.

▪ 황삭의 특징

① 높은 재료 제거율과 빠른 가공속도 → 재료의 전체적인 형태를 잡아내고, 정삭 및 연삭 공정의 기초 마련

② 1μmRa 이상의 거칠기를 가지며, 비교적 거친 표면을 의미함 → 정확한 치수보다는 대략적인 형태를 만드는 것이 중요. 이를통해 후속 공정에서 더 정밀한 가공 가능해짐

▪ 황삭의 용도

① 대량의 재료를 빠르게 제거할 때 사용 → ex)주조된 금속 제품의 표면을 다듬거나 큰 크기의 공작물에서 불필요한 부분을 제거하는데 활용

② 시간이 많이 걸리지 않기 때문에 전체 공정 시간을 단축 하는데 사용

정삭(Finishing): 황삭 이후에 가공되는 단계로, 표면의 평활도를 높이고, 차수의 정밀도를 확보 → 황삭에서 제거되지 않은 잔여 재료를 제거하고, 최종 제품의 표면 품질을 개선하는데 중점을 둔다.

▪ 정삭의 특징

① 정삭 과정에서는 더 작은 입자 크기의 연마재를 사용하며, 표면의 거칠기를 낮추고, 치수의 정밀도를 높인다.

② 보통의 정삭 표면 거칠기는 약 0.5~0.2μmRa로, 매우 평활한 표면을 제공 → 최종 제품의 마감 품질을 결정짓는 중요한 단계이다.

③ 높은 정밀도와 표면 품질.

④ 기계 부품의 최종 마감 단계에서 사용되며, 고정밀 치수를 요구하는 부품에서 중요한 역할을 함. → 공구의 마모 를 최소화하고, 작업물의 표면 결함을 줄이기 위해 저속 가공 수행

연삭(Grinding): 황삭과 정삭 이후에 수행되는 고정밀 가공 공정. 매우 미세한 입자 크기의 연마재를 사용하여, 표면 의 미세 결함을 제거하고, 최종 치수와 표면 거칠기를 조절함 → 표면의 초평활도를 달성하는 것을 목표로 함.

▪ 연삭의 특징

① 매우 높은 정밀도와 미세한 표면 품질

② 0.1μmRa 이하의 표면 거칠기를 가지며, 매우 평활한 표면을 의미함

③ 연마재의 입자크기, 연삭속도, 연삭 압력 등을 정밀하게 조절하여 원하는 표면 품질을 얻는다.

④ 고정밀 기계부품, 베어링, 공구, 금형 등의 마무리 단계에서 사용 → 이 과정은 매우 오래걸리지만 최종 제품의 품 질을 결정짓는 중요한 단계

⑤ 제품의 내구성을 향상시키고, 마모를 줄이며, 제품의 수명을 연장하는데 큰 기여 함

임피던스 제어: 힘과 위치에 대한 동적 제어와 관련 있음. 주로 로봇팔에 작용하는 힘에 대해 고려 해야 하는 환경에 있을 때 적용되는 제어 → 힘을 인가했을 때 모션을 방해하는 정도
MCK시스템: M(mass), c(damper), k(spring)로 이루어진 2차 시스템 → 저주파 영역에서 응답함.

▪ M: Mass → 중량이 높을수록 진동을 잘 흡수한다.

▪ C: damper → 속도를 감소시키는 역할을 한다.

▪ K: spring → 작은 스프링이 고주파 잘 흡수, 진동 심함

RLC회로 시스템: R(resistor), L(inductor), C(capacitor)로 구성된 2차 시스템 → 고주파 영역에서 응답

▪ R: resister → 전류 크기 감소 역할

▪ L: inductor → 클수록 고주파 차단

▪ C: Capacitor → 클수록 고주파 노이즈 잘 흡수

라플라스변환(Laplace Transform)

※ https://blog.naver.com/waterforall/222963264531

1. 라플라스변환의 의미

① 미분방정식의 풀이를 위한 수학적 도구: 복잡한 미분방정식을 보다 간단한 방정식으로 변환하여 풀이한 뒤 역변환을 하면 원래 미분방정식의 해를 구할 수 있음

▪ 상미분방정식(ordinary differential equation): 대수방정식으로 변환, 사칙연산 바탕의 풀이로 해를 구할 수 있고, 합성곱(컨볼루션)을 그냥 곱하기로 다룰 수 있게 해줌

▪ sin, cos과 같은 주기함수도 분수 형태의 사칙연산으로 다룰 수 있음

▪ 풀이과정에서 초기값이 반영 됨

② 퓨리에변환의 일반화

③ 시간영역(time domain)의 함수를 주파수 영역(frequency domain)으로 변환

▪ 비제차 미분방정식의 우변 – 입력(input) 부분을 편리하게 다룰 수 있음

2. 라플라스변환을 이용한 풀이과정

▪ 시간영역에서 복잡한 미분방정식 → 방정식을 라플라스변환 → 주파수 영역에서 시간영역의 방정식보다 간략화된 방정식 풀이(주어진 초깃값을 대입하게 됨) → 라플라스 역변환 →시간영역에서의 해 도출

3. 라플라스변환의 정의

▪ 시간영역(t-domain)에서 주어진 어떤 함수f(t)에 지수함수 e-st를 곱한 후, 0에서 무한대까지 t에 대해 적분하여 t를 없애고, 주파수영역(s-domain)의 함수인 F(s)로 바꾸는 것

서보-유압: 전동 액추에이터와 같이 위치, 속도, 힘을 정밀하게 제어 → 서보 컨트롤러, 전자 유압 서보 밸브, 선형 변환기 등의 추가 구성 요구
서보밸브: 압력 또는 유량을 제어하는 밸브 → 기름의 유량이 출력이며, 이를 제어하는 입력은 전기량
Burr: 금속 절단 부위의 끝말림
4WIS(Four Wheel Independent Steering): 전륜/후륜의 좌,우 바퀴를 독립적으로 조향(진행방향을 바꾸기 위한 장치)하는 시스템
그라인더(Grinder): 연삭기, 연마기 고속 회전하는 원반 형태의 날이나 원형컵으로 표면을 매끄럽게 갈아내는 전동공구.
URDF(Unified Robot Description Format): 가상환경에서 로봇의 규격을 정의할 수 있는 규칙
ROS(Robot Operating System): 구조적인 통신 계층을 통해 이기종의 로봇 개체들을 운용할 수 있도록 해주는 오픈소스 로봇 소프트웨어 프레임워크

<로봇의 구성>

1. 액추에이터

※액추에이터(조작자의 근육): 시스템을 움직이거나 제어하는 데 쓰이는 기계 장치

전동 액추에이터(Electric Actuator) : 모터에 의해 구동되는 액추에이터, 강력한 힘, 빠른 속도, 최고의 정확도와 반복성이 장점
유압식 액추에이터: 유압 에너지를 기계 에너지로 변환하여 밸브를 움직이고, 시스템의 가스 또는 유체 유량을 제어하는 기계 장치

2. 센서

※트랜지스터: 전자 신호 및 전력을 증폭하거나 스위칭 하는데 사용되는 반도체 소재

※커패시터(콘덴서, 축전기): 전하를 축적하거나, 직류 신호를 차단하고 교류 신호를 통과시키는 기능을 가진 전자부품 → 백업(베터리), 노이즈제거, 직류바이어스 전압 제거 등의 용도로 사용할 수 있음

센서: 로봇의 내부·외부 상태에 대한 정보를 수집
광센서: 빛을 감지하고 전압 차동을 생성 하는데 사용, 컴퓨터로 제어되는 카메라 로봇비전(2D, 3D) 시스템을 통해 로봇은 그에 따라 자신의 행동을 보고 적응할 수 있음
포토레지스터: 빛의 양에 따라 저항이 변하는 일종의 저항기 → 빛이 많을수록 저항이 적고, 빛이 적을수록 저항이 커짐
광전지: 태양광 로봇을 개발하는데 특히 유용함. 에너지원으로 간주 될 수 있지만, 트랜지스터와 커패시터(콘덴서, 축전기)를 사용하여 센서로 변환될 수도 있음.
사운드 센서: 소리의 진폭을 임계값으로 평가하고 결과를 로봇에 보고하는 회로에 연결되며, 진폭이 증가할수록 소음이 커짐 → 식별 가능한 전압 변화를 생성하기 위해 증폭되어야 하는 매우 작은 전압 차이를 생성해야 하기 때문에 광센서보다 구현이 어려움
근접센서: 물리적인 접촉 없이 근처에 있는 물체를 감지할 수 있음. 송신기는 전자기 방사선을 보내고, 수신기는 중단 피드백 신호를 수신하고 분석하여 해당 영역에 수신되는 빛의 양을 활용하여 주변 물체가 있는지 여부를 판단할 수 있음. → 로봇의 경우 충돌 방지 접근 방식 제공

※트랜시버(송수신기): 전송기 및 수신기를 하나로 합친 장치

적외선(IR) 트랜시버 : 장애물이 감지되면 IR LED(인간의 눈으로 볼 수 있는 파장보다 약간 긴 파장의 빛을 생성)는 IR 수신자가 받은 빛을 반사하는 IR 광선을 보냄
초음파 센서: 고주파 음파를 생성하며, 녹음된 에코는 물체가 파손되었음을 나타냄. 초음파 센서를 통해 거리 측정 가능
포토 레지스터: 광센서이지만 근접센서로도 사용할 수 있음. 물체가 센서에 접근하면 빛의 양이 변하고, 포토레지스터의 저항도 변함
촉각센서: 물체의 접촉 여부를 판단하는 장치.
터치 센서: 센서나 물체의 터치를 감지할 수 있는 장치 → 장애물을 피하기 위해 로봇에 사용되며, 반전, 회전, 켜기, 정지 등의 작업 수행
힘 센서: 기계로딩 및 언로딩, 자재관리 등과 같은 로봇의 다양한 기능과 관련된 힘을 계산하는데 사용 → 문제 해결을 위한 조립 프로세스 개선
온도센서: 사용되는 환경의 열/온도 변화를 측정하며 온도 변화에 대한 전압 차동 변화에 따라 작동함 → 전압의 변화는 주변 지역과 동등한 온도를 제공하며 대기온도, 표면온도 및 침수 온도 등 감지
위치센서: 로봇의 위치를 추정하는데 사용
GPS(Global Positioning System): 가장 널리 사용되는 위치 확인 센서. 지구 궤도를 도는 위성은 신호를 보내며, 로봇의 수신기에 의해 수신되어 처리됨. 처리된 데이터는 로봇의 대략적인 위치와 속도를 계산하는데 활용될 수 있음
디지털 자기 나침반 : 지구의 자기장을 사용하여 방향 측정을 생성하고, 로봇을 목표에 도달할 수 있는 적절한 방향으로 안내 → GPS 모듈보다 저렴 하지만 위치 피드백과 탐색이 모두 필요한 경우 GPS 모듈과 함께 나침반 사용
현지화: 복잡한 환경에서 로봇의 위치를 자율적으로 결정하는 작업
가속도 센서: 로봇의 가속도와 기울기를 측정하는 장치
정적힘: 두 물체 사이에 존재하는 힘. 로봇의 중력을 감지하면 로봇이 얼마나 기울어지는지 확인할 수 있음. → 로봇의 균형을 맞추거나 로봇이 오르막길로 가는지 내리막길로 가는지 평가하는데 유용
동적힘: 물체를 움직여야하는 속도 → 로봇이 이동하는 속도는 가소도계로 동적 힘을 측정하여 결정됨
습도 센서 : 공기 중 수분의 양을 결정하는 데 사용
가스 센서 : 특정 가스를 감지
전위차계 : 매우 다양하며 광범위한 응용 분야에서 활용될 수 있음
자기장 센서는 주변 자기장의 강도 측정

3. 컨트롤러: 로봇의 소뇌, 엑추에이터의 움직임을 제어하고 조정

4. 프로세서: 로봇의 두뇌, 로봇의 움직임과 관절의 속도 등 계산

5. 소프트웨어: 운영체제, 로봇 소프트웨어, 루틴 등

[로봇이 움직이는 원리]

유압로봇의 움직이는 작동 원리

- 유압시스템이란?

유압유를 압축시켜서 만든 유체에너지를 이용해서 동력을 발생시키고, 기계 및 장치 (유압실린더 및 유압모터)를 제어하는 시스템이며, 가압된 오일을 작동유체로 사용하는 것이 특징이다.

이 힘의 사용과 적용 방법에 따라 작은 힘을 수십 배 이상 증폭하여 큰 힘으로 만들 수 있다. ex) 굴삭기, 트레인, 트럭 등의 중장비
유압시스템을 이용하면 무거운 짐을 쉽고 안전하게 들어 올릴 수 있고, 정밀하게 제어할 수 있다.

유압시스템의 구성장치

[유압 발생부]

- 오일탱크, 전기모터, 유압펌프가 있음

1. 오일탱크

유압유(오일)를 저장해 주는 저장 탱크
저장하는 기능뿐만 아니라, 방열 작용을 통해 고온의 유압유를 냉각시켜 주고, 순환하면서 발생한 기포나 이물질을 제거.

2. 전기모터(엔진)

유압펌프를 작동할 때 필요한 장치
유압펌프와 연결되어 있어서 펌프에 기계적 에너지 전달

3. 유압펌프

전기모터에 의해 공급되는 기계에너지를 유압유를 통해 유체에너지로 변환시키는 장치
펌프 입구에서는 작은 진공이 생성되어 오일탱크로부터 유압유를 흡입.
내부부품의 회전운동을 이용하여 고압유 생성

[유압 제어부]

유압 발생부에서 만들어진 고압유가 액추에이터에 들어가기전에 흐름 방향, 속도, 압력 등을 제어하는 구간
압력 제어 밸브, 방향 제어 밸브. 유량 제어 밸브로 구성됨
압력제어 밸브는 펌프에서 생성된 유체의 압력을 설정한 값으로 조정해주는 역할을 한다.
방향제어 밸브는 유체의 흐름 방향을 조절해서 액추에이터의 작동 방향을 전환한다.
유량제어 밸브는 액추에이터에 공급되는 유량을 조절하여 엑추에이터의 작동 속도 조절

[유압 구동부]

유체에너지를 기계적 에너지로 변환하는 역할
고압유를 통해 실제로 일을 하는 구간
유압실린더, 유압모터와 같은 구동기 포함
유압실린더는 직선 왕복 운동을 통해 물건을 밀고 당기거나 이동시키는 등 다양한 작업 수행
유압모터

작동원리

유압펌프가 오일탱크에 들어가 유압유를 흡입하고, 유압펌프와 연결된 전기모터는 왕복회전운동을 통해 기계적 에너지를 펌프에 계속 전달하며 유압 펌프의내부 기어도 회전운동을 하면서 고압류 생성. (기계에너지가 유체에너지로 변화하는 구간) 그 후 고압유는 입력 및 방향제어 밸브로 이동해서 압력과 방향이 제어된다. 그리고 제어된 압력유는 유량제어밸브를 거처 액추에이터로 들어가 엑추에이터를 작동시키고, 엑추에이터의 기능에 따라 왕복 직선운동(유압실린더) 또는 회전운동(유압모터)를 통해 다양한 작업을 진행한다.( 유체에너지가 다시 기계에너지로 변화하는 구간). 작업이 끝난 유압유는 다시 밸브를 거쳐서 오일 탱크로 복귀 그리고 오일탱크의 유압유는 다시 유압펌프로 빨려 들어가 고압유가 된다. 이 과정을 반복하면서 액추에이터가 반복 작동. 이렇게 유압유를 이용한 시스템을 통해 작은 힘으로 큰 기계 에너지를 생성하고 제어할 수 있음.

장단점

[장점]

작은 힘을 큰 힘으로 전환할 수 있다.
자동 및 원격 제어가 가능하다. 작업 시 발생하는 먼지, 돌, 파편과 같은 위험요인으로부터 사용자 보호
속도, 힘, 방향 제어가 쉽다.
시스템 장치들의 윤활과 방청이 자동적으로 이루어진다. => 오일이 순환하면서 장치들을 자동으로 윤활해 주고 방청해주기 때문에 장치들의 마모와 부식 문제 감소.
안정적이고 정밀한 제어가 가능. 액체를 작동유체로 사용하기 때문에 기체를 작동유체로 사용하는 공압 시스템보다 압축성이 작다. 압축성이 작으면 유체의 압력 변동성도 낮기 때문에 정밀제어가 가능함.

[단점]

온도 변화에 영향을 받는다. 온도 변화에 따른 점도의 저하가 장치의 작동에 영향을 미치고 액추에이터의 출력이 변동될 수 있다.
누유의 위험이 있다.
인화의 위험이 있다. 작동유체가 오일이기 때문에 인화가 될 수 있다.
오일에 기포가 섞이면 작동이 불량해질 수 있다.

응용분야

작은 힘을 큰 힘으로 증폭하여 안전하고 정밀한 제어가 필요한 경우에 활용 가능
건설 및 운반기게, 공작기계, 철강 및 금속기계, 기타(로봇, 로켓, 인쇄기 등)

NLU, NLG, NLP의 차이

리서치성장일기 — Wed, 11 Dec 2024 20:59:27 +0900

https://brunch.co.kr/@harryban0917/255

Natural Language Understanding (NLU)

자연어 형태의 문장을 기계가 이해할 수 있게 만드는 기술
목적 : 다양한 표현과 문장의 구조에 대해 그 의미와 의도를 파악
NLU의 주요 Task
- 감성분석(Sentiment Analysis) : 문장 또는 문서에 포함된 감정이나 의견을 분류
  - ex) 리뷰의 결과 : 긍정 or 부정 판단
- 개체명 인식(Named Entity Recognition, NER) : 텍스트에서 특정 정보(이름, 위치, 날짜 등)을 인식하고 분류
- 품사 태깅(Part-of-Speech Tagging, POS Tagging) : 명사와 형용사 등 단어의 품사를 분류
- 의미 추출(Semantic Extraction) : 문장에서 의미를 가지는 문장을 추출
- 구문분석(Parsing) : 문장의 구조를 분석하고 관계 파악

Natural Language Generation (NLG)

학습 결과로 기계가 자연어 문장을 생성하는 기술
인공지능 언어 모델이 자연스러운 문장을 생성하기 위해 알고리즘의 한계와 학습 데이터의 부족으로 매끄러운 문장 생성이 어려웠음 → 방대한 양의 사전 학습 데이터를 활용한 LLM의 등장으로 한계를 극복하고 자연스러운 문장 생성 가능
LNG 주요 Task
- 텍스트 요약(Text Summarization) : 긴 문서의 주요 내용을 짧게 요약
- 이미지 캡셔닝(Image Captioning) : 이미지의 내용을 설명하는 문장 생성
- 대화생성(Dialogue Generation) : 챗봇이나 대화형 AI를 위해 사용자의 질문이나 발화에 적절하게 반응하는 문장 생성
- 텍스트 자동 완성(Text Autocomplete) : 자연어 생성과 관련된 알고리즘은 다음에 올 단어를 예측하여 완성
- 질의응답 생성(Question-Answer Generation) : 주어진 문장에 대하여 질문을 던졌을 때 이에 대한 답을 예측하여 답
NLG 단계
- Step 1. 콘텐츠 분석: 데이터가 필터링 되어 최종적으로 생성될 콘텐츠에 대한 내용 포함 여부 결정 ⇒ 원문의 주요 주제와 그들 사이의 관계 식별
- Step 2. 데이터 이해: 데이터 해석, 패턴 식별, 컨텍스트에 맞게 수집 ⇒ 모델 학습에 사용
- Step 3. 문서 구조화: 데이터가 해석되는 유형 기반으로 문서 계획 생성 및 서술 구조 선택
- Step 4. 문장 집계: 관련된 문장이나 문장의 일부의 주제를 정확하게 요약하여 결합
- Step 5. 문법 구조화: 문법 규칙이 적용되어 자연스러운 텍스트 생성 ⇒ 프로그램은 문장의 구조를 추론하고, 문장을 올바른 방식의 문법으로 다시 작성
- Step 6. 언어 표현: 최종 출력은 사용자 또는 프로그래머가 선택한 템플릿 또는 형식에 따라 생성
NLG 모델 및 방법론
- 마르코프 체인 모델 : 마르코프 모델은 통계와 머신러닝에서 언어생성 등의 랜덤 선택을 할 수 있는 시스템을 모델링하고 분석하기 위해 사용되는 수학적 방법.
  - 현재 상태와 이전 상태를 학습한 후 이전 두 상태를 기반으로 다음 상태로 이동할 확률 계산 ⇒ 함께 나타날 가능성이 높은 단어 선택하여 문장 생성
- RNN : 다양한 방식으로 순차 데이터를 처리하는데 사용
  - 한 언어로 쓰여진 문장을 다른 언어로 번역하는 것과 같은 시스템 사이의 정보 전송에 사용
  - 데이터에서 패턴을 식별하는데 사용
  - 문장의 다양한 품사를 식별하기 위한 학습에 사용될 수 있음
- LSTM : 시스템이 경험을 통해 학습해야 할 딥러닝에서 사용
  - 데이터 시퀀스를 처리하기 위해 필요한 컨텍스트를 학습할 수 있기 때문에 일반적으로 자연어 처리 작업에서 사용
  - 게이팅 메커니즘을 사용하여 현재 단계에 영향을 미칠 수 있는 이전 단계의 수를 제한함으로써 장기 종속성 학습
- 트랜스포머(Transformer) : 언어의 장거리 종속성을 학습하고, 단어의 의미에서 문장 생성
  - 입력을 처리하는 인코더와 생성된 문장을 출력하는 디코더 포함

Natural Language Processing (NLP)

자연어의 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 기술 ⇒ NLG + NLU
디지털 어시스턴스, 음성-텍스트 받아쓰기, Siri-빅스비 등의 가상 비서
- 한 언어에서 다른 언어로 텍스트 번역,
- 대용량 데이터 및 텍스트를 실시간 요약,
- 사용자 명령에 응답

생성형(Generative) AI란?

리서치성장일기 — Wed, 11 Dec 2024 20:57:36 +0900

https://aws.amazon.com/ko/what-is/generative-ai/

https://modulabs.co.kr/blog/generative-ai/

https://www.youtube.com/watch?v=ENMtsWy52WA

ChaptGPT의 등장 이후로, 생성형 AI가 주목 받고 있음
생성형 인공지능(생성형AI)는 대화, 이야기, 이미지, 영상, 음악 등 새로운 다양한 콘텐츠와 아디이어를 생성할 수 있는 AI이다.
- 창의적 콘텐츠 생성 가능 : AI가 생성한 음악, 그림, 시 소설 등의 콘텐츠는 인간의 창의력 향상, 예술적 표현의 경계 확장
- 업무 자동화와 효율성 향상 : AI를 이용하여 자동으로 광고 콘텐츠 생성, 게임 내 캐릭터 및 환경 디자인 가능 → 시간과 비용 절약, 전략적인 업무에 집중 가능
- 개인화 된 경험 제공: 사용자의 선호도와 행동을 분석하여 개인 맞춤형 콘텐츠 생성 가능 → 자신의 취향에 맞는 정보, 제품, 서비스를 더 쉽게 발견할 수 있음

생성형 AI의 작동 방식

기초 모델(FM, Foundation Model)

파운데이션 모델이란?- 생성형 AI의 파운데이션 모델 설명 - AWS (amazon.com)

FM 모델
- 대규모 데이터 셋을 기반으로 훈련됨
- 데이터 사이언티스트가 기계학습에 접근하는 방식을 변화시킨 대규모 딥러닝 신경망
- FM 모델 용어 → 연구자들이 광범위한 일반화 된 데이터와 레이블이 지정되지 않은 데이터에 대해 훈련되고 언어 이해, 텍스트 및 이미지 생성, 자연어 대화 같은 다양한 작업을 수행 할 수 있는 기계학습 모델을 설명하기 위해 만들어짐
FM모델의 특징
- 적응성 : 입력 프롬프트를 통해 높은 정확도로 다양한 이질 적인 작업 수행 가능
FM 모델 응용 분야
- 언어 번역
- 콘텐츠 생성
- 이미지 분류
- 고해상도 이미지 생성 및 편집
- 문서 추출
- 로보틱스
- 의료 서비스
- 자율 주행 차량
파운데이션 모델은 생성형 인공지능의 한 형태이다. → 인간 명렁의 형태로 하나 이상의 입력에서 출력 생성
- 모델 : 생성형 적대 네트워크(GAN), 트랜스포머, VAE 등을 기반으로 함
- 파운데이션 모델의 예
  - BERT(Bidirectional Encoder Representations from Transformers) - 2018년
    - 전체 시퀀스의 컨텍스트를 분석한 후 다음을 예측하는 양방향 모델
    - 33억개의 토큰(단어)과 3억 4천만 개의 파라미터 사용, 일반텍스트 코퍼스와 위키피디아로 학습됨.
    - 질문에 답, 문장 예측, 텍스트 번역 가능
  - GPT(Generative Pre-trained Transformer) - 2018년 OpenAI
    - 셀프 어텐션 메커니즘이 적용된 12개 레이어의 트랜스포머 디코더 사용
    - 11,000권 이상의 BookCorpus 데이터 셋 기반으로 훈련 됨
      - GPT-1 : 제로샷 학습
      - GPT-2 : 2019년 출시, 15억개의 파라미터를 사용하여 모델 훈련
      - GPT-3 : 96개 레이어의 신경망+1750억 개의 파라미터+5000억 단어의 Common Crawl 데이터 셋 사용하여 훈련
      - GPT-3.5 : ChatGPT 챗봇
      - GPT-4 : 2022년 출시
  - Amazon Titan
    - 대규모 데이터 세트에서 사전 학습되는 강력한 범용 모델
    - 생성형 LLM : 요약, 텍스트 생성, 분류, 개방형 Q&A, 정보 추출 등
    - 임베딩 LLM : 단어, 구문 및 텍스트 단위를 포함한 텍스트 입력을 텍스트의 의미론적 의미를 포함하는 숫자표현(임베딩)으로 변환 ⇒ 텍스트를 생성하지 않지만 임베딩을 비교하면 모델이 단어 일치보다 관련성이 높고 상황에 맞는 응답을 생성하므로 개인화 및 검색과 같은 애플리케이션에 유용
  - Stable Diffusion - 2022년
    - 고해상도 이미지를 생성할 수 있는 text-to-image 모델
    - 노이즈 생성 및 노이즈 제거 기술을 사용하여 이미지 생성 방법을 학습하는 대신 확산 모델을 갖추고 있음

대규모 언어 모델(LLM)

대규모 언어 모델이란?- LLM AI 설명 - AWS (amazon.com)

대규모 언어 모델 (LLM)
- 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델
- 기본 트랜스포머 : 셀프어텐션 기능을 갖춘 인고더와 디코더로 구성된 신경망 → 인코더와 디코더는 일련의 텍스트에서 의미를 추출하고, 텍스트 내의 단어와 구문 사이의 관계를 이해
- 트랜스포머 LLM : 비지도 학습이 가능하지만 더 정확한 설명은 트랜스포머가 자체 학습 수행 ⇒ 기본 문법, 언어 및 지식을 이해하는 방법 학습
  - 입력을 순차적으로 처리하는 RNN과 다르게 트랜스포머 전체 시퀀스를 병렬 처리함 → GPU를 통해 트랜스포머 기반 LLM을 학습할 수 있기 때문에 훈련 시간 감소
LLM 작동 방식
- 핵심요소 : 단어를 나타내는 방식
  - 이전 형태의 머신러닝은 숫자 표를 사용하여 각 단어 표현 → 비슷한 의미를 가진 단어와 같은 단어 사이의 관계 인식 어려움
    - 해결방법: 워드 임베딩(다차원 벡터)를 사용하여 벡터 공간에서 문맥상 의미가 비슷하거나 다른 관계가 있는 단어가 서로 가깝도록 단어를 표현하여 한계 극복
  - 트랜스포머는 워드 임베딩을 사용하여 인코더를 통해 텍스트를 숫자 표현으로 사전 처리하고 비슷한 의미를 가진 단어 및 구문의 문맥, 품사와 같은 단어 사이의 관계 이해
  - LLM은 디코더를 통해 언어 지식을 적용하여 고유한 출력 생성
LLM 응용분야
- 지식 기반 답변 : 디지털 아카이브의 정보 도움말을 통해 특정 질문에 답할 수 있는 LLM
- 텍스트 분류 : 클러스터링을 사용하여 비슷한 의미나 감정을 가진 텍스트를 분류
- 텍스트 생성 : 불완전한 문장을 완성하거나 제품설명서 작성, 짧은 동화 등을 작성

생성형 AI가 산업에 미치는 영향

금융 서비스
- 금융기관 : 챗봇을 사용하여 상품 추천을 생성하고, 고객 문의에 응답하여 전반적인 고객 서비스 제공
- 은행 : 청구, 신용카드 및 대출 사기를 신속하게 탐지
의료 및 생명 과학
- 항체, 효소, 백신 및 유전자 요법을 설계하기 위한 특정 특성을 가진 새로운 단백질 서열 생성
- 합성 생물학 및 대사 공학에 적용할 합성 유전자 서열 설계 가능
- 합성된 환자 및 의료 데이터를 생성하여 대규모 실제 데이터 셋에 접근하지 않고 AI 모델을 학습하거나 임상시험을 시뮬레이션, 희귀 질환 연구에 활용 가능
자동차 및 제조
- 엔지니어링부터 차량 내 경험 및 고객 서비스에 이르기까지 다양한 목적으로 생성형 AI 기술 사용
- 고객 질문에 빠르게 응답하여 더 나은 고객 서비스 제공
- 생성형 AI를 통해 새로운 재료, 칩, 부품 설계를 생성하여 제조 프로세스를 최적화하고 비용 절감
미디어 및 엔터에인먼트
- 아티스트는 AI가 생성한 음악으로 앨범 보완 및 개선하여 새로운 경험 창조
- 미디어 조직은 개인화 된 콘텐츠와 광고를 제공하여 고객 경험을 개선하고 수익 증대
- 게임회사는 새로운 게임을 만들고 플레이어가 아바타를 만들도록 지원 가능

생성형 AI의 단점

https://www.redhat.com/ko/topics/ai/what-is-generative-ai

https://www.igloo.co.kr/security-information/생성형-인공지능generative-ai의-보안-위협과-안전한-활용/

위험 초래 : 악의적인 사용자가 소셜 미디어의 대규모 허위 정보 또는 실제 인물을 겨냥한 무단 딥페이크 이미지와 같이 악의적인 목적에 사용할수 있음
잘못된 정보 제공 : 생성형 AI는 잘못된 정보와 장면을 생성할 수 있음

생성형 AI 모델 작동 방법

특정 특징이 주어지면 레이블을 예측하는 방식 대신에 특정 레이블이 주어지면 특징을 예측.
- 수학적으로 생성형 모델링은 x와 y가 함께 발생할 확률을 계산
- 다양한 데이터 특징의 분포와 그 관계를 학습
→ 동물 이미지를 분석하여 다양한 귀 모양, 눈 모양, 꼬리 특징, 피부 패턴 등의 변수를 기록. 다양한 동물들이 일반적으로 어떻게 생겼는지 이해하기 위해 특징과 관계 학습 후 새로운 동물 이미지 생성

1. 확산 모델

초기 데이터 샘플에 제어된 무작위 변경을 반복적으로 수행하여 새 데이터를 생성
- 본 데이터로 시작하여 미세한 변화(노이즈)를 추가하여 점차 원본과 덜 유사하게 만든다. 이 노이즈는 생성된 데이터가 일관되고 사실적으로 유지되도록 세심하게 제어 됨
- 여러 번의 반복에 걸쳐 노이즈를 추가한 후 확산 모델은 프로세스를 역전
- 역 노이즈 제거는 노이즈를 점진적으로 제거하여 원본과 유사한 새 데이터 샘플을 생성

2. 생성형 대립 네트워크(GAN)

두 신경망을 경쟁적으로 훈련시키는 방식으로 작동
- 생성자라고 하는 첫 번째 네트워크는 무작위 발생 노이즈를 추가하여 가짜 데이터 샘플을 생성
- 판별자라고 하는 두 번째 네트워크는 실제 데이터와 생성자가 생성한 가짜 데이터를 구별
- 훈련 중에 생성자는 사실적인 데이터를 생성하는 능력을 지속적으로 개선하며, 판별자는 가짜와 진짜를 더 잘 구분
⇒ 대립적 과정은 생성자가 판별자가 실제 데이터와 구별할 수 없을 정도로 확실한 데이터를 생성할 때까지 계속
- 이미지 생성, 스타일 전송 및 데이터 증강 작업에 널리 사용

3. 변이형 오토인코더(VAE)

잠재 공간이라는 간결한 데이터 표현을 학습
- 잠재 공간은 데이터를 수학적으로 표현한 것. 모든 속성을 기반으로 데이터를 나타내는 고유한 코드 ⇒ ex) 얼굴을 연구하는 경우, 잠재 공간에는 눈 모양, 코 모양, 광대뼈 및 귀를 나타내는 숫자가 포함
- VAE는 인코더와 디코더라는 두 개의 신경망을 사용
  - 인코더 신경망은 입력 데이터를 잠재 공간의 각 차원에 대한 평균 및 분산에 매핑. 가우스(정규) 분포에서 무작위 표본을 생성 ⇒ 이 샘플은 잠재 공간의 한 지점이며 입력 데이터의 압축되고 단순화된 버전을 나타냄
  - 디코더 신경망은 잠재 공간에서 이 샘플링된 지점을 가져와 원래 입력과 유사한 데이터로 다시 재구성. 수학 함수는 재구성된 데이터가 원본 데이터와 얼마나 잘 일치하는지 측정하는 데 사용

4. 트랜스포머 기반 모델

트랜스포머 기반 생성형 AI 모델은 VAE의 인코더 및 디코더 개념을 기반으로 함
트랜스포머 기반 모델은 인코더에 더 많은 레이어를 추가하여 이해, 번역, 창의적 글쓰기와 같은 텍스트 기반 작업의 성능을 개선트랜스포머 기반 모델은 셀프 어텐션 메커니즘을 사용 ⇒ 시퀀스의 각 요소를 처리할 때 여러 가지 입력 시퀀스 부분의 중요성에 가중치
컨텍스트 임베딩을 구현 ⇒ 시퀀스 요소의 인코딩은 요소 자체 뿐만 아니라 시퀀스 내의 컨텍스트에 따라 차이가 존재함

데이터 특징-5

리서치성장일기 — Tue, 10 Dec 2024 20:36:52 +0900

시계열 데이터란?

과거의 데이터가 미래의 데이터에 영향을 주는 시간적 종속성과 특정 시간대에 반복되는 패턴이 발생하는 계절성 및 추세를 가지고 있음.
- 시간에 따라 연속적으로 수집된 데이터로, 시간의 흐름에 따른 분석과 예측에 특화 됨
시간에 따라 경제적, 환경적 요인에 따라 차이가 존재하며, 종종 누락된 값 또는 이상치를 포함할 수 있음 ⇒ 따라서 결측치처리, 이상탐지, 정규화 및 표준화, 특징추출 등의 전처리를 통해 데이터 질을 향상시키며, 분석의 정화도 및 신뢰성을 향상시킬 수 있음.

시계열 데이터의 특징
- 시간 종속성: 시계열 데이터는 시간의 흐름에 따라 변화하며, 시간 간격이 중요한 요소로 작용
- 자기상관성: 시간의 흐름에 따라 데이터가 자기상관성을 가지며, 이전 시간대의 값이 이후 시간대의 값에 영향을 미칠 수 있음
- 추세와 계절성: 데이터에서 특정 추세나 계절성을 파악할 수 있으며, 이는 예측 모델링에 중요한 요소로 작용
- 전처리 필요성: 결측치 처리, 이상치 탐지, 데이터 스무딩 등 전처리 작업이 필요
시계열 데이터의 활용
- 금융 데이터 분석: 주식 가격, 환율, 경제 지표 등의 분석 및 예측.
- 기상 예측: 온도, 강수량, 바람 등의 날씨 데이터를 분석하여 기상 예측.
- 제조 공정 모니터링: 기계 작동 데이터, 센서 데이터 등을 분석하여 이상 감지 및 유지 보수에 활용.
- 헬스케어: 환자의 심박수, 혈압 등 생체 신호 데이터를 분석하여 건강 상태를 모니터링.

데이터 특징-4

리서치성장일기 — Tue, 10 Dec 2024 20:35:49 +0900

자연어 데이터란?

문법, 문맥, 의미론적 관계 등 복잡한 구조를 가지고 있다.
단어의 의미는 사용된 문맥에 따라 달라지는 특징이 있다.
자연어 데이터는 비구조화 된 형태로 존재하기 때문에 AI 모델을 통해 분석하기 위해서는 텍스트를 수치적 형태로 변환하는 과정이 필요함.

자연어 데이터의 특징
- 비정형 데이터: 자연어 데이터는 문장이나 단어로 구성되어 있어 비정형 데이터에 속함
- 의미 분석의 필요성: 텍스트의 의미를 이해하고 분석하기 위해 자연어 처리(NLP, Natural Language Processing) 기술(텍스트 마이닝, 구문분석 등)이 사용
- 다양한 언어적 특성: 문법, 어휘, 문맥 등을 고려한 복잡한 분석이 필요
- 노이즈: 오탈자, 비속어, 중의적 표현 등 다양한 노이즈가 포함될 수 있음.
자연어 데이터의 활용
- 챗봇: 고객 응대 시스템에서 사용자와의 대화를 처리하고 응답하는 데 사용
- 감정 분석: 소셜 미디어에서 언급된 브랜드나 제품에 대한 감정 분석에 활용
- 번역 서비스: 자연어 데이터의 자동 번역 서비스에 활용
- 문서 분류: 대량의 텍스트 데이터를 특정 주제나 카테고리로 자동 분류하는 데 사용

데이터 특징-3

리서치성장일기 — Tue, 10 Dec 2024 20:34:36 +0900

이미지 데이터란?

픽셀로 구성되어 있으며 각 픽셀은 색상과 밝기 정보를 포함하고 있기 때문에 고차원적인 특징을 가지고 있음.
이미지를 구성하고 있는 픽셀은 서로 공간적으로 연관되어 있으며, 인접한 픽셀은 유사한 정보가 포함
이미지는 다양한 해상도와 크기를 가지고 있음 ⇒ 이미지 전처리를 위해 크기 조정, 정규화 등 다양한 전처리 작업이 필요함
시각적 정보로, 고차원 데이터를 다루며 딥러닝 알고리즘이 자주 사용

이미지 데이터의 특징
- 고차원성: 이미지 데이터는 다수의 픽셀로 이루어진 고차원 데이터를 가짐
- 복잡한 패턴: 이미지에는 복잡한 패턴과 형태가 포함되어 있으며, 이러한 패턴을 인식하기 위해 딥러닝(예: CNN, Convolutional Neural Networks) 알고리즘이 주로 사용됨
- 파일 형식: JPG, PNG, BMP 등 다양한 형식으로 저장.
- 전처리 필요성: 머신러닝 모델에 입력하기 전에 크기 조정, 색상 변환, 노이즈 제거 등의 전처리가 필요
이미지 데이터의 활용
- 컴퓨터 비전: 얼굴 인식, 객체 탐지, 이미지 분류 등에서 활용
- 의료 영상 분석: MRI, CT 스캔 이미지 분석 등을 통해 진단에 활용
- 자율주행 차량: 카메라로 촬영한 도로 환경 이미지 분석을 통해 차량 제어에 사용

데이터 특징-2

리서치성장일기 — Tue, 10 Dec 2024 20:33:33 +0900

비정형 데이터란?

정해진 구조나 형식이 없는 데이터 이며, 행과 열의 고정된 테이블 형식으로 정리되지 않으며, 다양한 형식의 데이터를 포함할 수 있음.
분석과 처리가 복잡함

비정형 데이터의 예
- 문서 파일: PDF, Word 파일 등 다양한 형식의 문서 데이터.
- 이미지 및 비디오 파일: 사진, 동영상 등의 시각적 데이터.
- 오디오 파일: 녹음된 음성 데이터, 음악 파일 등.
- 웹 페이지: HTML, CSS, JavaScript 등으로 구성된 복합적인 데이터.
비정형 데이터의 특징
- 구조의 유연성: 비정형 데이터는 고정된 스키마가 없고, 데이터의 구조가 유연하며 다양한 형식으로 존재
- 복잡한 데이터 표현: 텍스트, 이미지, 오디오, 비디오 등 다양한 데이터 유형을 포함
- 대규모 데이터: 빅데이터 환경에서 주로 다루어지며, 대규모 데이터를 처리할 수 있는 기술(예: NoSQL 데이터베이스, 분산 저장소)이 필요.
- 데이터 분석의 복잡성: 데이터 분석이나 처리가 정형 데이터에 비해 상대적으로 복잡하며, 고급 분석 기술이나 머신러닝 알고리즘이 요구.

데이터 특징 -1

리서치성장일기 — Tue, 10 Dec 2024 20:32:39 +0900

정형데이터란?

행과 열로 구성된 테이블 형태를 가지고 있음 ⇒ 데이터 분석과 처리가 상대적으로 쉽고 용이하게 활용이 가능.
데이터 마이닝을 위해 인공지능 알고리즘에 직접적으로 적용이 가능한 특징이 있습니다.
정형 데이터는 명확하고 고정된 구조를 가지고 있어 관리와 분석이 용이하지만, 데이터 스케일링과 유연성 측면에서 제약이 있을 수 있음

정형 데이터의 예
- 엑셀 시트: 각 셀에 특정 데이터가 기록된 행과 열로 구성된 엑셀 파일.
- 관계형 데이터베이스: SQL 기반의 데이터베이스 시스템(MySQL, PostgreSQL 등)에서 테이블 형태로 저장된 데이터.
- CSV 파일: 쉼표로 구분된 텍스트 파일로, 각 행이 데이터 레코드를 나타내며 열이 각 속성(attribute)을 나타냄.
- 로그 데이터: 웹서버나 애플리케이션의 로그 파일에서 각 기록이 일정한 형식을 가지며, 각 로그 항목이 테이블의 한 행으로 표현될 수 있음.
정형 데이터의 특징
- 고정된 스키마: 데이터가 미리 정의된 구조(스키마)에 따라 정리. 각 행은 동일한 필드를 가지고, 각 필드는 특정 데이터 유형을 가진다.
- 쉬운 데이터 관리: 데이터가 테이블 형식으로 정리되어 있기 때문에, SQL 같은 쿼리 언어를 사용해 쉽게 데이터를 검색, 수정, 삭제할 수 있다.
- 데이터 무결성 유지 용이: 스키마가 고정되어 있기 때문에 데이터 무결성(데이터의 일관성과 정확성)을 유지하기가 비교적 쉽다.
- 명확한 데이터 타입: 각 열에 포함되는 데이터는 정해진 데이터 타입(예: 정수, 문자열, 날짜 등)을 가짐
- 스케일링의 제한: 대규모 데이터를 처리하는 데 있어 비정형 데이터에 비해 상대적으로 스케일링이 어려울 수 있으며, 이는 정형 데이터베이스 시스템의 구조적 제약 때문
정형 데이터의 종류
- 숫자 데이터(Numerical Data): 정수, 부동소수점 등 수치형 데이터를 포함하며, 통계 분석, 수학적 연산 등에 주로 사용
  - 예: 매출액, 온도, 인구 수 등
- 범주형 데이터(Categorical Data): 데이터가 특정 범주에 속하는 값을 가짐
  - 예: 성별(남, 여), 지역(서울, 부산, 대구 등), 등급(A, B, C 등)
- 시간 데이터(Time-Series Data): 시간에 따라 연속적으로 수집된 데이터로, 분석 및 예측에 자주 사용
  - 예: 주식 가격, 기온 변화, 방문자 수 등
- 텍스트 데이터(Textual Data): 간단한 문자열 형태로 저장되는 데이터로, 주소, 이름, 제품 설명 등이 포함
  - 예: 고객 이름, 주소, 제품 코드, 리뷰 등
정형 데이터의 장점
- 빠른 쿼리 성능: 잘 정의된 스키마로 인해 쿼리 성능이 좋으며, 대용량 데이터에서 빠르게 원하는 정보를 얻을 수 있다.
- 명확한 구조: 데이터 구조가 명확하여 이해하고 관리하기 쉽다.
- 표준화된 도구 지원: SQL, Excel 등 다양한 표준화된 도구로 손쉽게 관리하고 분석할 수 있다.
정형 데이터의 한계
- 복잡한 데이터 표현의 제한: 이미지, 비디오, 복잡한 문서 등의 비정형 데이터를 처리하는 데에는 한계가 있.
- 고정된 스키마의 융통성 부족: 새로운 필드를 추가하거나 스키마를 변경하는 작업이 복잡할 수 있다.