정형데이터란?
- 행과 열로 구성된 테이블 형태를 가지고 있음 ⇒ 데이터 분석과 처리가 상대적으로 쉽고 용이하게 활용이 가능.
- 데이터 마이닝을 위해 인공지능 알고리즘에 직접적으로 적용이 가능한 특징이 있습니다.
- 정형 데이터는 명확하고 고정된 구조를 가지고 있어 관리와 분석이 용이하지만, 데이터 스케일링과 유연성 측면에서 제약이 있을 수 있음
- 정형 데이터의 예
- 엑셀 시트: 각 셀에 특정 데이터가 기록된 행과 열로 구성된 엑셀 파일.
- 관계형 데이터베이스: SQL 기반의 데이터베이스 시스템(MySQL, PostgreSQL 등)에서 테이블 형태로 저장된 데이터.
- CSV 파일: 쉼표로 구분된 텍스트 파일로, 각 행이 데이터 레코드를 나타내며 열이 각 속성(attribute)을 나타냄.
- 로그 데이터: 웹서버나 애플리케이션의 로그 파일에서 각 기록이 일정한 형식을 가지며, 각 로그 항목이 테이블의 한 행으로 표현될 수 있음.
- 정형 데이터의 특징
- 고정된 스키마: 데이터가 미리 정의된 구조(스키마)에 따라 정리. 각 행은 동일한 필드를 가지고, 각 필드는 특정 데이터 유형을 가진다.
- 쉬운 데이터 관리: 데이터가 테이블 형식으로 정리되어 있기 때문에, SQL 같은 쿼리 언어를 사용해 쉽게 데이터를 검색, 수정, 삭제할 수 있다.
- 데이터 무결성 유지 용이: 스키마가 고정되어 있기 때문에 데이터 무결성(데이터의 일관성과 정확성)을 유지하기가 비교적 쉽다.
- 명확한 데이터 타입: 각 열에 포함되는 데이터는 정해진 데이터 타입(예: 정수, 문자열, 날짜 등)을 가짐
- 스케일링의 제한: 대규모 데이터를 처리하는 데 있어 비정형 데이터에 비해 상대적으로 스케일링이 어려울 수 있으며, 이는 정형 데이터베이스 시스템의 구조적 제약 때문
- 정형 데이터의 종류
- 숫자 데이터(Numerical Data): 정수, 부동소수점 등 수치형 데이터를 포함하며, 통계 분석, 수학적 연산 등에 주로 사용
- 범주형 데이터(Categorical Data): 데이터가 특정 범주에 속하는 값을 가짐
- 예: 성별(남, 여), 지역(서울, 부산, 대구 등), 등급(A, B, C 등)
- 시간 데이터(Time-Series Data): 시간에 따라 연속적으로 수집된 데이터로, 분석 및 예측에 자주 사용
- 텍스트 데이터(Textual Data): 간단한 문자열 형태로 저장되는 데이터로, 주소, 이름, 제품 설명 등이 포함
- 예: 고객 이름, 주소, 제품 코드, 리뷰 등
- 정형 데이터의 장점
- 빠른 쿼리 성능: 잘 정의된 스키마로 인해 쿼리 성능이 좋으며, 대용량 데이터에서 빠르게 원하는 정보를 얻을 수 있다.
- 명확한 구조: 데이터 구조가 명확하여 이해하고 관리하기 쉽다.
- 표준화된 도구 지원: SQL, Excel 등 다양한 표준화된 도구로 손쉽게 관리하고 분석할 수 있다.
- 정형 데이터의 한계
- 복잡한 데이터 표현의 제한: 이미지, 비디오, 복잡한 문서 등의 비정형 데이터를 처리하는 데에는 한계가 있.
- 고정된 스키마의 융통성 부족: 새로운 필드를 추가하거나 스키마를 변경하는 작업이 복잡할 수 있다.