(BI Specialist) 데이터 해석 및 활용 - 데이터 활용

데이터 활용

데이터 가공

 

1. 데이터 오류 : 잘못된 데이터 저장

 

2. 데이터 정제

- 결측값 처리

- 중복값 제거

- 불일치 데이터 처리

- 이상값 처리

- 데이터 유효성 검사

 

3. 데이터 변환

- 정규화/표준화 : 모든 변수의 중복값을 제거하고 0과 1사이의 범위로 맞추는 작업

- 로그변환 : 왜곡도를 줄여 극단값의 영향을 줄임

- 변수 인코딩 : 원핫 인코딩과 레이블 인코딩

- 날짜 및 시간 처리

- 데이터 집계 및 형태 변환

- 차원 축소

 

4. 데이터 분리

- 데이터 세트 분할 : 훈련, 검증, 테스트 세트로 분할

- 교차 검증 : 여러 집합 fold로 분리한 후 

- 표본 추출 : 계층적 표본 추출, 무작위 표본 추출

- 시간 기반 분할 : 시계열 분할

 

5. 데이터 결합

- 유니온 : 행 합치기

- 조인 : 열 합치기

- 추가, 데이터 혼합

 

데이터 관리

 

1. 데이터 수집 및 변환 : 수집 구성 후 분석 저장에 적합한 구조화된 형식으로 변환하는 프로세스

- 요구사항 정의

- 데이터 소스 식별 : DB, 스프레드시트, API, 웹스크래핑, 로그파일, IoT장치, SNS플랫폼 등

- 데이터 수집

- 데이터 변환

- 데이터 검증 및 품질 보증 : 무결성 검증, 품질 보증

- 데이터 스토리지 : RDBMS, NoSQL, 데이터 웨어하우스, 클라우드

 

2. 데이터 적재 및 저장

- 데이터 적재 : 추출, 변환, 로드(ETL), 일괄처리, 실시간처리

* 청크(Chunk) : 데이터를 관리 가능한 단위

- RDBMS : MySQL, PostgreSQL, Oracle

- NoSQL : MongoDB, Cassadra, Redis

- 데이터 웨어하우스 : Amazon Redshift, Google BigQuery, Snowflake

- 분산 파일시스템 : HDFS(Hadoop Distributed File System), Amazon S

- 데이터 백업 및 복구, 데이터 보안, 모니터링 및 유지관리

 

3. 데이터 보안 및 개인정보보호

- 데이터 보안

- 데이터 분류

- 접근 제어 : 인증 및 권한부여

- 데이터 백업 및 복구 : 오프사이트 스토리지(물리적 재해 또는 장애 발생시 보존을 위해 백업을 외부에 저장), 재해 복구 계획

- 네트워크 보안 : 방화벽, 침입 탐지 및 방지 시스템(IDS/IPS)

- 개인정보보호 규정 준수 : 가명화 또는 익명화를 이용

- 정기적인 업데이트

- 물리적 보안 조치 : CCTV등

 

비즈니스 인텔리전스

 

1. 비즈니스 인텔리전스(BI)

- 통찰과 의미 있는 정보를 생성하기 위해 사용하는 기술

- 사업 기회 파악, 문제 해결, 전략적 의사결정 지원

 

2. BI관련 개념

- 데이터 웨어하우징 : 중앙집중식 리포지토리인 데이터 웨어하우스에 통합하여 분석에 최적화된 데이터를 제공

- 데이터 모델링 : 논리적 표현식을 생성

- 데이터 분석 : 데이터에서 비즈니스에 유용한 통찰 발견

- 데이터 시각화, 데이터 마이닝

- 셀프서비스 비즈니스 인텔리전스 : 스스로가 데이터 탐색 및 분석하는 것

- 데이터 거버넌스 : 데이터의 보안, 개인정보보호, 정확성, 가용성, 사용성을 보장하기 위해 수행하는 모든 작업

- 지속적인 개선 : 지속적으로 추적하여 효과 측정, 성과 개선을 위한 지속적인 조정 수행

 

3. 비즈니스 인텔리전스와 데이터 기반 의사 결정

- 데이터를 효과적으로 활용, 의미있는 통찰을 얻고 정보에 입각한 의사결정을 내림으로써 비즈니스 성공과 경쟁력을 높임

- 데이터 기반 의사결정 : 정보에 입각한 선택, 의사결정 프로세스를 추진하는 것 까지 포함, 편견을 줄이고 객관성 제고

- 비즈니스의 현재 상태를 이해, 기회를 파악하고 문제를 진단

- 시의적절하고 정확한 정보를 제공함

- 조직의 목표와 목적에 부합하는 의사 결정을 내릴 가능성을 제고함

 

4. 비즈니스 인텔리전스의 활용

- 기술, 데이터 거버넌스, 데이터 기반 사고방식이 필수적

- 비즈니스 목표 정의

- 핵심성과지표 식별 : KPI

- 데이터 수집 및 통합

- 비즈니스 인텔리전스 도구 선택

- 대시보드 디자인 및 개발 : 의미있고 이해하기 쉬운 형식으로

- 데이터 분색 수행

- 보고서 및 시각화 생성 : 분석 결과를 의사결정자에게 효과적으로 전달

- 성과 모니터링 및 추적 : 이상징후 포착 및 변경사항에 대한 정보 개선

- 협업 및 통찰 공유 : 데이터 기반 의사결정 문화 정착

- 반복 및 개선 : 지속적인 개선

- 사용자 훈련 및 교육