(ADsP) 2과목 데이터의 이해 - 1. 데이터 분석 기획의 이해

분석 기획과 분석 방법론

실무의 관리자가 되고자 한다면 필수 적용될 수 있는 개념으로 실무자 입장에서 데이터 분석 프로젝트 관리를 어떻게 이끌어 나가야 할지 제시하는 기초 지식.
2과목에 대해 '데이터 분석을 어떻게 기획하고 어떻게 관리하는지 학습한다'라는 마인드를 가지고 임하면 편해짐
외워야 할 내용이 대부분이기 때문에 트릭을 사용할 것을 적극권장

- 분석기획의 4가지 주제에 대해서는 외우기, 이해 불가능
- 처음 보는 개념에 대해 이해 필요, 어렵지 않음
- 업무 특성 모델에 대해 이해 필요
- KDD 분석 방법론과 CRISP-DM 분석 방법론의 지엽적인 내용은 안나올테지만 느낌은 알고있어야함
- 빅데이터 분석 방법론은 어떤 태스크가 있는지 까지는 알고있는게 좋음
- 산출물의 종류는 매칭 가능할 정도로만

 

1. 분석 기획

- 최적화 : 분석 대상 O, 분석 방법 O
- 솔루션 : 분석 대상 O, 분석 방법 X
- 발견 : 분석 대상 X, 분석 방법 X
- 통찰력 : 분석 대상 X, 분석 방법 O

- 시계방향으로 방법 왼쪽에 있는 최통발해(해결책=solution)

 

2. 목표 시점별 분석 기획 : 작은거, 큰거로 보기, 큰거는 당연히 시간이 오래걸림

- 과제 단위 : 빠르게 해결

- 마스터플랜 단위 : 지속적 해결, 정확하고 통찰력있게

 

3. 분석 기획시 고려 사항

- 가용 데이터 확인

- 유스케이스 탐색 (유스케이스=usedcase, 사전에 미리 누가 해결했던 방법이 있다면 적극 사용하자)

- 장애요소 사전계획 수립

 

4. 분석 방법론

- 상세한 절차, 방법(어떻게 조사?), 도구와 기법(프로그램), 템플릿과 산출물(엑셀로 작성, 결과물)

 

5. 합리적인 의사결정 방해요소

- 고정관념, 편향된 생각, 프레이밍 효과(동일한 사건을 사람마다 다르게 보는 현상)

 

6. 다양한 업무 특성 모델

- 폭포수 모델 : 순차적 진행 모델

- 프로토타입 모델 : 이해 되는 것부터 개발(일부분 개발 후 나중에 합침)

- 나선형 모델 : 프로토타입 모델에서 위험요소를 사전에 제거

 

7. 계층적 프로세스 모델 : 일반적인 방법, 단계 - 태스크 - 스텝

- 단계 : 순차적 수행할 단계를 의미, 결과는 산출물 도출

- 태스크 : 1단계의 1,2,3... 수행해야할 일, 품질 검토의 대상

- 스텝 : 1태스크의 1,2,3... 수행해야할 일, 입출력으로 구성된 작은 단위

 

8. KDD 분석 방법론

- 1단계 데이터셋 선택 : 도메인 이해, 프로젝트 목표 설정

- 2단계 데이터 전처리 : 데이터 재가공

- 3단계 데이터 변환 : 차원축소, 학습 데이터 분리

- 4단계 데이터 마이닝 : 알고리즘 선택 및 실행

- 5단계 해석과 평가 : 평가, 활용방안 마련

 

9. CRISP-DM 분석 방법론 : KDD보다 더 세분화되어있음

- 1단계 업무 이해 : 업무 파악 및 데이터마이닝 목표 설정, 계획 수립

- 순환(피드백)

- 2단계 데이터 이해 : 데이터 수집, 탐색, 기초분석

- 3단계 데이터 준비 : 데이터 정제 및 분석용 데이터 편성

- 순환(피드백)

- 4단계 모델링 : 모델링 기법 설정 및 모델 작성 - 평가

- 5단계 평가 : 과정, 모델링 적용성 평가

- 6단계 전개 : 전개, 유지보수 계획 수립, 종료

 

10. 빅데이터 분석 방법론 : 완벽한 계층적 프로세스 모델, 5단계로 구성

- 1단계 분석 기획 : 비즈니스 범위, 프로젝트 범위, 위험계획

- 2단계 데이터 준비 : 데이터 수집 및 정합성 검정

- 순환(피드백)

- 3단계 데이터 분석 : 분석 및 모델링 수행

- 4단계 시스템 구현 : 설계 및 테스트

- 5단계 평가 및 전개 : 모델 발전계획, 전체 평가 및 보고

 

11. 위험 대응 계획 수립 : 회피 전이, 완화, 수용 4가지 방법으로 대응한다

 

12. 산출물의 종류

- 요구사항 정의서 : 고객이 무엇을 원하는지

- 업무 분업 구조(WBS) : 업무를 작은 단위로 나누어 담당자, 기간 등을 작성한 문서

- 데이터 정의서 : 데이터 일관성 유지 목표

- 자원명세서 : 컴퓨팅 자원

- 프로그램 목록

- 개체-관계 다이어그램(ERD)

 

분석 과제 발굴

분석 과제를 알던 모르던 분석 과제를 찾을 때, 수행해야하는 방법론의 정리

- 하향식 접근법 단계는 비즈니스 모델 탐색 내용만 헷갈림
- 상향식 접근법에 대한 상세 내용은 추후에 배우게됨

 

1. 분석 과제 탐색 방법 : 대상을 알고있다면 하향식, 모른다면 상향식, 실제로는 혼합해서 많이 씀

 

2. 디자인 씽킹

- IDEO의 디자인 씽킹 : 문제 발견과 솔루션 제시 영역으로 구분되며 상향, 하향이 섞여있음

- 스탠퍼드 대학 디자인 씽킹 : 인간 중심 사고가 섞인 상향식 접근법

 

3. 하향식 접근법 : 모델 탐색 - 문제 정의 - 해결방안 탐색 - 타당성 검토

- 1단계 : 비즈니스 모델 탐색

 > 비즈니스 모델 캔버스의 9가지 블록을 5가지로 단순화한 탐색 기법, 업무/제품/고객 단위로 문제를 발굴하고 규제와 감사/지원 인프라 두 영역에 대한 기회를 추가로 도출

 > 범위의 확장 : 거시적 관점, 경쟁자 확대 관점, 시장의 니즈 탐색, 역량의 재해석

 > 유스케이스 정의 및 외부 참조모델 기반 문제 탐색

- 2단계 : 문제 정의 

 > 최종 사용자 관점에서 문제를 정의한다

- 3단계 : 해결 방안 탐색

 > 분석 가능한 시스템을 갖추었는지, 인력이 확보되었는지

- 4단계 : 타당성 검토

 > 경제적 타당성, 데이터 및 기술적 타당성 검토

 

4. 상향식 접근법

- 지도학습 : 정답이 있는 데이터를 학습(머신러닝, 의사결정트리, 인공신경망, 분류)

- 비지도학습 : 정답을 알려주지 않고 학습(군집, 프로파일링, 주성분 분석)

 

5. 프로토타이핑 접근법

- 문제에 대해 정의 잘 안될경우, 데이터 존재여부 애매한 경우, 데이터 사용 목적이 변화할 경우 사용

분석 프로젝트 관리 방안

없다고 생각해도 무방하나, 1문제 정도는 나올 수 있는 내용

- 분석 복잡도의 특징만, 시간안에 못끝내더라도 넘어가도 된다는 내용만 알아두기
- ISO21500 내용은 뭐하는짓인가 싶어서 안넣었으니 필요하면 찾아서 외우길 바람, 한번쯤 읽어보는것은 추천

 

1. 분석 과제 관리 고려 사항

- 양

- 데이터 복잡도

- 속도

- 분석 복잡도 : 정확도와 복잡도는 trade-off 관계

- 정확도 & 정밀도

 

2. 능력 성숙도 통합 모델(CMMI)

- 1단계 : 개인의 역량

- 2단계 : 약간의 개발 프로세스

- 3단계 : 조직규모 프로세스

- 4단계 : 체계적인 관리와 프로젝트

- 5단계 : 지속적 개선