Chapter3_1정리(Day 7일차)

※출처: 2018 데이터분석 준전문가 ADsP

챕터3 1장 데이터 분석 개요

 

데이터 처리 과정

데이터 분석을 위해서는 DW나 DM를 통해 분석데이터를 구성해야 한다. 신규데이터나 DW에 없는 데이터는 기존 운영시스템(legacy)에서 가져오기 보다는 운영시스템에서 임시로 데이터를 저장하는 스테이징영역에서 데이터를 전처리해서 운영데이터저장소에 저장된 데이터를 DW와 DM 와 결합하여 데이터를 구성하도록 한다.

 

시각화 기법

가장 낮은 수준의 분석이지만 복잡한 분석을 보다 더 효율적으로 해석할 수 있어 빅데이터 분석에서 필수적인 분석방법이다. 여러 차트형식의 시각화와 트리구조, 다이어그램 맵, 워드크라우드 등이 있다.

 

공간분석

공간적 차원과 관련된 속성들을 시각화하는 분석으로 지도위에 관련된 속성들을 생성하고 크기, 모양, 선 굵기 등을 구분하여 인사이트를 얻는다.

 

탐색적 자료분석(EDA)

다양한 차원과 값을 조합해 가며 특이점이나 의미있는 사실을 도출하고 분석의 최종목적을 달성해가는 과정이다. 빅데이터 시대가 도래하면서 데이터 양의 많아지면서 더욱더 활용이 많아진다.

 

데이터마이닝

대용량의 자료로부터 정보를 요약하고 미래에 대한 예측을 목표로 자료에 존재하는 관계, 패턴, 규칙 등을 탐색하고 이를 모형화함으로써 이전에 알지 못한 유용한 지식을 추출하는 분석방법이다.

기계학습(인공신경망, 의사결정나무, 클러스터링, SVM), 패턴인식(연관규칙, 장바구니 분석)

 

시뮬레이션

복잡한 실제상황을 단순화해 컴퓨터상의 모델로 만들어 재현하거나 변경함으로써 현상을 보다 잘 이해하고 미래의 변화에 따른 결과를 예측하는 데 사용하는 고급분석 기법이다.

 

최적화

목적함수 값을 최대화 또는 최소화하는 것을 목표로 하는 방법으로 제약조건 하에서 목표값을 개선하는 방식으로 목적함수와 제약조건을 정의해 문제를 해결한다.