빅데이터 기초지식 1 - 2. 빅데이터 시대의 데이터 분석 기반 ( 2)

1. 데이터 분석 기반을 단계적으로 발전 시키기

- 팀과 역할 분담, 스몰 스타트와 확장

- 데이터 분석에 필요한 기술은 다방면에 걸쳐 있기 때문에 주로 팀을 이루어 작업이다

- 데이터 엔지니어 : 시스템의 구축 및 운용, 자동화 등을 담당하는 역할

- 데이터 분석가 : 데이터에서 가치 있는 정보를 추출하는 역할

→ 이들은 요구되는 지식뿐만 아니라 사용하는 도구도 다르다.

 

1 ) 애드혹 분석 및 대시보드 도구

- 애드혹 분석

  > 일회성 데이터 분석의 의미를 지님

  > sql 쿼리를 직접 작성, 그래프 작성등 대부분 수작업이 애드혹 분석에 포함

  > 데이터 레이크웨 데이터 마트를 직접 연결하여 데이터 추출 및 분석 작업 다수

  > 쿼리 실행 후 즉시 확인 가능한 대화형 분석 도구사용

 

2 ) 데이터 마트와 워크 플로 관리

- 복잡한 데이터 분석에서는 먼저 데이터 마트 구축 후, 분석 또는 시각화 추천함

- 데이터 집계속도를 높이고, 효율적인 분석 위해서는 데이터 마트 필수

- 데이터 처리 자동화의 장기적인 운용을 위하여 안정된 워크 플로 관리 필수적

 

 

2. 데이터를 수집하는 목적

- 데이터를 수집 후 무엇을 실시할 지는 목적에 따라 달라진다.

1) 데이터 검색

- 데이터들 중 조건에 맞는 것을 찾고싶을때

- 언제 무엇이 필요할지 모르기 때문에, 로그 및 행동 이력 등 발생하는 모든 데이터 취득

- 신속하게 검색하는 시스템 구축 필요

- 실시간 데이터 처리 또는 검색엔진 사용하여 키워드 찾는 기능 필요

 

2)데이터의 가공

- 추천상품 제안, 센서 데이터 비정상 상태 감지 통보의 경우 필요

- 목적이 명확, 데이터를 필요한 데이터를 모아 파이프라인 설계

- 자동화가 필수적, 꼼꼼한 테스트 및 시스템 구축 필요

 

3) 데이터 시각화

- 데이터 시각화를 통해 알고싶은 정보 얻음.