빅데이터가 만드는 비지니스 미래지도 / 송민정, 빅데이터 분석대로 미래는 이루어진다/ 우종필, 빅데이터가 만드는 제4차 산업혁명 / 김진호

 

 

오늘날 창의성은 기업의 경쟁력과 직결된다. – 앨빈토플러

 

미지의 바다에서 어려움을 겪는 기업이 되느냐, 아니면 세계적으로 성공적인 기업이 되느냐는 데이터와 정보의 활용여부에 달려있다. – 제프베조스, 아마존

 

기업이 필요한 것은 빅데이터 형태로 저장된 후에 처리되고 분석된 후 나오는 흐름의 이해, 즉 스토리텔링이다.

 

데이터를 얻는 능력, 즉 데이터를 이해하는 능력, 처리하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력, 전달하는 능력이야말로 앞으로 엄청나게 중요한 능력이 될 것이다.

 

The ability to take data- to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it – that’s going to be a hugely important skill in the next decades.

 

Hal R. Varian, Google

 

Big data economy = Big opportunity (미래기업역량의 핵심)

 

빅데이터의 가치가 경제성장의 도구로 부각되며 확산될 것이다. 기업이 고객에게 좀 더 빨리 다가가 남보다 빨리 차별화된 상품과 서비스를 제공하는데 필요한 필수 자산이다.

 

미래 승자는 임계치 이상의 사용자를 확보하고, 여기서 모인 데이터를 시스템 서비스로 전환시키는 기업이 될 것이다. 데이터는 소프트웨어 인프라가 대부분 범용재화되는 시스템에서 유일한 가치의 원천 요소이다.

 

Big data의 특징

1. 규모 Volume
2. 다양성 Variety
3. 생성속도 Velocity
4. 복잡성 Complexity

Big data - > data selection -> Big insight

 

데이터 소스의 생성-수집-저장-분석-표현의 과정

 

데이터의 종류 – 정형 / 반정형 / 비정형

 

데이터의 수집방법

1. 크롤링: 웹로봇을 이용 SNS와 인터넷의 정보수집
2. 로그 수집: 조직내부에 존재하는 웹서버의 로그수집, 웹 로그 및 DB의 로그를 수집
3. 센싱: 센서를 통해 데이터 수집
4. RSS Reader, Open API: 데이터의 생산, 공유 참여환경인 웹2.0을 구현하는 기술로 필요한 데이터를 프로그래밍을 통해 수집

데이터 수집을 위한 변환 및 통합

1. ETL (Extraction, Transformation, Load): 메인프레임, ERP, CRM, Flat file, Excel 파일등으로부터 데이터를 추출하여 목표하는 저장소의 데이터의 형태로 변형한 수 목표 저장소에 저장
2. 비정형->정형: 비정형데이터는 비구조적 데이터 저장소에 저장하거나 어느정도 구조적인 형태로 변형하여 저장 (Scribe, Flume, Chuckwa 등의 오픈소스 솔루션)
3. 레거시데이터와 비정형데이터 간의 통합: 데이터를 분석하기 위해서는 수집된 정형의 레거시 데이터와 비정형데이터 간의 통합이 필요

마이닝기법

1. 데이터 마이닝- 대용량의 데이터, 데이터베이스 등에서 감춰진 지식, 기대하지 못했던 경향, 새로운 규칙등의 유용한 정보를 발견하는 과정 / 데이터 마이닝을 통해 정보의 연관성(순차패턴, 유사성 등)을 파악함으로써 가치있는 정보를 만들어 의사결정에 적용

• 텍스트 마이닝: 자연어로 구성된 비정형 텍스트 데이터에서 패턴 또는 관계를 추출하여 가치와 의미있는 정보를 찾아내는 기법/ 텍스트 마이닝은 사람들이 말하는 언어를 이해할 수 있는 자연언어처리(Natural Language Processing) 기술을 기반함

• 웹 마이닝: 인터넷상의 수집된 정보를 데이터 마이닝 방법으로 분석 통합하는 기법/ 웹 마이닝은 콘텐츠 마이닝(웹검색, 수집데이터), 구조 마이닝(웹사이트 구조), 활용 마이닝(사용자 이용형태) 등으로 세분화

• 소셜 마이닝: SNS에 올라오는 글과 사용자 분석해 소비자의 흐름이나 패턴등을 분석하고, 판매나 홍보에 적용/ 마케팅 분야 뿐만 아니라 사회의 흐름과 트렌드, 여론변화 추이를 읽어내는 소셜미디어시대의 새로운 기법

• 현실 마이닝: 사람들의 행동패턴을 예측하기 위해 사회적 행동과 관련된 정보를 기기(핸드폰, GPS)를 통해 얻고 분석하는 기법 /  휴대폰 등 모바일 기기들을 통해 현실에서 발생하는 정보를 기반으로 인간관계와 행동양태등을 추론

데이터의 표현

 

데이터의 시각화 = 결과물의 상품화

 

수치(numerical value), 키워드, 그래프구조; 수치데이터가 가장중요 (숫자가 정보다)

 

빅데이터의 핵심 인프라 – 클라우드

 

클라우드: 빅데이터의 스토리지 및 분산처리 클러스터 역할

 

클라우드서비스: 인터넷을 통해 실시간 전송되고 소비되는 개인 및 기업고객대상의 제품 및 서비스, 솔루션

 

 

용어정리

• RDBMS (Ralational Database Management System)
• DW (Data Warehouse)
• Data mining – 이미 축적된 데이터에서 유용한 지식을 유추해내는 과정
• Text mining
• Peta minig – 모바일데이터를 활용해 시간단위로 인구 변화를 추적하는 기술
• NFC (Near Field Communication)
• GPS (Global positioning System)
• API (Application Programming Interface)
• IRS (Immediate Response Service)
• LOHAS (Life of Health & Sustainability)
• Big data scientist vs. Business Intelligence
• Matching 맞춤서비스
• DaaS (Data as a Service)

 

 

그래프, 평균, 퍼센트, 비교의 함정

건강하고, 투명하고, 안전하게, 스마트하게, 창조하는 빅데이터