[ADSP] 데이터분석 준전문가 <1과목> 데이터 이해 - 02장 데이터의 가치와 미래

01. 빅데이터의 이해

1. 빅데이터의 이해

(1) 빅데이터의 정의

• 일반적 정의 : 큰 용량과 복잡성으로 기존 애플리케이션이나 툴로는 다루기 어려운 데이터셋의 집합. 단순히 양적인 개념뿐만 아니라 복잡하고 다양한 질적인 개념도 포함되어 있음
• 가트너(Gartner) 정의 : 향상된 시사점과 더 나은 의사결정을 위해 사용되는 비용 효율이 높고 혁신적이며 대용량, 고속 및 다양성의 특성을 가진 정보 자산
• 매킨지(McKinsey) 정의 : 일반적으로 데이터베이스 소프트웨어가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
• IDC 정의 : 다양한 종류의 대규모 데이터에서 낮은 비용으로 가치를 추출하고, 데이터의 초고속 수집과 발굴을 지원하도록 고안된 차세대 기술 및 아키텍처
• 일본 노무라연구소 정의 : 데이터와 데이터 처리, 저장 및 분석기술에 의미 있는 정보 도출은 물론이고 그에 필요한 인재나 조직까지도 넓은 의미의 빅데이터에 포함시킬 것을 제안함
• 더그 래니(Doug Laney) 정의(3V) : 데이터의 양(Volume), 데이터의 유형과 소스의 다양성(Variety), 데이터 수집과 처리 측면에서의 속도(Velocity)가 급격히 증가하면서 나타나는 현상임
• 마이어쇤베르크와 쿠키어의 정의 : 대용량 데이터를 활용해 작은 용량으로는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일. 나아가 이를 활용해 시장, 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 일
• 한국데이터산업진흥원 정의 : 데이터에 대한 기존의 접근 방식으로는 얻을 수 없었던 통찰과 가치를 창출하는 모든 것

 

(2) 빅데이터의 특징

1) 더그 래니의 3V ★★★

• 빅데이터를 데이터의 양(Volume), 데이터의 유형(Variety), 데이터의 생성 및 처리 속도의 증가(Velocity)로 요약한 것

2) 빅데이터의 새로운 특징 4V ★★★

• 일부 학자들이 3V에 추가로 가치(Value), 정확성(Veracity) [+시각화(Visualization), 가변성(Variability)]을 포함하여 4V로 빅데이터의 특징을 설명하기도 한다.
  • 가치(Value) : 데이터 전체를 파악하고 패턴을 발견하기가 어렵게 되면서 가치의 중요성이 강조된다.
  • 정확성(Veracity) : 빅데이터 기반의 예측 분석 결과에 대한 신뢰성이 중요하게 되었다.

 

---

2. 빅데이터의 출현 배경

(1) 빅데이터의 출현 배경 ★

• 데이터의 양적 증가 : 과학기술의 발달과 컴퓨터/스마트폰의 보급으로 수많은 데이터가 쏟아짐. (이메일, SNS, CCTV, 카드 내역 등 다양한 데이터 형식으로 발생하고 스마트폰을 이용한 디지털 소통, 전자상거래, 디지털미디어 서비스 사용 등으로 폭발적인 데이터 증가가 일어남) 빅데이터는 새롭게 등장한 개념이 아닌, 기술의 패러다임 시프트 현상으로 바라봐야 함
• 산업계의 변화 : 헤겔의 변증법에 기초를 둔 '양질 전환의 법칙'으로 설명됨
  • 양질 전환의 법칙 : 양적인 변화가 축적되면 질적인 변화도 이루어진다는 개념으로, 정보가 지속적으로 축적되면서 거대한 데이터는 새로운 기술을 만나 새로운 가치를 창출할 수 있는 변화의 상태가 된다고 설명하는 개념이다.
• 학계의 변화 : 거대한 데이터를 다루는 학문 분야가 늘어나면서 필요한 기술 아키텍처 및 통계 도구도 지속해서 발전함.
• 관련 기술의 발전 : 디지털화의 급진전, 저장 기술의 발전과 가격 하락, 인터넷의 발전과 모바일 시대 돌입, 클라우드 컴퓨팅 보편화 등
  • 클라우드 컴퓨팅 : 많은 정보가 클라우드에 수집되는 것도 의미가 있지만, 빅데이터의 처리 비용을 획기적으로 낮추었다(경제성 제공)는 점에서 의의가 있음. 대용량의 데이터를 클라우드 병렬 처리 시스템으로 처리할 경우 비용이 혁신적으로 줄어든다!

 

(2) 빅데이터의 기능과 변화

1) 빅데이터의 기능 ★★★

빅데이터는 "산업혁명의 석탄/철"	제조업뿐만 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회/경제/문화/생활 전반에 혁명적 변화를 가져올 것으로 기대된다.
빅데이터는 "21세기 원유"	원유처럼 각종 비즈니스, 공공기관 대국민 서비스, 그리고 경제 성장에 필요한 정보를 제공하여 산업 전반의 생산성을 향상시키고 새로운 범주의 산업을 만들어낼 것으로 기대된다.
빅데이터는 "렌즈"	렌즈를 통해 현미경이 생물학 발전에 끼쳤던 영향만큼, 빅데이터도 산업 발전에 큰 영향을 줄 것으로 기대된다. ex) 구글의 Ngram Viewer
빅데이터는 "플랫폼"	플랫폼은 공동 활용의 목적으로 구축된 유무형의 구조물을 말한다. 빅데이터는 플랫폼으로서 다양한 서드파티 비즈니스에 활용될 것으로 기대된다. ex) 페이스북, 카카오톡 등

 

2) 빅데이터가 만들어내는 변화 (후-전-양-상으로 암기) ★★★

• 사전처리 → 사후처리 : 데이터를 사전 처리하지 않고, 가능한 많은 데이터를 모으고 데이터를 다양한 방식으로 조합하여 숨은 인사이트를 발굴한다.
• 표본조사 → 전수조사 : IoT/클라우드 기술의 발전으로 데이터 처리 비용이 감소하게 되면서 데이터 활용 방법이 표본조사에서 전수조사로 변화했다.
• 질 → 양 : 수집 데이터의 양이 증가할수록 분석의 정확도가 높아져 양질의 분석 결과 산출에 긍정적인 영향을 주었다.
• 인과관계 → 상관관계 : 특정한 인과관계가 중요시되던 과거와 달리, 데이터의 양이 급격하게 늘어나면서 상관관계를 통해 특정 현상의 발생 가능성이 포착되고 그에 상응하는 행동을 추천하는 등 상관관계를 통한 인사이트 도출이 점점 확산되고 있다.

3) 빅데이터의 등장에 따른 변화

• 데이터 변화 : 데이터의 양(Volume), 데이터의 유형(Variety) , 데이터의 수집 및 처리 기술(Velocity)
• 기술 변화 : 데이터 처리, 저장, 분석 및 아키텍처 / 클라우드 컴퓨팅 활용
• 인재 조직 변화 : 데이터 사이언티스트 수요 증가, 데이터 중심 조직 등장 

 

---

 

02. 데이터의 가치와 미래

1. 빅데이터의 가치와 영향

(1) 빅데이터의 가치

1) 빅데이터의 가치 ★

• 어떤 인사이트를 발굴하여 어떻게 활용할 것인지에 따라 다름. 중요한 것은 빅데이터를 통한 인사이트를 가치 있게 만드는 과정 그 자체. 빅데이터는 아래 3가지 이유로 인해 가치 산정이 어려움
  • 데이터 활용 방식 : 빅데이터의 재사용, 재조합, 다목적용 데이터 개발 등이 일반화되며 특정 데이터를 누가, 언제, 어떻게, 어디서 활용하는지 알 수 없게 되어 가치 산정이 어려움
  • 가치 창출 방식 : 빅데이터는 기존에 없던 새로운 가치를 창출함에 따라 그 가치를 산정하기 어려움
  • 분석 기술의 발전 : 데이터 분석 기술의 발전으로 가치 있는 데이터와 가치 없는 데이터의 경계를 나누기 어려워짐

 

---

2. 빅데이터와 비즈니스 모델

(1) 빅데이터 활용 사례

1) 미래의 빅데이터 활용에 필요한 3요소 ★

• 데이터 : 모든 것의 데이터화
• 기술 : 진화하는 알고리즘, 인공지능
• 인력 : 데이터 사이언티스트, 알고리즈미스트

(2) 7가지 빅데이터 활용 기본 테크닉 ★★★

1) 연관 규칙 학습(Association rule learning)

• 어떤 변인 간에 주목할 만한 상관 관계가 있는지를 찾아내는 방법
• 연관분석 혹은 장바구니 분석으로도 불리며 고객이 구매한 물품들을 분석하여 품목 사이의 규칙을 찾아내는 분석 기법
• ex) A를 구매한 사람이 B를 더 많이 사는가? 이것을 구매한 사람들이 많이 구매한 물품은?

2) 유형분석(Classification tree analysis)

• 새로운 사건이 속할 범주를 찾아내는 방법
• '이 사용자가 어떤 특성을 가진 집단에 속하는가?'와 같은 문제의 해결
• ex) 문서를 어떻게 분류할 것인가? 조직을 어떻게 여러 그룹으로 나눌 것인가?

3) 유전 알고리즘(Genetic algorithms)

• 최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 메커니즘을 통해 점진적으로 진화시켜 나가는 방법
• '최대의 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송해야 하는가?'와 같은 문제의 해결
• ex) 최적화된 택배 차량 배치, 최고의 시청률을 내기 위한 방송 프로그램 배치, 응급실에서의 의사의 배치

4) 머신러닝(Machine learning)

• 컴퓨터가 데이터로부터 규칙을 찾고 이러한 규칙을 활용해 '예측'하는 데 초점을 둔 방법
• '기존 시청 기록을 바탕으로 시청자가 보유한 영화 중 어떤 영화를 가장 보고 싶어 할까?'와 같은 문제의 해결
• ex) 유튜브/넷플릭스의 미디어 추천 시스템, 스팸 메일 필터링, 질병 진단 예측

5) 회귀분석(Regression analysis)

• 독립변수를 조작하면서 종속변수가 어떻게 변하는지를 보며 수치형으로 이루어진 두 변인의 관계를 파악하는 방법
• '구매자의 나이가 구매 차량의 타입에 어떤 영향을 미치는가?'와 같은 문제의 해결
• ex) 사용자의 만족도가 충성도에 어떤 영향? 이웃들은 그 규모가 집값에 어떤 영향? 상품 가격은 매출에 어떤 영향?

6) 감정분석(Sentiment analysis)

• 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석하는 방법
• 비정형 데이터 마이닝의 대표적인 방법 중 하나로, 텍스트 파일로부터 단어를 추출하고 추출된 단어의 긍정, 부정을 선별하여 글을 쓴 사람의 감정을 분석하는 분석 방법
• '새로운 환불 정책에 대한 고객의 평가는 어떤가?'와 같은 문제의 해결

7) 소셜 네트워크 분석(SNA; Social Network Analysis)

• = 사회 관계망 분석. SNS 유저 사이의 팔로워, 팔로잉 관계를 분석하여 영향력이 있는 사람을 찾아내어 마케팅이나 범죄 수사에 이용하는 등 다양한 분야에 활용함
• 비정형 데이터 분석으로, 연결 중심성 / 근접 중심성 / 매개 중심성 / 아이겐벡터 중심성 4가지 요소로 분석함

 

---

3. 빅데이터의 위기 요인과 통제 방안

(1) 위기 요인 ★★★

1) 사생활 침해

• 개인의 사생활 침해 위협을 넘어 사회/경제적 위협으로 변형될 수 있으며 정보가 오용될 때 위협의 크기가 막대함

2) 책임 원칙 훼손

• 빅데이터 기반 분석과 예측 기술이 발전하면서 정확도가 증가한 만큼, 분석 대상이 되는 사람들이 예측 알고리즘의 희생양이 될 가능성이 높아짐. 빅데이터 시스템에 의해 부당하게 피해 보는 상황을 최소화할 장치 마련이 필요
• ex) 범죄 발생 이전에 체포

3) 데이터 오용

• 데이터 과신, 혹은 잘못된 지표의 사용으로 인한 잘못된 인사이트를 얻어 비즈니스에 적용할 경우 직접 손실이 발생할 수 있다.
• 빅데이터는 과거 데이터를 분석하는 것이기 때문에 창조적인 미래를 예측하는 경우, 과거 데이터를 과신하거나 오용하면 창조적인 제품을 개발하기 어렵다.

 

(2) 통제 방안 ★★★

1) 사생활 침해의 통제 방안 → '동의'에서 '책임'으로

• 개인정보 제공자의 '동의'를 통해 해결하기보다 개인정보 사용자의 '책임'으로 해결한다는 방안

2) 책임 원칙 훼손의 통제 방안 → 결과 기반 책임 원칙 고수

• 특정인의 '성향'에 따라 처벌하는 것이 아닌 '행동 결과'를 보고 처벌
• 범죄를 저지를 것이라 예상되더라도 현 시점에서 아무런 범죄가 발생하지 않았으므로 어떠한 조치도 취할 수 없다는 것

3) 데이터 오용의 통제 방안 → 알고리즘 접근 허용

• 데이터가 어떻게 사용되어 어떠한 이유로 피해자가 발생하게 되었는지 데이터 활용 로직인 알고리즘을 살펴봄으로써 피해자를 구제할 수 있다.
  • 알고리즈미스트(Algorithmist) : 알고리즘을 이해하고 해석함으로써 사전에 피해를 방지하고 구제하는 전문 인력

[참고] 개인정보 비식별 기술

• 데이터 속에서 특정 개인을 식별할 수 있는 요인을 숨겨 식별할 수 없도록 하는 기술
  • 데이터 마스킹 : 데이터의 기존 형식을 유지한 채 식별할 수 없는 임의의 값으로 대체하는 것 (플레이 데이터 → *** 데이터)
  • 가명 처리 : 데이터의 값을 다른 값으로 변경하는 것 (홍길동 → 임꺽정)
  • 총계 처리 : 각각의 데이터 값이 아닌 전체 데이터에 대한 총합 또는 평균으로 데이터를 보여줌 (70점 80점 90점 → 평균 80점)
  • 데이터 값 삭제 : 데이터 값의 일부를 삭제 (서울시 서초구 → 서울시)
  • 데이터 범주화 : 데이터의 값을 범주화하여 특정 값이 아닌 범위를 제공 (수학 80점 → 수학 70~90점)

 

 

---

 

03. 가치창조를 위한 데이터 사이언스와 전략 인사이트

1. 빅데이터 분석과 전략 인사이트

(1) 빅데이터 분석의 핵심은 'Big'이 아닌 '인사이트'

1) '크기'가 아니라 '인사이트' ★

• 데이터는 크기가 아니라, 데이터로부터 어떤 시각과 인사이트(Insight; 통찰)를 얻을 수 있느냐의 문제다.
• 비즈니스 핵심가치에 집중하고, 분석 평가 지표를 개발하고, 효과적으로 시장과 고객의 변화에 대응할 수 있을 때 빅데이터 분석은 가치가 있다.
• 빅데이터와 관련된 걸림돌은 '비용'이 아니라 '분석적 방법과 성과에 대한 이해 부족'이다.
  • 데이터로부터 가치를 뽑아내는 것이 빅데이터의 핵심! 데이터의 양 < 데이터의 가치

2) 전략적 인사이트의 중요성

• 전략적인 인사이트를 가지고 핵심적인 비즈니스에 집중하여 데이터를 분석하고 차별적인 전략으로 기업을 운영해야 함
  • 분석이 경쟁의 본질을 제대로 바라보지 못할 때는 쓸모없는 결과만 잔뜩 도출함. 단순히 데이터 분석을 많이 사용한다고 경쟁 우위에 도달하는 것이 아님 XXX

 

(2) 일차원적 분석 vs 전략 도출을 위한 가치 기반 분석

1) 일차원적 분석(산업별) ★★★

산업	일차원적 분석 애플리케이션
금융 서비스	신용점수 산정, 사기 탐지, 가격 책정, 프로그램 트레이딩, 클레임 분석, 고객 수익성 분석
에너지	트레이팅, 공급/수요 예측
병원	가격 책정, 고객 로열티, 수익 관리
정부	사기탐지, 사례관리, 범죄방지, 수익 최적화
소매업	판촉, 매대 관리, 수요 예측, 재고 보충, 가격 및 제조 최적화
제조업	공급사슬 최적화, 수요 에측, 재고 보충, 보증서 분석, 맞춤형 상품 개발, 신상품 개발
운송업	일정 관리, 노선 배정, 수익 관리
헬스케어	약품 거래, 예비 진단, 질병 관리
커뮤니케이션	가격 계획 최적화, 고객 보유, 수요 예측, 생산 능력 계획, 네트워크 최적화, 고객 수익성 관리
서비스	콜센터 직원 관리, 서비스-수익 사슬 관리
온라인	웹 매트릭스, 사이트 설계, 고객 추천
모든 사업	성과 관리

 

2) 전략 도출을 위한 가치 기반 분석

• 빅데이터의 일차원 분석을 통해서도 해당 부서나 업무 영역에서는 상당한 효과를 얻을 수 있다.
• 하지만 업계 내부의 문제에만 포커스를 두고 있으며, 부서 단위로 관리되기 때문에 비즈니스 성공에 핵심적인 역할을 기대하기는 어렵다.
• 일차적인 분석을 통해 분석 경험을 늘려가고, 분석의 활용 범위를 더 넓고 전략적으로 변화시켜 전략적 인사이트를 주는 가치 기반 분석 단계로 나아가야 한다.
• 이 단계에서 분석은 경쟁의 본질에 영향을 미치고 기업의 경쟁 전략을 이끌어갈 수 있다.

 

---

2. 전략 인사이트 도출을 위해 필요한 역량

(1) 데이터 사이언스에 대한 이해와 역할

1) 데이터 사이언스에 대한 이해

• 데이터 사이언스 : 데이터로부터 의미 있는 정보를 추출해내는 학문
  • 통계학이 정형화된 실험 데이터를 분석 대상으로 하는 것에 비해,
    데이터 사이언스는 정형 또는 비정형을 막론하고 다양한 유형의 데이터를 대상으로 한다.
  • 위키피디아에서는 '데이터 공학, 수학, 통계학, 컴퓨터 공학, 시각화, 해커의 사고 방식, 해당 분야의 전문 지식을 종합한 학문'으로 정의하기도 한다.
  • '강력한 호기심'을 핵심 구성 요소로 스토리텔링, 커뮤니케이션, 창의력이 추가적으로 요구된다.

2) 데이터 사이언스의 역할

• 데이터 마이닝은 주로 분석에 포커스를 두지만, 데이터 사이언스는 분석뿐 아니라 이를 효과적으로 구현하고 전달하는 과정, 궁극적으로는 전략적 인사이트 도출을 위한 일련의 행위까지 모두 포괄하는 광의의 개념이다.
• 데이터 마이닝과의 차이점? → 데이터 사이언티스트에게 '소통'이 중요한 핵심 역량이 되는 이유
  • 데이터 사이언스는 더 포괄적이고 총체적인 접근법을 사용한다.
  • 전략적 통찰을 추구하고, 비즈니스 핵심 이슈에 답하고, 사업의 성과를 견인해 나갈 수 있다.

 

(2) '데이터 사이언스'와 '데이터 사이언티스트'

1) 데이터 사이언스 구성 요소 ★★

• Analytics(분석) : 수학, 확률 모델, 머신러닝, 분석학, 패턴 인식과 학습, 불확실성 모델링 등
• IT(Data Management) : 시그널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징, 고성능 컴퓨팅 등
• 비즈니스 분석(컨설팅) : 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화 등

2) 데이터 사이언티스트에게 요구되는 역량 ★★★

• 하드 스킬(Hard skill)
  • 빅데이터에 대한 이론적 지식 : 관련 기법에 대한 이해와 방법론 습득
  • 분석 기술에 대한 숙련 : 최적의 분석 설계 및 노하우 축적
• 소프트 스킬(Soft skill)
  • 통찰력 있는 분석 : 창의적 사고, 호기심, 논리적 비판
  • 설득력 있는 전달 : 스토리텔링, 시각화
  • 다분야 간 협력 : 커뮤니케이션
• 가트너가 제시한 데이터 사이언티스트 요구 역량 ★
  • 데이터 관리 : 데이터에 대한 이해
  • 분석 모델링 : 분석론에 대한 지식
  • 비즈니스 분석 : 비즈니스 요소에 초점
  • 소프트 스킬 : 커뮤니케이션, 협력, 리더십, 창의력, 규율, 열정

 

(3) 데이터 사이언스: 과학과 인문학의 교차로

1) 전략과 인사이트 도출을 위한 인문학 ★

• 기업이 경영전략을 수립하는 데는 사고방식, 비즈니스 이슈에 대한 감각, 고객에 대한 공감 능력 등의 소프트 스킬이 필요
• '데이터 사이언스는 과학과 인문학의 교차로에 있다'
  • 소프트 스킬은 인문학에서 나옴.
    스토리텔링, 커뮤니케이션 능력, 창의력, 열정, 직관력, 비판적 시각, 글쓰기 능력, 대화 능력
• 공급자 중심의 기술 경쟁하에서는 '산출물'만을 중시하지만,
  소비자가 어디에서 재미와 편의를 느끼는지 이해하기 위해서는 '창조 과정'에 주목하는 인문학적 통찰력이 필요

[참고] 외부 환경에서 본 인문학의 열풍 ★★

외부 환경	변화
컨버전스 → 디버전스	단순 세계화 → 복잡 세계화
생산 → 서비스	제품생산 → 서비스
생산 → 시장 창조	기술 경쟁 → 무형 자산의 경쟁

2) 인문학적 사고의 특성

• 데이터 사이언티스트는 과학의 '정량분석'과 인문학의 '합리적 추론'을 탁월하게 조합할 수 있어야 한다. → 단순히 정보를 활용하는 정도의 수준을 넘어 사업 성과를 좌우하는 핵심적인 문제에 대답할 수 있는 수준의 인사이트를 제시해야 함

 

---

3. 빅데이터 그리고 데이터 사이언스의 미래

(1) 가치 패러다임의 변화

1) 가치 패러다임

• 패러다임(paradigm) : 어떤 한 시대 사람들의 견해나 사고를 근본적으로 규정하고 있는 프레임으로서의 인식의 체계, 또는 사물에 대한 이론적인 틀이나 체계를 의미하는 개념
• 패러다임 시프트 : 패러다임은 시간의 흐름에 따라 다음 세대의 패러다임에 자리를 물려주고 떠나는 속성을 가짐
• 가치 패러다임 : 경제와 산업의 원천에 있는 가치에 대한 패러다임. 많은 신기술과 상품, 서비스가 그 시기의 가치 패러다임과 맞아 떨어질 때 성공을 거둠

2) 가치 패러다임의 변화 ★

• 현대는 크게 디지털화, 연결, 에이전시로 패러다임이 변화했다.
  • (과거) Digitalization → (현재) Connection → (미래) Agency
• 디지털화(Digitalization) : 아날로그의 세상을 어떻게 효과적으로 디지털화하는가가 이 시대의 가치를 창출해 내는 원천
  ex) 운영체제, 워드/파워포인트와 같은 오피스 프로그램
• 연결(Connection) : 디지털화된 정보와 대상들이 서로 연결되어 이 연결이 얼마나 효과적이고 효율적으로 제공되느냐가 이 시대의 성패를 가름
  ex) 구글의 검색 알고리즘, 네이버의 콘텐츠
• 에이전시(Agency) : 사물인터넷(IoT; Internet of Things)의 성숙과 함께 연결이 증가하고 복잡해짐. 복잡한 연결을 얼마나 효과적이고 믿을 만하게 관리하느냐가 이슈. 데이터 사이언스의 역량에 따라 좌우됨

 

(2) 데이터 사이언스의 한계와 인문학

1) 데이터 사이언스의 한계

• 정량적 데이터 분석이라도 모든 분석은 가정에 근거하며, 가정이 변하지 않는 동안에도 실제 외부 요인은 계속 변화함
• 데이터 분석은 100% 완벽하지 않다는 한계가 반드시 존재. 하지만 정보가 뒷받침되지 않는 직관보다는 나음