ADsP 제1과목 데이터의 이해

데이터분석 준전문가 1과목 요약입니다.

워드파일도 첨부합니다 필요하신 분 사용하세요

(나눔바른고딕 폰트 사용하였습니다.)

제1과목.docx

0.03MB

제1장 데이터의 이해

제1절 데이터와 정보

• 데이터의 정의

- 데이터는 추론과 추정의 근거를 이루는 사실

- 단순한 객체로서의 가치 뿐만 아니라 다른 객체와의 상호관계 속에서 가치를 가지는 것으로 설명되고 있다.

 

• 데이터의 특성

- 존재적 특성: 객관적 사실
- 당위적 특성: 추론·예측·전망·추정을 위한 근거

 

• 데이터의 유형

- 정성적(qualitative) 데이터: 그 형태와 형식이 정해져 있지 않아서 저장, 검색, 분석하는데 많은 비용과 기술적 투자가 수반된다.
예) 언어, 문자 등

 

- 정량적(quantitative) 데이터: 데이터의 양이 크게 증가하더라도 저장, 검색, 분석하여 활용하기 용이하다. 예) 수치

 

• 지식경영의 핵심 이슈

- 데이터는 지식경영의 핵심 이슈인 암묵지와 형식지의 상호작용에 있어 중요한 역할을 한다.

구분	의미	예
암묵지	학습과 경험을 통해 개인에게 체화되어 있지만 겉으로 드러나지 않는 지식	김치 담그기 자전거타기
형식지	문서나 매뉴얼처럼 형상화된 지식	교과서 비디오 DB

- 암묵지는 사회적으로 중요하지만 다른 사람에게 공유되기 어렵다. 개인에게 축적된 내면화된 지식이 조직의 지식으로 공통화 된다.

- 형식지는 전달과 공유가 용이하다. 언어, 기호, 숫자로 표준화된 지식이 개인의 지식으로 연결화

 

• DIKW 피라미드

구분	의미	예
데이터	개별 데이터 자체로는 의미가 중요하지 않은 객관적인 사실. 존재형식을 불문하고, 타 데이터와의 상관관계가 없는 가공하기 전의 순수한 수치나 기호를 의미	A는 100원, B는 200원에 연필을 판매
정보	데이터의 가공, 처리와 데이터간 연관관계 속에서 의미가 도출된 것. 데이터의 가공 및 상관관계간 이해를 통해 패턴을 인식하고 그 의미를 부여한 데이터	A마트의 연필이 더 싸다
지식	데이터를 통해 도출된 다양한 정보를 구조화하여 유의미한 정보를 분류하고 개인적인 경험을 결합시켜 고유의 지식으로 내재화된 것. 상호 연결된 정보 패턴을 이해하여 이를 토대로 예측한 결과	상대적으로 저렴한 A마트에서 연필을 사야겠다
지혜	지식의 축적과 아이디어가 결합된 창의적인 산물. 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적인 아이디어	A마트의 다른 상품들도 B마트보다 더 쌀 것이라고 판단한다.

 

제2절 데이터베이스 정의와 특징

• 데이터베이스의 정의
- 동시에 복수의 적용 업무를 지원할 수 있도록 복수 이용자의 요구에 대응해서 데이터를 받아들이고 저장, 공급하기 위해 일정한 구조에 따라서 편성된 데이터의 집합

- 관련된 레코드의 집합, 소프트웨어로는 데이터베이스 관리 시스템(DBMS)을 의미

- 문자, 기호, 음성, 화상, 영상 등 상호 관련된 다수의 콘텐츠를 정보 처리 및 정보통신 기기에 의해 체계적으로 수집·축적하여 다양한 용도와 방법으로 이용할 수 있도록 정리한 정보의 집합체

 

• 데이터베이스의 특징
- 통합된 데이터(integrated data): 동일한 내용의 데이터가 중복되어 있지 않다는 것을 의미. 데이터 중복은 관리상의 복잡한 부작용을 초래

 

- 저장된 데이터(stored data): 자기 디스크나 자기 테이프 등과 같이 컴퓨터가 접근할 수 있는 저장 매체에 저장되는 것을 의미. 데이터베이스는 기본적으로 컴퓨터 기술을 바탕으로 한 것

 

- 공용 데이터(shared data): 여러 사용자가 서로 다른 목적으로 데이터를 공동으로 이용한다는 것을 의미. 대용량화 되고 구조가 복잡

 

- 변화되는 데이터(changeable data): 데이터베이스에 저장된 내용은 곧 데이터베이스의 현 상태를 나타냄. 다만 이 상태는 새로운 데이터의 삽입, 기존 데이터의 삭제, 갱신으로 항상 변화하면서도 현재의 정확한 데이터를 유지해야 함

 

제3절 데이터베이스 활용

- OLTP (On-Line Transaction Processing): 호스트 컴퓨터와 온라인으로 접속된 여러 단말 간의 처리 형태의 하나이다. 여러 단말에서 보내온 메시지에 따라 호스트 컴퓨터가 데이터베이스를 액세스하고 바로 처리 결과를 돌려보내는 형태를 말한다. 데이터베이스의 데이터를 수시로 갱신하는 프로세싱을 의미한다.
예) 주문 입력 시스템, 재고 관리 시스템 등

 

- OLAP (On-Line Analytical Processing): 정보 위주의 분석 처리를 의미하며, 다양한 비즈니스 관점에서 쉽고 빠르게 다차원적인 데이터에 접근하여 의사 결정에 활용할 수 있는 정보를 얻게 해주는 시스템이다.

 

- CRM (Customer Relationship Management): 기업이 고객과 관련된 내·외부 자료를 분석·통합해 고객 중심 자원을 극대화하고 이를 토대로 고객 특성에 맞게 마케팅 활동을 계획·지원·평가하는 과정이다.

 

- SCM (Supply Chain Management): 기업에서 원재료의 생산·유통 등 모든 공급망 단계를 최적화해 수요자가 원하는 제품을 원하는 시간과 장소에 제공하는 "공급망 관리"를 뜻한다.

 

- ERP (Enterprise Resource Planning): 인사·재무·생산 등 기업의 전 부문에 걸쳐 독립적으로 운영되던 각종 관리시스템의 경영자원을 하나의 통합 시스템으로 재구축함으로써 생산성을 극대화하려는 경영혁신기법을 의미한다.

 

- BI (Business Intelligence): 기업이 보유하고 있는 수많은 데이터를 정리하고 분석해 기업의 의사결정에 활용하는 일련의 프로세스를 말한다. 즉, 기업의 사용자가 더 좋은 의사결정을 하도록 데이터 수집, 저장, 분석, 접근을 지원하는 응용시스템과 기술인 것이다.

 

제2장 데이터의 가치와 미래

제1절 빅데이터의 이해

• 빅데이터의 정의

1. 3V로 요약되는 데이터 자체 특성 변화에 초점을 맞춘 좁은 범위의 정의가 있다.

- Volume (양): 데이터의 규모 측면
- Variety (다양성): 데이터의 유형과 소스 측면
- Velocity (속도): 데이터의 수집과 처리 측면

 

2. 데이터 자체 뿐 아니라 처리, 분석 기술적 변화까지 포함되는 중간 범위의 정의가 있다.
- 새로운 처리, 저장, 분석 기술 및 아키텍처
- 클라우드 컴퓨팅 활용

 

3. 인재, 조직 변화까지 포함해 넓은 관점에서의 빅데이터에 대한 정의가 있다.
- 새로운 인재 필요
- 데이터 중심 조직

 

• 빅데이터의 출현배경
- 빅데이터 현상은 없었던 것이 새로 등장한 것이 아니라 기존의 데이터, 처리방식, 다루는 사람과 조직 차원에서 일어나는 "변화"를 말한다.

 

• 빅데이터의 출현에 따른 변화
- 기존 방식으로는 얻을 수 없었던 통찰 및 가치 창출. 사업방식, 시장, 사회, 정부 등에서 변화와 혁신 주도

- 사용자 로그(log) 정보 (사용자가 인터넷에 접속한 시간과 정보, 검색기록 등)에 대한 프로파일링이 이루어지기 시작하면서 아이덴티티가 뚜렷해지고 사용자와 광고를 매칭하는 정확도도 향상

 

• 빅데이터에 거는 기대를 잘 표현한 비유

1. 빅데이터는 차세대 산업혁명에서 석탄과 철 역할을 할 것으로 기대된다. 제조업 뿐 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회·경제·문화·생활 전반에 혁명적 변화를 가져올 것으로 기대된다.

 

2. 빅데이터는 21세기의 원유에 비유된다. 우리가 살고 있는 사회 저변을 떠받치는 에너지원인 원유처럼 경제 성장에 필요한 정보를 제공함으로써 산업 전반의 생산성을 한 단계 향상시키고, 기존에 없던 새로운 범주의 산업을 만들어낼 것으로 전망된다.

 

3. 렌즈를 통해 현미경이 생물학 발전에 미쳤던 영향만큼이나 데이터가 산업 발전에 영향을 미칠 것으로 기대된다.
 예) 구글의 Ngram Viewer

 

4. 빅데이터는 플랫폼 역할을 할 것으로 기대된다. 최근에는 다양한 서드파티 비즈니스에 빅데이터가 활용되면서 플랫폼 역할을 할 것으로 전망

 

• 빅데이터가 만들어 내는 본질적인 변화

1. 사전처리에서 사후처리 시대로: 필요한 정보만 수집하고 필요하지 않은 정보는 버리는 시스템에서 가능한 한 많은 데이터를 모으고 그 데이터를 다양한 방식으로 조합해 숨은 정보를 찾아낸다.

 

2. 표본조사에서 전수조사로: 표본을 조사하는 기존의 지식 발견 방식이 데이터 수집 비용의 감소와 클라우드 컴퓨팅 기술의 발전으로 인해 전수조사로 변화하게 된다. 이에 따라 샘플링이 주지 못하는 패턴이나 정보를 찾을 수 있게 된다.

 

3. 질보다 양으로: 데이터가 지속적으로 추가될 때 양질의 정보가 오류보다 많아져 전체적으로 좋은 결과 산출에 긍정적인 영향을 미친다는 추론에 바탕을 두고 변화된다.

 

4. 인과관계에서 상관관계로: 상관관계를 통해 특정 현상의 발생 가능성이 포착되고, 그에 상응하는 행동을 하도록 추천되는 일이 점점 늘어나 데이터 기반의 상관관계 분석이 주는 인사이트가 인과관계에 의해 미래 예측을 점점 더 압도해 가는 시대가 도래하게 될 것으로 전망된다.

 

제3절 비즈니스 모델

• 빅데이터 활용 기본 테크닉

1. 연관규칙학습은 어떤 변수들 간에 주목할 만한 상관관계가 있는지를 찾아내는 방법이다.

2. 유형분석(분류)은 문서를 분류하거나 조직을 그룹으로 나눌 때, 혹은 온라인 수강생들을 특성에 따라 분류할 때 사용한다.

3. 기계 학습은 훈련 데이터로부터 학습한 알려진 특성을 활용해 예측하는 방법이다.

4. 회귀 분석은 독립변수와 종속변수의 관계를 파악할 때 사용한다.

5. 감정 분석은 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석한다.

6. 소셜 네트워크 분석은 특정인과 다른 사람이 몇 촌정도의 관계인가를 파악할 때 사용하고 영향력 있는 사람을 찾아낼 때 사용한다.

7. 유전자 알고리즘은 최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 메커니즘을 통해 점진적으로 진화시켜 나가는 방법이다.

 

제4절 위기 요인과 통제 방안

• 위기 요인과 통제 방안

1. 사생활 침해 → 동의에서 책임으로
- 빅데이터에 의한 사생활 침해 문제를 해결하기에는 부족한 측면이 많아 좀 더 포괄적인 해결책으로 동의제를 책임제로 바꾸는 방안을 제안한다.

 

2. 책임 원칙 훼손 → 결과 기반 책임 원칙 고수
- 빅데이터 기본 분석과 예측 기술이 발전하면서 정확도가 증가한 만큼, 분석 대상이 되는 사람들은 예측 알고리즘의 희생양이 될 가능성도 올라간다. 책임 원칙 훼손 위기 요인에 대한 통제 방안으로는 기존의 책임 원칙을 좀 더 보강하고 강화한다.

 

3. 데이터 오용 → 알고리즘 접근 허용
- 빅데이터는 일어난 일에 대한 데이터에 의존하기 때문에 이를 바탕으로 미래를 예측하는 것은 적지 않은 정확도를 가질 수 있지만 항상 맞을 수는 없다. 또한 잘못된 지표를 사용하는 것도 빅데이터의 폐해가 될 수 있다. 대응책으로 알고리즘에 대한 접근권을 제공하여 알고리즘의 부당함을 반증할 수 있는 방법을 명시해 공개할 것을 주문한다.

 

제5절 미래의 빅데이터

· 데이터 사이언티스트는 빅데이터에 대한 이론적 지식과 숙련된 분석 기술을 바탕으로 통찰력, 전달력, 협업 능력을 두루 갖춘 전문 인력으로써 빅데이터의 다각적 분석을 통해 인사이트를 도출하고 이를 조직의 전략 방향 제시에 활용할 줄 아는 기획자로서 전문가 역할을 할 것으로 기대

 

제3장 가치 창조를 위한 데이터 사이언스와 전략 인사이트

제1절 빅데이터 분석과 전략 인사이트

- 빅데이터 분석도 기존의 분석과 마찬가지로, 데이터에서 가치, 즉 통찰을 끌어내 성과를 창출하는 것이 관건이며, 단순히 빅데이터에 포커스를 두지 말고 분석을 통해 가치를 만드는 것에 집중해야 한다.

- 데이터는 크기의 이슈가 아니라, 거기에서 어떤 시각과 통찰을 얻을 수 있느냐의 문제가 중요하다. 무작정 "빅"한 데이터를 찾을 것이 아니라, 비즈니스의 핵심에 대해 보다 객관적이고 종합적인 통찰을 줄 수 있는 데이터를 찾는 것이 그 무엇보다 중요하다.

- 전략적 통찰력을 가지고 분석하고 핵심적인 비즈니스 이슈에 집중하여 데이터를 분석하고 차별적인 전략으로 기업을 운영하여야 한다.
ex) 아메리칸항공, 사우스웨스트항공

- 일차적인 분석만으로는 큰 변화에 제대로 대응하거나 고객 환경의 변화를 파악하고 새로운 기회를 포착하기 어렵다.

- 일차원적인 분석을 통해 경험을 쌓고 분석의 활용 범위를 넓혀가며 전략적인 분석을 시도해야 한다.

- 사업성과를 견인하는 요소들과 차별화를 꾀할 기회에 대해 전략적 인사이트를 주는 가치기반 분석 단계로 나아가야 한다.

 

제2절 전략 인사이트 도출을 위한 필요 역량

• 데이터 사이언스의 의미와 역할
- 데이터 사이언스란 데이터로부터 의미있는 정보를 추출해내는 학문이다.

- 데이터 사이언스는 분석뿐 아니라 이를 효과적으로 구현하고 전달하는 과정까지를 포함한 포괄적 개념이다.

 

• 데이터 사이언티스트의 요구 역량

· Hard Skill

1. 빅데이터에 대한 이론적 지식: 관련 기법에 대한 이해와 방법론 습득

2. 분석 기술에 대한 숙련: 최적의 분석 설계 및 노하우 축적

 

· Soft Skill

1. 통찰력 있는 분석: 창의적 사고, 호기심, 논리적 비판

2. 설득력 있는 전달: 스토리텔링, 시각화

3. 다분야간 협력: 커뮤니케이션

- 전략적 통찰을 주는 분석은 단순 통계나 데이터 처리와 관련된 지식 외에 스토리텔링, 커뮤니케이션, 창의력, 열정, 직관력, 비판적 시각, 대화능력 등 인문학적 요소가 필요하다.