[ADsP] 데이터 이해 : 데이터의 이해

데이터의 이해 : 데이터의 이해

데이터 유형

데이터의 정의

• 개별 데이터 자체로는 의미가 중요하지 않은 객관적인 사실(Fact)
• 추론, 예측, 전망, 추정을 위한 근거(Basis)로 기능하는 특성을 갖는다.
• 다른 객체와의 상호 관계 속에서 가치를 갖음.

 

데이터 유형

정성적 데이터(Qualitative Data)

• 자료의 성질, 특징을 자세히 풀어 쓰는 방식
• 언어, 문자로 기술
  • 예) 설문 조사의 주관식 응답, SNS에 올린 글, 기상특보
• 비정형 데이터 형태로 저장
• 분석에 시간과 비용이 필요

 

정량적 데이터(Quantitative Data)

• 수치, 기호, 도형으로 표시
  • 예) 지역별 온도, 풍속, 강우량
• 데이터 양이 증가하더라도 저장, 분석이 용이

 

암묵지와 형식지

• 가장 널리 알려진 지식의 차원은 Polanyi에 의해 구분된 "암묵지와 형식지" 이다.

 

암묵지

• 학습과 체험을 통해 개인에게 습득 (현장 작업과 같은 경험을 통해 획득)
• 시행 착오와 오랜 경험을 통해 개인에게 습득된 무형 지식
  • 예) 자전거 타기
• 공유되기 어렵다.

 

형식지

• 교과서, 매뉴얼, 비디오, DB 등으로 형상화 된 지식
  • 예) 회계, 재무 관련 대차대조표에 요구되는 지식의 매뉴얼
• 외부로 표출되어 여러 사람이 공유할 수 있는 지식

 

암묵지와 형식지의 상호 작용

지식 경영

• 개인의 암묵지와 집단에서의 형식지가 나선형의 형태로 회전하면서 생성, 발전, 전환되는 지식의 발전을 기반으로 한 기업의 경영

 

암묵지, 형식지의 4단계 지식 전환 모드

• 1단계 : 공통화 (암-암) 암묵적 지식 노하우를 다른 사람에게 알려주는 것
• 2단계 : 표출화 (암-형) : 암묵적 지식 노하우를 책이나 교본 등 형식지로 만드는 것
  
• 3단계 : 연결화 (형-형) : 책이나 교본(형식지)에 자신이 알고 있는 새로운 지식(형식지)을 추가하는 것
  
• 4단계 : 내면화 (형-암) : 만들어진 책이나 교본(형식지)을 보고 다른 직원들이 암묵적 지식(노하우)을 습득
  

 

데이터와 정보의 관계

Data → Information → Knowledge → Wisdom 계층 구조

• 데이터를 가공 처리하여 얻을 수 있는 것 : 정보, 지식, 지혜

속성	설명
데이터(Data)	타 데이터와의 상관관게가 없는 가공하기 전의 순수한 수치나 기호
정보(Information)	데이터의 가공 및 상관/연관 관계 속에서 의미가 도출된 것
지식(Knowledge)	상호 연결된 정보 패턴을 이해하여 이를 토대로 예측한 결과물
지혜(Wisdom)	근본 원리에 대한 깊은 이해를 바탕으로 도출되는 아이디어

 

예 : A 마트와 B 마트에서 연필을 구입할 경우

속성	예시
Wisdom	A 마트의 다른 상품들도 B 마트보다 쌀 것이라고 판단한다.
Knowledge	상대적으로 저렴한 A 마트에서 연필을 사야 겠다.
Information	A 마트의 연필이 싸다.
Data	A 마트는 100원에, B 마트는 200원에 연필을 판매한다.

 

데이터베이스 특징

• 데이터베이스는 "통합, 저장, 공용, 변화되는 데이터" 를 특징으로 한다.

특징	설명
통합 데이터 (Integrated Data)	데이터베이스에 같은 내용의 데이터가 중복되어 있지 않다는 것
저장 데이터 (Stored Data)	자기디스크나 자기테이프 등과 같이 컴퓨터가 접근할 수 있는 저장매체에 저장되는 것
공용 데이터 (Shared Data)	여러 사용자에게 서로 다른 목적으로 데이터베이스의 데이터를 공동으로 이용되는 것
변화되는 데이터 (Changed Data)	새로운 데이터의 추가, 기존 데이터의 삭제, 갱신으로 항상 변화하면서도 항상 현재의 정확한 데이터를 유지해야 한다는 것

 

DBMS

DBMS

• 사용자와 데이터베이스 사이에서 사용자의 요구에 따라 정보를 처리해주고 데이터베이스를 관리해주는 소프트웨어

 

RDBMS

• 관계형 데이터베이스 관리 시스템
• 정형화된 테이블로 구성된 데이터 항목들의 집합체
• MySQL(오픈소스 RDBMS), Oracle Database(상용 RDBMS)
• SQL
  • RDBMS의 데이터를 관리하기 위해 설계된 특수 목적의 프로그래밍 언어
  • 챔벌린과 레이먼드 F. 보이스가 처음 개발

 

ODBMS

• 객체 지향 데이터베이스 관리 시스템
• 객체들을 생성하여 계층에서 체계적으로 정리하고, 다시 계층들을 하위 계층이 상위 계층으로부터 속성과 방법들을 물려받을 수 있는 DBMS
• 복잡한 데이터 구조를 표현 및 관리하는 DBMS

 

DD, SQL, ERD

 

728x90

 

데이터베이스 설계

• 데이터베이스 설계 절차

절차	설명
요구조건 분석	데이터베이스 사용자, 사용목적, 사용범위, 제약조건 등을 정리, 명세서 작성
개념적 설계	- E-R 모델, 정보를 추상적 개념으로 표현하는 과정 - DBMS 독립적 E-R 다이어그램 작성
논리적 설계	자료를 컴퓨터가 이해할 수 있도록 특정 DBMS의 논리적 자료 구조로 변환
물리적 설계	논리적 구조로 표현된 데이터를 물리적 구조의 데이터로 변환하는 과정

 

NoSQL

• Non-SQL, Non-Relational, Not Only SQL …
• 관계형 데이터베이스보다 덜 제한적인 일관성 모델을 이용하는 데이터의 저장 및 검색을 위한 메커니즘 제공
• 디자인 단순화, 수평적 확장성, 세세한 통제 등을 포함
• 기존의 RDBMS가 갖고 있는 특성 뿐만 아니라 다른 특성들을 부가적으로 지원

 

NoSQL 저장 방식 도구

도구	설명
MongoDB	- 데이터 교환 시 비산(BSON: Binary JSON) 문서 형태로 저장하여 여러 서버에 분 산 저장 및 확장이 용이 - 방대한 데이터 처리가 빠름. - C++로 작성됨.
Apache HBase	- 하둡 플랫폼을 위한 공개 비관계형 분산 데이터베이스 - 구글의 빅테이블(BigTable)을 본보기로 삼았으며, 자바로 쓰여짐.
Redis	- Remote Dictionary Server의 약자 - "키-값" 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터베이스 관리 시스템(DBMS)

 

기업 내부 데이터베이스 솔루션

시대별 기업 내부 데이터베이스 솔루션

1980년대 : OLTP, OLAP

솔루션	설명
OLTP	- On-Line Transaction Processing, 온라인 거래 처리 - 예) 상품주문, 회원 정보 수정 - 주 컴퓨터와 통신회선으로 접속되어 있는 복수의 사용자 단말에서 발생한 트랜잭션을 주 컴퓨터에서 처리하여 그 결과를 사용자에 되돌려 보내 주는 처리 형태
OLAP	- On-Line Analytical Processing, 온라인 분석 처리 - 예) 10년간 A사의 직급별 임금 상승률 - 다차원으로 이루어진 데이터로부터 통계적인 요약 정보를 제공할 수 있는 기술 - 다차원의 데이터를 대화식으로 분석하기 위한 SW

 

2000년대 : CRM, SCM

솔루션	설명
CRM	- Customer Relationship Management - 고객별 구매 이력 데이터베이스를 분석하여 고객에 대한 이해를 돕고,이를 바탕으로 각종 마케팅 전략을 통해 보다 높은 이익을 창출할 수 있는 솔루션
SCM	- Supply Chain Management - 제조, 물류, 유통업체 등 유통공급망에 참여하는 모든 업체들이 협력을 바탕으로 정보기술(Information Technology)을 활용, 재고를 최적화하기 위한 솔루션 - 기업이 외부 공급업체 또는 제휴업체와 통합된 정보시스템으로 연계하여 시간과 비용을 최적화 시키기 위한 것 - 자재 구매 데이터, 생산, 재고 데이터, 유통/판매 데이터, 고객 데이터로 구성

 

분야별 기업 내부 데이터베이스 솔루션 - 제조 부분

데이터 웨어하우스(Data Warehouse)

• 기업 내의 의사결정 지원 애플리케이션을 위한 정보를 제공하는 하나의 통합된 데이터 저장 공간
• ETL(추출, 변환, 적재, Extract, transform, load)
  
  • 주기적으로 내부 및 외부 데이터베이스로부터 정보를 추출하고 정해진 규약에 따라 정보를 변환한 후에 정보를 적재함
• 데이터들은 시간적 흐름에 따라 변화하는 값을 일정기간 유지
• 데이터 웨어하우스의 4대 특성

특성	설명
데이터의 통합	데이터들은 전사적 차원에서 일관된 형식으로 정의됨.
데이터의 시계열성	관리되는 데이터들은 시간의 흐름에 따라 변화하는 값을 저장함.
데이터의 주체 지향적	특정 주제에 따라 데이터들이 분류, 저장, 관리됨.
비소멸성(비휘발성)	Batch 작업에 의한 갱신이외에 변하지 않음. (빈번한 삽입, 삭제 아님)

 

데이터 마트(Data Mart)

• 전사적으로 구축된 데이터 웨어하우스로부터 특정 주제, 부서 중심으로 구축된 소규모 단일 주제의 데이터 웨어하우스
• 재무, 생산, 운영과 같이 특정 조직의 특정 업무 분야에 초점을 두고 있음

 

ERP

• Enterprise Resource Planning
• 제조업을 포함한 다양한 비즈니스 분야에서 생산, 구매, 재고, 주문, 공급자와의 거래, 고객 서비스 제공 등 주요 프로세스 관리를 돕는 여러 모듈로 구성된 통합 애플리케이션 소프트웨어 패키지

 

BI(Business Intelligence)

• 기업의 Data Wearhouse에 저장된 데이터에 접근해 경영 의사 결정에 필요한 정보를 획득하고 이를 경영활동에 활용하는 것
• 데이터를 통합/분석하여 기업 활동에 연관된 의사결정을 돕는 프로세스
• 가트너는 '여러 곳에 산재하여 있는 데이터를 수집하여 체계적이고 일목요연하게 정리함으로써 사용자가 필요로 하는 정보를 정확한 시간에 제공할 수 있는 환경'으로 정의함.
• 하나의 특정 비즈니스 질문에 답변하도록 설계

 

ad hoc report

• BI와 빅데이터 분석의 차이점을 표현한 키워드
• Optimization, forecast, insight : 빅데이터 분석 관련 키워드

 

BA(Business Analytics)

• 경영 의사 결정을 위한 통계적이고 수학적인 분석에 초점을 둔 기법
• 성과에 대한 이해와 비즈니스 통찰력에 초점을 둔 분석 방법
• 사전에 예측하고 최적화하기 위한 것으로 BI 보다 진보된 형태

 

분야별 기업 내부 데이터베이스 솔루션 - 금융 부분

블록 체인(Block Chain)

• 기존 금융회사의 중앙 집중형 서버에 거래 기록을 보관하는 방식에서 벗어나 거래에 참여하는 모든 사용자에게 거래 내용을 보내주며 거래 때마다 이를 대조하는 데이터 위조 방지 기술

 

기타

• EAI(Enterprise Architecture Integration, 기업 애플리케이션 통합)
  • 기업 내 필요한 여러 애플리케이션 간에 상호 연동이 가능하도록 통합하는 솔루션
• EDW(Enterprise Data Warehouse, 기업 데이터 웨어하우스)
• ERP(Enterprise Resource Planning, 전사적 자원 관리)
• e-CRM(electronic Customer Relationship Management, 전자 고객 관계 관리)

 

분야별 기업 내부 데이터베이스 솔루션 - 유통 부분

KMS

• Knowledge Management System
• 지식관리시스템의 약자
• 조직 내의 지식을 체계적으로 관리하는 시스템을 의미

 

RFID

• 무선주파수(RF, Radio Frequency)를 이용하여 대상을 식별할 수 있는 기술
• RF 태그에 사용 목적에 알맞은 정보를 저장하여 적용 대상에 부착한 후 판독기에 해당되는 RFID 리더를 통해 정보를 인식함.