본문내용
1. 데이터 이해
1.1. 데이터의 유형
정성적 데이터와 정량적 데이터는 각각 고유한 특성과 활용방식이 존재한다. 정성적 데이터는 언어와 문자로 표현되므로 저장, 검색, 분석에 많은 비용이 소모된다. 반면 정량적 데이터는 수치, 도형, 기호로 표현되어 간단히 정형화되어 있어 비용이 적게 든다. 정량(양)으로 표현되므로 정량적 데이터라고 한다.
데이터는 정형, 반정형, 비정형의 세 가지 유형으로 구분된다. 정형 데이터는 관계형 데이터베이스나 CSV 파일과 같이 형식이 정해져 있는 데이터이다. 반정형 데이터는 눈으로 봤을 때 무슨 정보인지 모호한 데이터로, 한 번의 변환이 필요하다. 비정형 데이터는 소셜 데이터나 영상, 이미지와 같이 형태가 정해져 있지 않은 데이터이다.
데이터는 암묵지와 형식지로 구분된다. 암묵지는 매뉴얼화되어 있지 않고 개인에게 체화되어 있어 겉으로 드러나지 않은 지식이다. 반면 형식지는 문서나 매뉴얼화된 지식으로, 언어, 숫자, 기호로 표출화되어 있다.
데이터의 단위로는 1바이트(byte), 1킬로바이트(KB), 1메가바이트(MB), 1기가바이트(GB), 1테라바이트(TB), 1페타바이트(PB), 1엑사바이트(EB), 1제타바이트(ZB), 1요타바이트(YB) 등이 사용된다. 이들 단위는 1024배씩 증가한다.
데이터베이스의 특징은 통합된 데이터, 저장된 데이터, 공용 데이터, 변화되는 데이터이다. 데이터베이스 설계 절차는 요구사항 분석, 개념적 설계, 논리적 설계, 물리적 설계이다.
기업 내부 데이터베이스로는 OLTP, OLAP, CRM, SCM, ERP, BI 등이 있다. OLTP는 데이터를 수시로 갱신하는 프로세싱이고, OLAP는 다차원 데이터를 대화식으로 분석한다. CRM은 고객 관련 데이터를 분석해 마케팅에 활용하고, SCM은 공급망 단계를 최적화해 고객을 만족시킨다. ERP는 기업 전체의 경영자원을 통합적으로 관리하고, BI는 기업 데이터를 정리 분석해 의사결정에 활용한다.
DBMS는 데이터베이스를 공유하고 관리할 수 있는 환경을 제공하는 소프트웨어이다. 관계형 DBMS는 테이블로 데이터를 정리하고, 객체지향 DBMS는 객체(이미지, 영상)로 정리한다. SQL은 데이터베이스에 접근할 수 있는 데이터베이스 언어로, 집계 함수 중 COUNT()는 수치형과 문자형 데이터 모두에 사용할 수 있다.
빅데이터는 Volume(양), Variety(다양성), Velocity(속도), Value(가치)의 4V로 특징지어진다. 클라우드 컴퓨팅 기술은 빅데이터 분석에 경제성을 제공했다. 빅데이터에 거는 기대는 산업혁명의 석탄/철, 21세기 원유, 렌즈, 플랫폼 등으로 비유된다. 빅데이터 시대에는 사전 처리보다는 사후 처리가, 표본조사보다는 전수조사가, 질에서 양으로의 전환이 일어난다. 하지만 빅데이터의 가치를 선정하기 어려운 이유는 데이터를 재사용하거나 재조합하면 언제 어디서 누가 활용할지 알 수 없고, 새로운 가치를 창출하기 때문이다.
빅데이터 활용 기술에는 연관규칙 학습, 유형 분석, 유전자 알고리즘, 회귀분석, 감정 분석 등이 있다. 빅데이터 시대의 위기 요인으로는 사생활 침해, 책임 원칙 훼손, 데이터 오용 등이 있다.
빅데이터 활용을 위해서는 데이터, 기술, 인력의 3요소가 필요하다. 데이터 사이언스는 데이터와 관련된 모든 분야의 전문지식을 종합한 학문으로, 분석적 영역, IT, 비즈니스 분석 능력이 요구된다. 데이터 사이언티스트에게는 하드 스킬(이론, 분석 기술)과 소프트 스킬(통찰력, 협력 능력, 설득력 있는 전달)이 필요하다.
개인정보 비식별화 기술에는 데이터 마스킹, 가명처리, 총계처리, 범주화 등이 있다. 하둡은 여러 대의 컴퓨터를 묶어 대용량 데이터를 처리하는 기술이다. 데이터 웨어하우스는 의사결정을 지원하는 통합적이고 시간성 있는 비휘발성 데이터의 집합체이다.
1.2. 데이터베이스의 특징
데이터베이스의 특징은 다음과 같다. 통합된 데이터로 이루어져 중복된 내용이 없으며, 컴퓨터가 접근할 수 있는 저장 매체에 저장되어 있다. 또한 여러 사용자가 데이터를 공동으로 이용할 수 있으며, 새로운 데이터가 삽입되거나 기존 데이터가 삭제 및 갱신되어 항상 변화하는 특징을 가지고 있다. 데이터베이스 설계 절차는 요구사항 분석, 개념적 설계, 논리적 설계, 물리적 설계 순으로 진행된다. 데이터베이스는 사용 목적에 따라 OLTP, OLAP, CRM, SCM, ERP, BI 등 다양한 유형으로 활용된다. 통계적 분석을 바탕으로 한 데이터 기반 의사결정은 경험과 감에 따른 직관적 의사결정에 비해 합리적이며, 프레이밍 효과, 고정관념, 편향된 생각 등의 장애요소를 극복할 수 있다. 데이터 분석을 위한 방법론에는 폭포수, 나선형, 프로토타이핑 모델 등이 있으며, 분석 거버넌스의 주요 구성 요소로는 조직, 프로세스, 시스템, 데이터, 인력 역량 육성 체계 등이 있다. 분석 수준 진단 시 고려해야 할 영역은 비즈니스, IT, 조직 및 역량 부문이다.
1.3. 기업 내부 데이터베이스
기업 내부 데이터베이스는 기업이 내부적으로 보유하고 있는 데이터베이스를 의미한다. 이는 주로 기업의 주요 업무 프로세스와 관련된 데이터들을 통합 관리하여 기업의 주요 의사결정을 지원하는 역할을 한다.
기업 내부 데이터베이스는 다음과 같은 특징을 가진다. 첫째, 온라인 거래 처리(OLTP: On-Line Transaction Processing) 시스템으로, 데이터베이스의 데이터를 실시간으로 수시로 갱신한다. 둘째, 다양한 업무 프로세스의 데이터를 통합하여 관리함으로써 기업의 전사적 자원을 효율적으로 활용할 수 있게 해준다. 셋째, 기업의 핵심 거래 데이터를 저장하고 관리하여 고객 관리, 공급망 관리, 기업 자원 관리 등 기업의 주요 의사결정을 지원한다.
기업 내부 데이터베이스의 대표적인 사례로는 고객관계관리(CRM: Customer Relationships Management), 공급망관리(SCM: Supply Chain Management), 기업자원관리(ERP: Enterprise Resource Planning) 시스템 등이 있다. CRM은 고객과 관련된 내·외부 자료를 분석하여 고객 중심 자원을 극대화하고 효율적인 마케팅에 활용하는 시스템이다. SCM은 공급망 단계를 최적화하여 고객을 만족시키는 시스템이다. ERP는 기업 전체를 경영자원의 효과적 이용이라는 관점에서 통합적으로 관리하고 경영의 효율화를 기하기 위한 시스템이다.
또한 BI(Business Intelligence)는 기업이 보유하고 있는 데이터를 정리하고 분석하여 의사결정에 활용하는 도구이며, BA(Business Analytics)는 데이터 통계를 기반으로 성과와 비즈니스 통찰력에 초점을 둔 방법이다. 이처럼 기업 내부 데이터베이스는 기업의 핵심적인 정보자산을 관리하고 활용하는 기반이 된다. 기업은 이를 통해 경쟁력을 강화하고 새로운 비즈니스 기회를 창출할 수 있다.
1.4. DBMS(Data Base Management System)
DBMS(Data Base Management System)는 데이터베이스를 공유하고 관리할 수 있는 환경...
