본문내용
1. 데이터 이해
1.1. 데이터의 유형
정성적 데이터와 정량적 데이터는 데이터의 유형에 따라 구분된다. 정성적 데이터는 언어나 문자로 표현되는 데이터이고, 정량적 데이터는 수치, 도형, 기호로 표현되는 데이터이다. 정성적 데이터는 저장, 검색, 분석에 많은 비용이 소모되지만, 정량적 데이터는 간단히 정형화되어 있어 비용이 적게 든다.
또한 데이터는 정형 데이터, 반정형 데이터, 비정형 데이터로 구분된다. 정형 데이터는 관계형 데이터베이스나 CSV 형식의 데이터와 같이 형태가 정해져 있는 데이터이다. 반정형 데이터는 센서 데이터와 같이 눈으로 봤을 때 무슨 정보인지 알 수 없는 데이터로, 한 번의 변환이 필요하다. 비정형 데이터는 소셜 데이터, 영상, 이미지와 같이 형태가 정해져 있지 않은 데이터이다.
데이터에는 암묵지와 형식지가 있다. 암묵지는 매뉴얼화되어 있지 않고 개인에게 체화된 지식으로, 김치 담그기나 자전거 타기와 같은 개인의 내면화된 지식이다. 형식지는 문서나 매뉴얼화된 지식으로, 교과서나 비디오 등의 언어, 숫자, 기호로 표현된 지식이다. 이처럼 데이터는 정성적, 정량적 유형과 정형, 반정형, 비정형 유형으로 구분되며, 암묵지와 형식지로 나눌 수도 있다.
1.2. 정형 및 비정형 데이터
정형 및 비정형 데이터는 데이터의 형태와 구조에 따라 구분된다. 정형 데이터는 관계형 데이터베이스나 CSV 파일과 같이 형식이 정해져 있는 데이터이다. 반면 비정형 데이터는 소셜 데이터, 영상, 이미지와 같이 형태가 정해져 있지 않은 데이터를 의미한다. 또한 반정형 데이터는 센서 데이터와 같이 일정한 형태는 있지만 한번의 변환이 필요한 데이터를 말한다.
정형 데이터는 수치, 도형, 기호 등으로 표현되어 비용이 적게 들고 관리가 용이하다. 반면 비정형 데이터는 언어나 문자로 표현되어 저장, 검색, 분석에 많은 비용이 소모된다. 정형 데이터는 정량적인 분석이 가능하지만 비정형 데이터는 정성적인 분석이 필요하다.
데이터의 형태뿐 아니라 데이터가 가지고 있는 지식의 형태에 따라 데이터를 구분할 수 있다. 암묵지는 매뉴얼화되어 있지 않고 개인에게 내재화된 지식을 의미하며, 형식지는 문서나 매뉴얼화된 지식을 말한다. 이러한 데이터의 유형에 따라 데이터의 관리와 활용 방식이 달라질 수 있다.
데이터의 단위와 구조 측면에서는 데이터가 디지털 형태로 저장되며 다양한 단위로 표현된다. 단일 바이트부터 요타바이트까지 크기 단위가 존재하며, 이러한 단위는 데이터의 양을 정량적으로 나타낼 수 있다. 또한 데이터는 개체, 속성, 관계 등의 구조를 가지고 있어 데이터베이스로 관리된다.
데이터베이스는 중복된 데이터가 없고, 여러 사용자가 공동으로 이용할 수 있으며, 항상 최신의 정확한 데이터를 유지한다는 특징을 가진다. 데이터베이스 설계 절차는 요구사항 분석, 개념적 설계, 논리적 설계, 물리적 설계 순으로 진행된다.
기업 내부에서 사용되는 대표적인 데이터베이스 유형에는 OLTP, OLAP, CRM, SCM, ERP, BI, BA 등이 있다. OLTP는 데이터베이스의 실시간 갱신을 처리하고, OLAP는 다차원 데이터를 대화식으로 분석한다. CRM은 고객 관련 데이터를 분석하여 마케팅에 활용하고, SCM은 공급망 최적화를 통해 고객 만족을 높인다. ERP는 기업 전체의 경영자원을 통합적으로 관리하며, BI와 BA는 데이터를 정리하고 분석하여 의사결정을 지원한다.
데이터베이스 관리 시스템(DBMS)은 데이터베이스를 공유하고 관리할 수 있는 소프트웨어를 말한다. 관계형 DBMS는 데이터를 표로 정리하고, 객체지향 DBMS는 이미지나 영상 등 객체 단위로 데이터를 저장한다. 데이터베이스 언어인 SQL은 데이터베이스에 접근할 수 있는 언어로, 주로 집계 함수를 사용한다.
빅데이터는 데이터의 양(Volume), 다양성(Variety), 속도(Velocity), 가치(Value) 등 4V 특성을 가진다. 클라우드 컴퓨팅 기술은 빅데이터 분석의 경제성을 높여주었다. 빅데이터는 산업 혁명의 원유나 렌즈와 같이 혁신적인 변화를 가져올 것으로 기대된다. 그러나 데이터 가치 선정의 어려움, 사생활 침해, 데이터 오용 등의 위험요인도 존재한다. 빅데이터 활용을 위해서는 데이터, 기술, 인력 등 3요소가 필요하다.
데이터 사이언스는 정형, 비정형 데이터를 포함한 모든 데이터를 종합적으로 다루는 학문이다. 데이터 사이언티스트에게 필요한 역량은 분석 기술(하드 스킬)과 통찰력, 협력 능력, 설득력 등의 인문학적 능력(소프트 스킬)이다.
개인정보 비식별화를 위해 데이터 마스킹, 가명처리, 총계처리, 데이터 값 삭제, 데이터 범주화 등의 기법이 활용된다. 하둡은 대용량 데이터 처리를 위한 분산 컴퓨팅 기술이며, 데이터 웨어하우스는 의사결정을 지원하는 비휘발성 데이터의 집합체이다.
1.3. 암묵지와 형식지
암묵지는 개인에게 체화되어 있어 겉으로 드러나지 않는 지식이다. 이는 메뉴얼화되어 있지 않고 개인의 경험과 실천을 통해 습득된다. 예를 들어 김치를 담그는 법, 자전거를 타는 법 등이 이에 해당한다. 이러한 암묵지는 개인에게 내재화되어 있기 때문에 전달하기 어려우나, 조직 내에서 공유하여 집단의 지식으로 만드는 과정이 필요하다.
반면 형식지는 문서나 매뉴얼 등을 통해 언어, 숫자, 기호로 표현된 명시적인 지식이다. 이는 개인의 내재적 지식을 외부로 표현한 것으로, 교과서나 동영상 등의 형태로 존재한다. 형식지는 개인의 지식을 공유하고 전달하는데 용이하다. DIKW 모형에서 데이터가 정보로, 정보가 지식으로 변환되는 과정에서 암묵지와 형식지의 상호작용이 중요한 역할을 한다. 데이터가 정보로 변환되는 과정에서 암묵지가 전환되며, 정보가 지식으로 변환되는 과정에서 형식지가 생성된다. 따라서 데이터가 실제 활용되기 위해서는 암묵지와 형식지의 균형있는 발전이 중요하다.
1.4. 데이터의 단위와 구조
데이터의 단위는 비트(bit), 바이트(byte), 킬로바이트(KB), 메가바이트(MB), 기가바이트(GB), 테라바이트(TB), 페타바이트(PB), 엑사바이트(EB), 제타바이트(ZB), 요타바이트(YB)와 같이 단계적으로 증가한다. 1바이트는 8비트로 구성되며, 1킬로바이트는 1024바이트, 1메가바이트는 1024킬로바이트, 1기가바이트는 1024메가바이트, 1테라바이트는 1024기가바이트, 1페타바이트는 1024테라바이트, 1엑사바이트는 1024페타바이트, 1제타바이트는 1024엑사바이트, 1요타바이트는 1024제타바이트이다. 이처럼 데이터의 단위는 끊임없이 증가하고 있으며, 이는 데이터의 양이 급격하게 늘어나고 있음을 보여준다.
데이터의 구조는 크게 정형 데이터와 비정형 데이터로 구분할 수 있다. 정형 데이터는 관계형 데이터베이스나 CSV 파일과 같이 구조화된 형태의 데이터를 의미하며, 각 데이터 항목의 의미와 속성이 명확하게 정의되어 있다. 반면 비정형 데이터는 문서, 이미지, 동영상, 소셜미디어 데이터와 같이 구조화되지 않은 형태의 데이터를 말한다. 비정형 데이터는 정형 데이터에 ...
1
2
3
4
5
6
7
8
9
10
11
12
13