[쉬운IT]Big Data의 이해 - 1. DT시대와 Big Data

 

[쉬운IT] Big Data의 이해 - 1.DT 시대와 Big Data

 

연관 게시물 :

 

 이번 회사에서의 BIG DATA분석 및 활용 강의를 듣고 정리한 것을 토대로 작성한 자료입니다.

 

 벌써 인턴들이 들어와서 교육 받던데 벌써 5년전이라는게 놀랍네요. 시간이 정말 빠르긴 빠릅니다.

 

 그럼 이제 오늘 BIG DATA에 대해서 알아보도록 하겠습니다.

 

   1. DT 시대의 도래

 

  지난 6월 9일 마윈(알리바바 회장)은 연설에서 

세상은 지금 IT(정보기술)시대에서 DT(Data Technology:데이터기술)시대로 가고 있다.

IT시대는 자기제어와 자기관리를 위주로 한다면 DT시대는 대중 서비스와 생산력 촉발을 위주로 하게 된다"며 

"양자 사이에 특정한 기술적 차이가 있는 것처럼 보이지만 사실은 사고관념 측면의 차이"라고 말했다. 

그러면서 "미래의 경쟁은 더 이상 전력과 같은 에너지를 확보할 수 있는 구역을 갖기 위해 다투는 것이 아니라

 인재와 혁신가치를 둘러싼 경쟁이 될 것"이라며 

"갖고 있는 데이터로 사회에 얼마나 많은 가치를 창출해 내느냐가 중요'하다고 언급하였다.

  즉 세상은 Forbes가 분석한 것처럼 엄청난 데이터의 홍수 속에 살고 있다. 

  

  스토리지 전문기업인 EMC가 발표한 자료에 따르면, 2011년에 전 세계에서 생성된 디지털 데이터의 양은 1.8 제타바이트(ZB)라고 하는데요.

 

  이는 우리나라 전 국민이 18만년 동안 쉬지 않고, 1분마다 페이스북에 글을 3개씩 게시하는 데이터라고 생각하시면 됩니다.

 

이러한  데이터의 홍수가 발생하게 된 이유는 무엇일까요?

 

    <포브스 기사 링크>

 

  그 이유는 예전에는 기록되지 않던 사람들의 생활이 데이터로 남기 시작했기 때문이다.

 

  즉 우리가 생활하면서 기록되는 교통카드, 웹사이트, 앱, 신용카드 등의 기록이 Data로 기록되기 시작한 것이다.

 

 그리고 우리의 삶속에서 어렵지 않게 그 Data를 활용한 서비스들을 찾아볼 수 있는데요.

 

  H사의 My Menu 라던지 시럽, 그리고 구글 애드센스 등 한번쯤 스마트폰을 사용하면서 접해보셨을 거에요.

 

 

  2. 빅데이터란 무엇일까?

 

  그럼 이런 빅데이터는 어떻게 정의가 되어있을까요?

 Big data is a broad term for data sets so large or complex that traditional data processing applications are inadequate.

                                                                                                                               위키디피아

 위키에서는 기존에 사용하던 방법으로 처리하기 힘든 크고 복잡한 Data Set이라고 정의 하였고

 

 또 많이 인용되는 Gartner의 3V

 

  1) Volume

    수십 수백 Tera/Peta가 넘는 방대한 용량

  2) Velocity 

    데이터의 생산, 저장, 유통, 수집, 분석이 실시간으로 처리

  3)Variety

    기존의 RDBMS(관계형DBMS)에서 처리가 불가능한 비정형의 데이터, 카톡 메시지/유투브 시청 등의 데이터는 

   어떤 방향성이나 테이블로 정리하기가 쉽지 않습니다.

 

  빅데이터 초기에는 빅데이터=하둡이라는 공식이 거의 정형화되었는데,  여기에 마케팅 적인 개념이 추가되어 

 

Big Data라는 의미는 점점 추상적으로 변화되었습니다.

  

 즉 빅데이터 분석을 통한 서비스 까지도 Big Data라는 의미에 포괄적으로 수용되면서 점점 의미가 복잡해지는 것이죠.

 

 이 복잡한 빅데이터의 개념중에서 가장 중요한 2개 단어로 정의한다면, 기술과 분석이라고 할 수 있는데요.

 

  즉 위의 엄청난 빅데이터를 저장/처리/분류 할수 있는 하둡이나 GFS와 같은 기술 그리고 이러한 데이터를 분석할 수 있는

 

 Spark/Hive/R등의 분석 툴들을 Big Data라고 할 수 있다는 것이죠.

 

 3. DT 시대와 Big Data의 연관성

 

   그럼 왜 DT시대가 도래하게 되었을까요?

  

   크게 컴퓨터와 통신의 발달이 가장 큰 요인이라고 할 수 있습니다.

 

   예전에는 컴퓨터가 정말 건물크기였다면, 이것이 점점 데스크톱 -> 랩톱 -> 태블릿 등으로 점점 소형화 되더니

 

  올해 CES에는 인텔이 쿼리라는 초소형 PC를 공개하였습니다. 크기는 점점 작아지고 비용은 점점 저렴해지는 것이죠.

 

  두번째는 통신의 발전을 들수 있는데요. 

 

   2004년에는 6.5원/0.5KB      -> 2014년에는 0.01원/0.5KB로  물가 상승률을 고려하지 않더라도 약 650배 저렴해 진 것을 알 수 있습니다.

   

  즉 이를 통해 우리가 스마트 기기라고 불리우는 각각의 기기(Ex, 전등, 웨어러블, 핸드폰, 홈오토메이션) 등에서 네트워크와 컴퓨터를 품게 되고 이들 센서에서

 

 엄청난 양의 데이터를 생산해내기 시작합니다.

 

  어디서 많이 들어본 개념이 아닌가요? 맞습니다. 바로 IOT 개념이 여기에 등장하게 됩니다.

 

  

  

 오늘 알아본 것을 정리해보면

 

 컴퓨터와 통신의 발전으로 인해 Network 기기가 증가 -> 이들이 보내는 DATA가 폭발적으로 증가 -> 이 데이터를 처리/분석할 기술이 요구됨 -> DT 시대의 도래

 

라고 정리 할 수 있는데요.

 

  글 재주가 부족해서 엄청 장황하게 정리한 것 같네요.

 

 다음 시간에는 빅데이터 그 자체라고 불리우는 하둡에 대해서 알아보도록 하겠습니다.