빅 데이터(Big Data), 우리를 만들어간다

 

아마존의 수석 과학자 출신인 안드레아스 바이젠드 스탠퍼드대 교수는 “빅 데이터를 새로운 시대의 석유“로 비유하였다. ”앞으로 많은 사업 영역에서 빅 데이터를 얼마나 활용하는가가 승자와 패자를 가를 것이다.”  브랜드 가치 세계 2위 기업인 IBM CEO 버지니아 로메티의 이 말은 현실로 다가 오고 있다.

   지금은 빅 데이터 시대이다. 스마트 폰 혁명과 클라우드 데이터 스토리지 및 앱 기술의 발전으로 사람들의 일상적인 활동, 행동, 위치, 성향 등 과거에는 수집하기조차 힘들었던 미시적인 개인 정보들이 거대한 데이터 센터의 스토리지에 모이기 시작했다.  

   근간에 IT 분야에 화두가 되어온 기술들은 클라우드 스토리지, N-스크린, 클라우드 컴퓨팅, 빅 데이터 기술, 스마트/웹 앱 기술들이다. 이중에서도 가장 우리 생활과 비즈니스와 밀접하게 관련된 기술은 빅 데이터 기술일 것이다. 몇 년 전부터 스마트 폰이 등장하면서 웹 검색 엔진에 노출된 검색어들, 스마트폰의 음성 인식에 던져진 무수한 질문들, 스마트폰에 길들여진 우리가 찍고, 쓰고, 보고, 말하고, 보내고, 연결시키는 소셜 네트워크 서비스(SNS)라는 앱을 통해 하나 둘 우리 주변의 데이터를 끌어 모으기 시작했다. 데이터가 집중되는 속도는 엄청나게 빨라졌으며, 대량화되어 거미줄같이 흩어진 데이터 센터로 집결되고 있다. 

   이렇게 대량으로 모여지는 데이터의 중요성을 주시한 빅 데이터 마이닝(Mining) 글로벌 기업들은 인력과 조직과 기술력을 동원하여 모아진 데이터를 분석하여 데이터 생산자의 특성과 성향과 배경 등 비즈니스에 유용한 정보를 추출하기 시작했고, 심지어 실물 움직임을 추적하고 관리하는 영역과 더 나아가 가치 사슬 전체의 효율성 제고영역까지 훤히 들여다보게 되었다. 이같은 비즈니스 경영적인 생산성뿐 아니라 고급 데이터 마이닝 기술을 적용해 문제 해결, 의사 결정, 새로운 가치 창출 등 우리가 만들어 낸 빅 데이터들이 모여 우리를 재 창조하고 제어하려고 하고 있다. 

   이제 빅 데이터가 빅 브라더(Big Brother)가 되어 우리를 지배할 날도 점점 가까워지고 있다. 데이터를 생산하고 소비하는 수준에서 분석 처리된 정보를 사용하여 우리를 제어하고 지배하려는 빅 브라더의 등장은 개인 정보의 노출로 인해 정보 보호에 대한 더 높은 관심과 대책이 요구되어 진다. 이젠 나에 대한 정보가 하나 둘씩 빅브라더의 데이터 저장 창고에 보관되어 언제라도 우리를 위협하는 수단으로 작용될 수도 있고 훌륭한 의사 결정에 백 데이터로 작용할 수도 있다. 

   다가 올 빅 데이터 충격은 아이폰의 등장으로 시작된 스마트 폰 혁명 이상의 거대한 패러다임으로 인식되고 있다. 구글, 아마존, 애플, 페이스북, 트위터 등 빅 데이터의 중요성을 인지한 글로벌 기업들은 핵심 서비스를 무료로 제공하면서 그 대가로 천문학적인 양의 데이터를 축적하고 있다. IT 강국인 한국이 한국을 지키기 위해서는 빅 데이터를 다룰 수 있는 지식과 인력 기반을 키우는데 대기업뿐만 아니라 정부 차원의 지원이 요구된다. 국내 대기업들도 서비스를 개선하고 신제품을 개발하는데 유용하게 활용하기 위하여 눈 빅 데이터 분석에 적극 나서기 시작했다. 

   빅 데이터 시대를 살아가는 우리는 빅 데이터가 우리를 조종하기 전에 우리가 빅 데이터를 모으고, 마이닝해야한다. 빅 데이터를 모으고 분석하는 기술이 곧 기업의 힘이고 국가 경쟁력이 된다.