데이터 사이언티스트,미래를 열어갈 신대륙 탐험가들

영역 세분화와 함께 지속적인 수요 예상

통계/수학 분석가, 프로그래머, 시각화 전문가 등이 모여 협업화 추세

지식사회의 도래가 갖는 의미는 무엇일까? 지나간 경우를 돌이켜 보면, 철기시대의 철 광산을 둘러싼 세력 다툼과 철제 무기가 가져온 정복전쟁과 같은 재앙은 이전에는 유래가 없었다. 고구려의 번영 이면에는 질 좋은 철 광산이 있었다. 아메리카 대륙 발견은 은광을 둘러싼 세력 재편이 따랐고, 아시아의 비단과 향신료를 둘러싼 치열한 다툼에서부터 비교적 최근 석유 전쟁에 이르기까지 시대를 대표하는 핵심 자원이 존재했다. 핵심 자원을 획득한 집단은 권력과 부를 누렸고, 획득에 실패한 집단은 깊은 쇠퇴에 접어들었다.

데이터 신대륙을 향하여

앞으로는 무엇이 핵심 자원이 될까? 디지털의 시대를 깊이 파고 들어가 보면 ‘데이터’라는 자원이 있다. 데이터 시대의 도래와 함께 새로운 전문가 집단으로 급부상하고 있는 데이터사이언티스트는 어떤 사람일까? 대항해 시대를 열어 세계의 헤게모니를 동양에서 서양으로 옮기는 데에 결정적인 역할을 한 크리스토퍼 콜럼버스와 같은 역할을 맡은 사람이 아닐까? 이는 수렵과 채집에서 농업, 제조업, 금융?유통 등 서비스업을 거친 발전의 궤적을 보아도 이는 당연한 도출이다. “정보 지시사회에서 데이터는 산업사회 시대의 연료와 같다.” 데이터를 둘러싼 그럴듯한 소개문구가 이제는 낯설지도 않다 인터넷이 대중화되기 전인 1995년을 전후에는 메인프레임 컴퓨터에서 벗어나 PC LAN과 유닉스 서버로 대표되던 클라이언트/서버 다운사이징 열풍은 인터넷의 폭풍과 함께 기억 속으로 살아졌다. 오라클 같은 RDB로 구축하는 클라이언트/서버 환경은 전통적인 계정계 업무 전산화의 표준으로 이미 정착됐다.

변화

다시 2000년 이후 모바일과 소셜 네트워크 서비스 현상은 다시 20년 전의 ‘데이터’로 세상의 관심을 이동시켰다. 다만 과거처럼 제한된 컴퓨팅 성능에 제한된 스토리지 공간의 한계를 염두에 둔 접근이 아니었다. 이러한 데이터 중심의 변화 현상은 메인프레임과 클라인언트/서버, 인터넷 열풍을 주도했던 글로벌 IT 벤더들이 주도하지도 않았다.

야후, 구글, 아마존, 페이스북 등 일반인에게도 친숙한 서비스 업체가 데이터 시대의 IT를 도하고 있다. 이 회사들은 전통적인 처리 방법으로는 폭발적으로 늘어나는 데이터를 처리할 수 없어서 관점을 달리한 접근을 하기 시작했다. 새로운 시도는 빅데이터를 대표하는 하둡 등 분산처리 기술을 탄생시켰다. 내부에서 가능성이 확인된 빅데이터 기술은 오픈소스로 공개되기 시작했다. 과거처럼 대형 IT 벤더로부터 비싼 장비와 RDB 같은 시스템 소프트웨어를 구입하지 않고도 구축해 볼 수 있는 문이 열린 것이다.

데이터를 중심으로 바뀌는 HW와 SW

오픈소스라는 점과 구글이나 야후, 아마존, 페이스북 같은 서비스 업체들이 빅데이터를 주도하자 IBM, HP, 마이크로소프트, 오라클, EMC 같은 글로벌 IT 벤더들도 빅데이터를 외치기 시작했다. 자사의 시스템 환경에서 하둡을 최적으로 수용하거나 최적화한 상용 제품을 내놓기에 이르렀다. 경쟁상대로 여기지 않았었던 구글이나 아마존 등을 경쟁 상대로 인식하기 시작한 것이다.

소프트웨어 중심으로 펼쳐지던 빅데이터 현상은 플래시 스토리지, 오라클 엑사데이터 같은 DB 어플라이언스 등의 초고성능 하드웨어를 등장하는 견인차 역할을 했다. 더 나아가 HP는 전통적인 컴퓨터와는 다른 빅데이터 시대에 맞는 컴퓨터 출시 계획을 발표했다. ‘머신(The Machine)’ 프로젝트가 그것이다. 머신은 빅데이터 물결이 도래함 ....