"데이터 사이언티스트 각광 받을 것"
"데이터 사이언티스트 각광 받을 것"
  • 박주연 기자 (jooyun4972@the-pr.co.kr)
  • 승인 2012.02.24 10:24
  • 댓글 0
이 기사를 공유합니다

제7회 어드밴스드 컴퓨팅 컨퍼런스②


<패ㆍ널ㆍ토ㆍ론>

기조 연설 후 이어진 패널 토론에서는 빅데이터 분석을 위한 데이터 사이언티스트의 역할과 빅데이터 분석 시장의 전망에 대해 논의가 진행됐다.

한국외대의 최대우 교수가 발제와 진행을 맡았고, 투이컨설팅 김인현 대표, 테라데이타의 김은생 전무, 한국전자통신연구원(ETRI) 황승구 소장 등 빅데이터 전문가들이 패널로 초청됐다. 다음은 진행자와 패널들 간의 질의응답 내용이다.

Q. 3V로 요약되는 ‘빅데이터’, 어떻게 정의하는가?

김 대표: 컨설팅사의 관점에서 가장 큰 관심은 ‘누가 고객인가’이다. 이런 관점에서 보면 빅데이터는 기업 또는 기관이 만들고 보유하고 있는 데이터로 한정할 수 있다. 정부 기관의 오프 데이터를 민간 차원에서 활용해서 수익 창출로 이어지는 경우가 많기 때문이다.

반면 개인에 의해 만들어진 정보는 주로 소셜 미디어에 한정되기 때문에 소셜 데이터로 구분한다. 또 두 번째 정의는 현재 우리가 가지고 있는 IT 기술과 기업 인프라로는 처리해낼 수 없어 새로운 대응 방식이 필요한 데이터라는 것이다.

김 전무: 테라데이터에서는 빅데이터를 관계형 데이터(relational data)와 비관계형 데이터(non-relational data)로 구분한다. 기존 관계형 데이터 SQL로 분석해왔는데 테라데이터에서는 새롭게 제시된 비관계형 데이터에 대해서 어떤 새로운 방법으로 접근할 것인지를 고민하고 있다.

또 정보수명주기관리(IML) 관점에서 정보의 증가량과 스토리지(storage)의 한계로 인해 생기는 격차를 극복할 방안에 대해서도 생각해봐야 한다.

황 소장: ETRI 빅데이터 소프트웨어 연구소에서 빅데이터에 대한 연구가 진행되고 있다. 정부 차원에서는 빅데이터의 분석을 수직적인 정보의 활용 대신 부처간 수평적인 정보의 활용을 이끌어내는데 활용하고자 한다.

또 재난관리와 같은 국가 차원의 개입이 필요한 이슈에 대해 즉각적으로 대응하는 능력 함양을 기대하고 있다. 미래에는 빅데이터를 중심으로 한 슈퍼스케일, 슈퍼스마트, 슈퍼컨버전스 시대로의 발전을 예상하고 있다.

Q. 과거의 BI와 미래의 애널리틱스, 어떻게 다른가?

최 교수: 데이터 분석은 표면적으로 데이터 마이닝과 비슷한 개념으로 보인다. 기존의 BI(Business Intelligence)의 마이닝과 미래 빅데이터 애널리틱스는 어떤 차이가 있는지 설명 부탁드린다.

김 대표: 과거 BI(Business Intelligence)는 높은 투자액에도 불구하고 실제로 사내에서 활용하고 있는 사용자수가 극히 제한적이라는 한계를 갖고 있었다. 또 전통 BI 방식은 현재의 문제 발생 시점과 분석 이후 적용 시점까지 소요되는 시간이 너무 길었다.

실질적인 관련성(relavance)이 떨어지는 소비자 분석도 문제였다. 고객의 이용 빈도와 실제의 충성도가 항상 비례하지만은 않음에도 불구하고 수치적인 기준을 통해서만 분석했기 때문이다. 최근에는 이러한 문제를 해결하는 애널리틱스 사례가 속속 등장하고 있다.

김 전무: 빅데이터를 분석하는 애널리틱스가 과거의 BI 분석툴을 대체하지는 않을 것이다. 기존에 있던 데이터를 SQL(데이터베이스에 접근할 수 있는 데이터베이스 하부 언어)로 분석하되, 데이터 중에서 SQL 등 기존 분석툴을 적용하기 어려웠던 것들을 하둡(Hadoop), NoSQL 등의 새로운 빅데이터 분석 기법으로 새롭게 분석하는 것이다.

기존의 분석툴과 새로운 기술을 병행하는 것이지, 기존의 BI와 애널리틱스가 하나로 통합되지는 않을 것이다.


Q. 데이터 사이언티스트(Data scientist), 이런 능력이 필요하다

황 소장: 데이터 사이언티스트는 ‘데이터의 흐름을 파악하고 수집, 분석해서 새로운 가치를 창출하는 이’라고 정의할 수 있다. 세미프로 분석가와 아마추어 분석가가 만들어진 기술을 활용하는 수준에 그치는 것과 비교해서 데이터 사이언티스트는 주도적으로 데이터 분석을 이끌어야 한다.

또 기존의 정보 분석은 단순히 과거의 사건을 분석하고 확률을 통해 예측하는 것이었다면, 미래에는 통찰력을 갖고 ‘왜?’라는 의문에 대한 원인을 밝히고 예측하는 것이 요구될 것이다. 이런 면에서 데이터 사이언티스트는 어떻게 데이터를 융합해서 새로운 가치를 창출할 것인지 구상해낼 줄 아는 능력을 갖춰야 할 것이다.

김 대표: 데이터 사이언티스트의 키워드는 '사이언스(science)'다. 과거에는 좋은 전략을 갖고 있는 기업, 중앙관리자가 운영을 잘하는 기업이 경영을 잘하는 기업으로 평가받았다. 즉사람이 하는 의사결정에 따라 평가받은 것이다.

하지만 이제는 과학적 이론을 토대로 분석하고 의사결정을 내리는 경영으로 바뀌었다. 과학적 방법론, 통계적 모델링, 다양한 데이터의 핸들링, 또 기업의 비즈니스 모델이 외부와 어떤 커뮤니케이션을 통해 성장하는지를 이해하고 있어야 데이터 사이언티스트라고 할 수 있을 것이다.

김 전무: 시행착오를 통해 성공을 이끌어 낼 수 있어야 한다. 앞으로는 데이터 사이언티스트에서 한단계 더 나아가 데이터 아티스트를 요구하는 시대가 온다. 기술적인 데이터 관리와 분석력도 중요하지만, 분석의 결과와 인사이트를 실제 비즈니스 운영에 어떻게 적용할 것인지까지 판단하는 것이 데이터 사이언티스트의 역할이라고 본다.

Q. 빅데이터의 미래, 거품인가?

최 교수: 빅데이터에 대한 관심이 정점을 향해 가고 있는데, 한 조사업체에서 빅데이터 관련 프로젝트의 80% 이상이 실패할 거란 전망을 내놨다. 반면 다보스포럼에서는 빅데이터의 중요성이 언급됐다. 앞으로 빅데이터 관련 연구 및 산업이 어떻게 진행될 것으로 전망하나?

황 소장: 빅데이터는 스마트 혁명을 이끄는 구심점이 될 것이다. IT 분야의 융합 뿐 아니라 기존 비즈니스간의 융합이 이뤄질 것이다. 또 데이터 수집 및 가공 등 빅데이터에 관련된 새로운 비즈니스 모델이 탄생할 것으로 예상한다.

결국 궁극적으로 데이터를 갖고 있는 자가 비즈니스에서도 주도권을 잡게 될 것이라고 본다. ‘데이터 권력’이 비즈니스의 중요한 요소로 부상할 것이다.

김 대표: 빅데이터 자체만으로는 가치가 없다고 본다. 분명한 것은 빅데이터가 분석과 결합되어야만 가치가 생긴다는 것이다. 어떤 분석을 통해서 기업의 경쟁력과 고객 서비스를 이끌어 낼 것인지를 고려하는 과정이 선행되어야 한다. 빅데이터가 목적이 아니라, 그 과정에 빅데이터를 활용하는 것이다.

김 전무: 많은 포털 기업에서 빅데이터에 관심을 갖고 있지만, 초기에는 신기술에 대한 리스크가 존재하기 때문에 데이터를 수집하고 분석하는 과정이 매우 어렵다.

테라데이터는 본격적으로 빅데이터에 대한 관심을 갖고 실질적인 비즈니스 활용을 원하는 클라이언트를 대상으로 관련 서비스를 제공할 예정이다. 빅데이터 활용에 있어 선도기업을 중심으로 비즈니스를 펼칠 것이다.(끝)

컨퍼런스에 관한 자세한 내용은 http://www.facebook.com/zdnetevent 에서 확인가능하다.


 






 



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.