빅데이터 바다에서 2등 항해사라도 되려면
빅데이터 바다에서 2등 항해사라도 되려면
  • 이경락 (ragie77@bflysoft.com)
  • 승인 2020.09.03 17:00
  • 댓글 0
이 기사를 공유합니다

[이경락의 In Data]
‘4차 산업혁명’ 슬로건 쫓다 곡소리 날 수도
조직 구성·돈 되는 모델에 관심, 분석력 만큼 상상력 발휘해야

[더피알=이경락] 지난 칼럼에서 이야기해왔듯 빅데이터에 대한 산업적 관심은 여전히 지대하다. 하지만 우리 산업계에서 빅데이터를 어떻게 접근할 것인지 정확하게 이해하는 경영진은 찾아보기 힘들다.

물론 모든 산업 분야가 빅데이터를 전문적으로 이해해야 하는 것도 아니지만, 잘만 활용하면 작은 동네의 식당 매출에도 큰 도움이 될 수 있는 것은 확실하다. 그래서 빅데이터를 화두로 만나보았던 경영진들의 관심도를 바탕으로 빅데이터 분석이 추구해야 할 목표들에 대해 생각해봤다.

고수-하수 조직의 차이

우선 빅데이터를 받아들이는 가장 기초적인 단계는 ‘빅데이터가 새로운 먹거리구나. 정부에서도 지원 많이 하는데, 우리도 해야겠다’ 하는 수준이다.

자사의 생산 공정, 제품, 서비스 특성에 대한 충분한 고려 없이 ‘제4차 산업혁명 시대’의 슬로건에 발맞춰 나가고픈 마음이 강렬하다. 문제는 이런 경우 자칫하면 슬로건이나 정부 지원에만 현혹돼 무리하게 회사 구성원들을 채근하게 될 수 있다는 점이다.

갖고 있는 데이터의 특성도 모르고, 산업적으로 어떤 인사이트가 도출될 수 있을지도 모른 채 주먹구구식으로 데이터를 운용하면, 사업도 실패하고 정부의 R&D(연구개발) 투자도 날아가게 된다. 현혹되면 곡소리가 날 수도 있다.

다음 단계로는 자사가 가진 데이터의 특성을 파악하고, 해당 데이터를 정제하거나 가공하는 수준에 이르는 것이다. 이 수준에 있다면, 적어도 빅데이터를 제대로 활용하기 위한 출발점에 서 있다고 볼 수 있을 것이다.

데이터의 가치를 실감하고, 앞으로 이러한 데이터가 산업적으로 충분히 활용될 수 있다고 전망하는 수준이다. 다만 아쉬운 점은 기존 산업에서 빅데이터를 활용할 수 있는 체계로 급격하게 변화하는 것이 쉽지만은 않다는 점이다.

수백만 건의 거래 기록을 가지고 있고 소비자들의 다양한 반응을 csv(데이터 및 텍스트 파일) 형태로 가지고 있다고 해서 당장 데이터 시장에 팔아 활용할 수 있는 것은 아니다. 하둡(Hadoop)이나 스파크(spark)와 같은 빅데이터 플랫폼이 구축돼야 대규모 데이터를 관리하고 처리할 수 있다. 호감형 얼굴이 되기 위해선 미소짓기부터 연습해야 한다.

▷함께 보면 좋은 기사:  커뮤니케이션업계의 DT를 보다

더욱 진화된 단계에서는 빅데이터를 통해 시장을 예측하고, 이를 모델화하는 빅데이터 분석(Big Data Analytics) 인력을 조직화하는 것에 관심을 기울인다.

빅데이터 분석은 ‘방대하고 다양한 데이터 유형 속에서 숨겨진 패턴, 알려지지 않은 상관관계, 시장 동향, 고객 선호도 및 기타 유용한 정보를 발견하기 위해 대규모 데이터 세트를 검사하는 프로세스’라고 할 수 있다.

패턴, 관계성을 파악해내는 것이 무척이나 중요한 작업이다 보니 데이터 사이언티스트를 중용하고, 예측 모델러와 같은 분석 전문가를 팀으로 구성한다. 그러나 아직까지 한국 사회에서 이러한 수준에 이른 기업은 전문적인 AI(인공지능) 및 빅데이터 기업, 일부 대기업 집단에 국한된다. 다만 승자의 여유를 가지고 박장대소할 수 있는 시간은 많이 남지 않았다. 앞서 있어도 달려야 한다.

‘수포자’도 할 수 있는 패턴 읽기

이처럼 최근 산업계의 변화를 감지한 사람이라면 누구나 빅데이터를 활용해 분석하고 예측해 돈이 될 수 있는 모델을 만드는 것을 꿈꾼다. 그러나 빅데이터에 대해서 정확히 이해하지 못한다고 해서, 일찌감치 수학을 포기한 수포자라고 해서 데이터 패턴을 파악할 수 없거나 시장 예측을 못하는 것은 아니다. 어떤 경우에는 분석력만큼이나 상상력이 모델을 예측하는 데 도움을 줄 수도 있기 때문이다.

예를 들어 특정 지역 쇼핑몰의 구매 정보 데이터가 있다고 가정해 보자. 해당 데이터에는 비식별 된 정보인 소비자의 연령대와 가입한 통신사 정보 등이 결합돼 있다. 데이터를 살펴봤더니 20~30대 남성의 경우 금요일 오후에 거의 방문하지 않고, 구매 목록을 보더라도 생필품을 구매하지 않는 것으로 나타났다. 이 데이터를 확인한 사람이 할 수 있는 일은 많다.

데이터 속에서 구매력이 가장 높았던 40~50대 여성들에 초점을 맞춰 그 집단이 가장 선호하는 제품들을 더 구비해 놓을 수도 있고, 특정 통신사 이용자들에게 쿠폰을 지급해서 구매를 촉진시킬 수도 있다.

그런데 어떤 데이터 분석가는 20~30대 남성이 왜 소비가 저조한지 궁금했다. 주변의 남자 지인들을 만나서 금요일에 무엇을 하는지 물어봤더니 술자리가 대부분이었다. 또 온라인 쇼핑 관련 데이터를 확인해 봤더니 해당 연령대 남성들이 해장과 관련된 밀키트를 구매하는 패턴이 보였다. 그래서 해당 쇼핑몰은 해장 밀키트 기획전을 마련하고 주말 아침 배송 시스템을 도입했다.

여기서 예를 든 패턴은 아주 단순한 것이고 누구나 상상할 수 있는 패턴이다. 그런데 빅데이터 속에는 숨겨진 더 많은 패턴이 있다. 20~30대 남성들의 음주 습관 속에 청년 실업과 같은 사회적 패턴이 숨어 있을 수 있고, 최근 유행하기 시작한 맥주의 마케팅 효과가 숨어 있을 수도 있다. 그리고 심지어 날씨의 영향이나 특정 요일에 주로 방영되는 요리 프로그램의 영향력이 작용할 수도 있다.

이를 파악하지 못하는 것과 수학에 문외한인 것은 크게 관련이 없다. 관심 있게 관찰하고, 다양한 분야를 경험하다보면 적어도 빅데이터의 바다에서 2등 항해사 정도는 할 수 있다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.