[ET단상]빅데이터 예측 분석 위한 6가지 핵심 기술

빅데이터 바람이 세차다. 4차 산업혁명이 각광을 받으면서 더욱 거세지는 분위기다. 원천 데이터의 다양성과 확장성에 심층 분석 기술 지원까지 가능해졌다. 데이터 기반 분석을 토대로 가치 있는 의사 결정이 가능하다는 기대감도 상승한다.

비즈니스 환경은 불확실성과 복잡성이 커졌다. 지속 성장을 추구하는 기업에 데이터 기반의 예측 분석 역량 강화는 필수 과제다.

빅데이터 환경에서 실질적 성과를 내는 예측 분석 방법에는 어떤 것들이 있을까. 예측 분석은 단순한 '데이터 가시화'나 '데이터 관리'가 아니다. 의사 결정을 지원하는 역할을 제대로 수행하려면 여섯 가지 요소 기술을 활용해야 한다.

첫째로 관심 대상 집단에서 조사한 결과로부터 일반성을 찾아낸다. 그 이후 불확실한 사실에 대한 결론을 예측하는 통계로 활용한다.

둘째로 인간의 사고 방식을 모방한 추론 기능을 제공하는 비즈니스규칙관리시스템(BRMS)이다. 추론 기능은 지능적 비즈니스 로직 처리와 지능형 시스템 개발을 가능케 한다.

셋째로 데이터 시각화를 이용해야 한다. 데이터 분석 결과를 쉽게 이해하도록 도표로 정보를 명확하게 전달해 준다.

넷째로 비정형 텍스트 데이터에서 의미있는 정보를 찾아낸다. 다른 정보와의 연계성을 파악하고, 텍스트의 카테고리를 찾아낸다. 단순 정보 검색 이상의 결과를 얻어내는 텍스트 마이닝이 필요하다.

다섯째로 기존의 통계 분석으로는 접근할 수 없는 '관계(사람과 사람, 정보와 정보 등)'와 '상호작용'을 계량적으로 분석해야 한다. 거시적·미시적 관계 패턴을 파악하는 소셜 네트워크 분석을 활용한다.

마지막으로 컴퓨터에 사람이 직접 명시적으로 로직을 지시하지 않아도 데이터를 이용해 컴퓨터가 '학습'한다. 컴퓨터가 자동으로 문제를 해결하는 것이 머신러닝(기계학습)이다.

예측 분석은 직관적이며, 강력하다. 작은 예측도 큰 효과를 가져온다. 확률 계산으로 미래의 불확실성을 조금이라도 걷어 낸다는 것은 곧 경쟁 우위를 의미한다. 금융 리스크를 줄이고 의료 서비스를 개선한다. 매출을 늘리고 비용을 절감한다. 부정 행위를 관리, 사업 무결성을 확보한다. 고객 기대를 만족시키는 등 많은 영역에 적용할 수 있다.

4차 산업혁명 시대 진입을 앞뒀다. 국내 기업이 진행하는 빅데이터 기반의 예측 분석 활용 기법도 전반적으로 제고돼야 한다. 예측 분석이 특정 산업군 내지는 기업에만 적용하고, 기업 내부에서도 특정 부서나 담당자만의 업무라는 고정 관념을 바꿔야 한다. 데이터 중심의 기업 문화 조성이 필요하다. 명확한 활용 목적 수립과 활용 가능한 데이터 확보, 전문 인력과 솔루션 확보에 노력할 때 예측 분석의 활용 가치는 극대화된다.

정부 차원에서도 관련 성공 사례를 창출하고 전파해야 한다. 개인정보보호법 등 관련 법·제도 정비와 가이드라인 마련 등 정책적 지원이 요구된다.

기업과 정부의 빅데이터 기반 예측 분석 노력이 결실을 맺어 4차 산업혁명 시대에 부응하는 경쟁력을 확보하기를 기대한다.

이금모 세리정보기술 대표 kmlee@seritech.co.kr