답글부터 SNS 수집까지… 하둡, NoSQL과 연계 모듈 등 고급 기능 갖춰
빅데이터가 21세기의 주요 키워드로 여겨지면서, 산재되어 있는 방대한 데이터를 어떻게 수집하고 분석하여 효율적으로 활용할 것인지가 새로운 과제로 떠올랐다.
이러한 가운데 일찍부터 공공, 통신, 금융, 제조분야에서 빅데이터와 클라우드 컴퓨팅 관련 여러 솔루션을 공급해 온 ㈜오픈에스앤에스(대표이사 배복태)가 이 같은 사업의 하나로 최근 최첨단 검색기술을 활용한 비정형 데이터 수집기를 출시하여 눈길을 끌고 있다.
지난 14일 선보여진 비정형 빅데이터 분석 솔루션 위봇3.0(WEBOT 3.0)은 웹 검색을 위한 원천 데이터 수집 기능만 갖춘 기존의 웹 크롤러 제품들과 차별화 된 기능을 가진다. 댓글 및 답글, SNS 데이터를 실시간으로 수집할 수 있음은 물론이고, 자동 유사어 추출 기능과 형태소 분석 기술에 기반한 주제어 자동 추출 및 자동 태깅 기능도 탑재하고 있다. 또 중복 문서나 데드 링크를 검출하고, 수집된 비정형 데이터를 정형화 할 수도 있다.
운영자의 편의성도 향상됐다. 수집 대상 사이트 관리 및 수집 오류 자동 알림 기능, 수집 현황 대시보드 기능 등도 갖추고 있는 것. 여기에 하둡이나 NoSQL과의 연계 모듈을 이용하여 멀티 서버를 구성할 수 있기 때문에 수집할 수 있는 데이터의 양도 증가한다.
오픈에스앤에스(오픈SNS) 관계자는 “비정형 빅데이터 분석 솔루션 위봇3.0의 출시와 더불어 빅데이터 수집/분석 솔루션을 완벽히 보유하게 되었다”며 “빅데이터 수집에 최적화된 위봇3.0을 중심으로 빅데이터 시장에 적극적으로 임할 계획”이라고 밝혔다.
