[사진제공 = 123rf]

[헤럴드경제=김상수 기자]디지털 장의사에서부터 디지털 컨설팅까지, 빅데이터 기반의 4차산업 시대에 맞춰 ‘데이터 크롤링’ 기술이 주목받고 있다.

29일 IT 업계에 따르면, 크롤링은 분산ㆍ저장돼 있는 정보를 수집하는 기술로, 원하는 데이터를 얼마나 빨리, 정확하게 찾아내는지가 관건이다.

‘디지털 장의사’가 그 예다. 죽음을 앞두고 생전에 남긴 인터넷 개인 정보를 지워주는 서비스로 시작한 이 직종은 온라인 인생을 삭제한다는 차원에서 ‘디지털 장의사’로 불렸다. 미국의 라이프인슈어드닷컴 등이 대표적인 회사다.

국내에선 최근 ‘리벤지 포르노’가 사회적 논란으로 비화되면서 데이터 크롤링에 관심이 쏠리기도 했다. 피해 여성의 2차 피해 확산을 막는 차원에서 디지털 크롤링 기술이 필요했기 때문이다.

원하는 정보를 찾아주는 기술은 한층 진화하고 있다. 최근 ‘웹하드 카르텔’ 사건 이후 정부는 내년부터 방송통신위원회 등에 ‘DNA 필터링’ 기술을 도입하기로 했다.

DNA 필터링 시스템은 말 그대로 오디오나 영상이 갖고 있는 특징(DNA)를 추출하고 이를 다른 데이터들과 비교해서 원본과 동일한지 여부를 확인하는 기술을 일컫는다.

관련 업체 로한아이티 관계자는 “기존 필터링 기술로는 영상의 해상도를 변경하거나 반전시키면 제대로 잡아내질 못한다”며 “지문처럼 DNA로 필터링하는 기술이 중요한 이유”라고 설명했다. DNA 필터링 시스템은 불법 영화 유통 차단 등에도 널리 쓰이고 있다.

나아가 데이터 크롤링은 빅데이터 시대에서 특히 유의미한 데이터 관리 전략으로도 쓰이고 있다. 수많은 정보 중에서 실제로 유의미한 정보만을 골라낼 수 있기 때문이다. 기업 평판관리나 정보의 유통 효과 등에 활용된다.

업계 관계자는 “빅데이터 시대에서 원하는 정보를 찾아내거나 지우는 기술은 점점 수요가 늘어날 것”이라고 전망했다.

dlcw@heraldcorp.com