김민수 디지스트 교수팀, 기존보다 1000배 가량 빠른 빅데이터 분석 기술 개발

↑ 김민수 DGIST 정보통신융합전공 교수

빅데이터 패턴 분석을 기존 기술보다 1000배 가량 빠르게 분석할 수 있는 기술이 국내 대학 연구진에 의해 개발됐다.
DGIST(디지스트)는 28일 정보통신융합전공 김민수 교수팀이 빅데이터 패턴을 초고속으로 분석할 수 있는 '지마이너(GMiner)' 기술을 개발했다고 밝혔다.
김 교수팀은 지마이너 기술이 기존 세계 최고의 패턴 마이닝 기술보다 최대 1000배 더 우수한 성능을 가졌다고 평가했다.
패턴 마이닝 기술은 대형마트의 상품 구매, 은행의 거래, 소셜 네트워크 등 다양한 분야의 빅데이터에서 반복적으로 나타나는 중요 패턴들을 모두 찾아내는 기술이다.
이 기술은 현재 대형마트 진열대의 상품 위치를 결정하고 연령별 소비자의 이용 패턴에 맞는 신용카드를 추천하는 등 산업 전 분야에서 광범위하게 사용되고 있다.
그동안 패턴 마이닝 기술은 지난 20여 년간 수천 가지의 기술들이 개발됐지만 빅데이터 패턴의 길이가 증가하면서 수십 기가바이트(GB)가 넘는 빅데이터에 대해선 컴퓨터 메모리 부족 등으로 분석에 실패하거나 시간이 너무 많이 소요되는 한계가 있었다.
반면 김 교수팀이 개발한 지마이너 기술은 GPU(그래픽처리장치)의 수천 개 코어를 사용해 임시로 계산한 중간 길이의 패턴들을 조합하고 최종 길이의 패턴을 구하는 기법을 제안해 기존 문제를 해결하는데 성공했다.
이로 인해 지마이너 기술은 GPU 한 개가 장착된 일반 가정용 컴퓨터 1대 만으로 최대 수십 대의 컴퓨터를 사용해 데이터를 분석했던 기존의 분산 및 병렬 기술들보다 작게는 10배에서 최대 1000배 빠른 분석 성능을 나타냈다. 또 지마이너 기술은 데이터를 메인 메모리에서 GPU로 스트리밍하는 것과 동시에 GPU의 높은 계산 성능을 이용해 패턴을 구해 느린 속도 문제도 해결했다.
김 교수는 "빅데이터에 대해 메모리 문제없이 초고속으로 빅데이터 패턴을 분석할 수 있는 원천 기술을 확보했다"며 "메모리 부족과 느린 속도 때문에 패턴 마이닝 기술을 빅데이터에 제대로 적용하지 못했던 문제를 해결해 기업의 효율적인 의사결정을 돕는데 활용할 수 있을 것"이라고 말했다.
한편 이번 연구 결과는 정보과학 분야 최고 권위의 국제학술지인 '인포메이션 사이언스(Information Sciences) 5월호'에 게재됐다.
[대구 = 우성덕 기자]