3차원 표정까지 인식한다…'라이트필드 카메라' 개발

3차원 영상을 정확하게 재구성해 사람의 표정을 구분할 수 있도록 하는 카메라가 개발됐다. 향후 모바일 헬스케어 등 분야에 활용할 수 있을 것으로 기대된다.
KAIST 바이오및뇌공학과 정기훈·이도헌 교수 공동연구팀은 근적외선 기반 라이트필드 카메라와 인공지능기술을 융합해 감정표현을 구분하는 기술을 개발했다고 7일 밝혔다.
라이트필드 카메라는 미세렌즈 배열을 이미지센서 앞에 삽입했다는 점에서 일반적인 카메라와 다르다. 손에 들 수 있을 정도로 작은 크기지만 한 번의 촬영으로 빛의 공간과 방향 정보를 얻는다. 이를 통해 다시 디지털 재초점·3차원 영상 획득 등 영상 재구성이 가능해 여러 분야에 활용할 수 있을 것으로 기대된다.
다만 기존 라이트필드 카메라는 이미지의 대비와 3차원 재구성의 정확도가 낮아지는 한계점이 있었다. 이번 연구는 근적외선 영역의 광원과 근적외선 대역필터를 적용해 3차원 재구성 정확도가 낮아지는 문제를 해결했다. 이를 통해 3차원 표정 영상을 재구성하는 데 최적화된 근적외선 기반 라이트필드 카메라 개발에도 성공했다.
새로 개발된 카메라로부터 획득한 3차원 얼굴 이미지에서는 기계 학습을 통해 성공적으로 표정이 구분됐다. 분류 결과의 정확도는 평균 85%로, 2차원 이미지를 이용했을 때보다 통계적으로 유의미하게 높은 정확도를 보였다.
또 표정에 따른 얼굴의 3차원 거리정보에 대해 계산한 결과를 통해 라이트필드 카메라가 인간이나 기계가 표정을 판독할 때 어떤 정보를 활용하는지에 대한 단서를 제공할 수 있는 것으로 확인했다.
정 교수는 "연구팀이 개발한 초소형 라이트필드 카메라는 정량적으로 인간의 표정과 감정을 분석하기 위한 새로운 플랫폼으로 활용될 수 있을 것"이라고 밝혔다.
이어 "모바일 헬스케어와 현장 진단, 사회 인지, 인간-기계 상호작용 등 분야에서 활용될 수 있다"고 설명했다.
[정희영 기자]