Automated Emotional Tagging of Lifelog Data with Wearable Sensors

본 논문에서는 실생활을 영상으로 촬영한 웨어러블 센서 데이터에서 연속적으로 변하는 사용자의 감정 태 그 정보를 자동으로 출력하는 시스템을 제안한다. 주제나 매체에 구애받지 않고 사용가능한 감정 태그는 텍스트 정보에서 추출하거나 전체 비디오에 대해 하나의 태그를 추출하는 것이 일반적이나, 이 시스템은 감성 컴퓨팅을 기반으로 하여, 웨어러블 센서 데이터에서 감정 태그를 연속적으로 추출한다. 감정 발화 벤 치마크 데이터셋을 학습한 감독 학습 기반 감정 예측 모델을 이용해 웨어러블 장치에 녹음된 소리로부터 긍정적, 부정적 반응을 인식하고, 웨어러블 장치인 피부전도도 센서(EDA) 데이터를 모델링하여 흥분 정 도를 인식해 감정 태그를 결정한다. 이 시스템에 적용된 감정 발화 인식 성능을 최근 뛰어난 성능을 보인 컨벌루션 신경망을 이용한 결과와 비교 분석한다. 이 시스템으로 웨어러블 장치로 수집한 영상의 감정 태 그를 발굴할 때, 음성만으로 발굴하는 것보다 EDA를 포함하여 발굴하는 것이 더 좋은 결과를 보였다.