촉각기반 비디오 및 오디오 스트리밍 기술 개발

본 논문에서는 촉각기반 비디오 및 오디오 스트리밍 기술 개발을 설명한다. 제안하는 스트리밍 기술은 촉각정보를 포함한 비디오 프레임과 함께 진동정보를 가진 오디오를 실시간으로 전송해주는 방법에 대한 구현을 설명한다. 촉각정보 전송을 위하여 비디오 화면을 일정한 크기의 셀로 나누어 각 셀에 비디오 화면의 콘텐츠에 대응하는 촉각정보를 적용시켜 주었다. 이 정보들은 특정 형식으로 파일로 저장되게 되고 촉각정보 전송에 사용되게 된다. 촉각정보 전송은 비디오 프레임과 교차하며 전송된다. 이렇게 전송된 비디오와 촉각정보는 클라이언트 컴퓨터에서 병렬적으로 처리되어 화면에 출력시켜준다. 진동정보를 가진 오디오를 전송하기 위해서는 사운드를 분석하여 특정 사운드에 적합한 진동을 적용시켜 주었다. 이런 방법으로 저장된 진동정보는 사운드 스트리밍과 동기화되어 사용자에게 전송되며 이를 통해 사용자는 관람하고 있는 비디오 화면을 만짐으로써 화면 콘텐츠의 재질을 느낄 수 있고 음향에 따라 다양한 패턴의 진동을 느낄 수 있다.