• 디지털콘텐츠학회 논문지
• /
• 제18권3호
• /
• pp.559-565
• /
• 2017

스마트폰에 내장된 가속도 센서를 이용하여 사용자의 동작 상태나 행동을 인식하기 위한 연구가 다양하게 진행되어 왔다. 본 논문에서는 스마트폰의 3D 가속도 정보에 신경회로망을 적용하여 사람의 행동을 인식하는 연구를 진행하였다. 시계열 데이터를 신경회로망에 그대로 적용하면 성능상의 문제가 발생한다. 따라서 여러 시구간에 대해 특징을 추출하여 각 시구간에 대해 신경회로망을 학습시키고, 이 신경회로망들의 출력들을 입력으로 하여 학습하여 구성하는 다중 시구간 신경회로망을 제안하였다. 제안하는 방법을 실제 가속도 데이터에 적용한 결과 SVM, AdaBoost, IBk 등 다른 분류기보다 우수한 성능을 보였다.

• 방송공학회논문지
• /
• 제24권4호
• /
• pp.553-563
• /
• 2019

최근 개인방송 플랫폼을 통해 업로드 되는 콘텐츠가 증가함에 따라 시청자의 편의를 위해 하이라이트 영상을 제공하는 서비스에 대한 수요가 증가하고 있다. 이에 본 논문에서는 영상의 하이라이트 위치를 자동으로 예측하는 모델을 제안한다. 제안하는 모델은 채팅과 오디오 정보를 이용하며 양방향 LSTM을 사용해 영상의 흐름을 이해한다. 또한 콘텐츠의 종류에 따라 단기적 흐름과 함께 중장기적 흐름을 파악하는 다중 시구간 모델도 함께 제안한다. 제안한 모델은 개인방송 플랫폼을 통해 중계된 e스포츠와 야구경기 영상들을 이용하여 평가하였으며, 다중 시구간 정보를 활용하는 것이 하이라이트 예측에 유용함을 보였다.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.143-150
• /
• 2020

최근 다양한 매체를 통해 폭발적인 양의 콘텐츠가 업로드 되고 있으며 그 가운데 게임과 스포츠 영상은 상당한 비율을 차지한다. 방송사에서는 시청자 편의를 위해 경기 영상 중 흥미를 끄는 장면을 모아 하이라이트 영상을 만들어 제공한다. 그러나 이는 시간과 비용이 많이 소요되는 문제가 있다. 본 논문에서는 게임과 스포츠 경기에서 자동으로 하이라이트를 예측하는 모델을 제안한다. 기존의 방법들이 이미지 정보만을 주로 이용하는데 반해 우리는 오디오와 이미지 정보를 함께 사용하며, 영상의 단기적 전후관계와 중장기적 흐름을 동시에 파악하는 방법을 제시한다. 또한 더 좋은 특징벡터를 찾아내기 위해 GAN을 결합한 모델을 설명한다. 제안하는 모델들은 e스포츠 경기 영상과 야구 경기 영상을 이용하여 평가한다.