• 한국문헌정보학회지
• /
• 제45권2호
• /
• pp.97-118
• /
• 2011

본 연구는 오디오 및 이미지 정보가 비동시적으로 결합된 오디오/이미지 요약이 오디오 요약 또는 이미지 요약만 사용했을 때 보다 어떤 상호 작용 효과를 가지고 있는지 살펴보았다. 이를 위해서 오디오/이미지 요약, 오디오 요약 및 이미지 요약을 비디오의 의미 추출에 있어서의 정확도 즉, 요약문 및 항목 선택의 정확도와 이용자들의 이 세 가지 요약에 대한 관점을 비교, 분석하였다. 분석 결과, 요약문 정확도에서는 비디오 유형에 관계없이 상호작용 효과를 확인하였으나 항목 선택의 정확도에서는 상호 작용 효과가 입증되지 못했다. 끝으로 이용자들은 오디오/이미지 요약에 대해 오디오와 이미지 정보를 병행하여 시청함으로서 비디오 내용에 대한 이해를 빠르게 하지만 때로는 이 두 정보간의 비동시성으로 인하여 비디오 의미 파악을 방해하는 경우도 생겨난다고 기술하였다.

• 정보관리학회지
• /
• 제15권1호
• /
• pp.149-164
• /
• 1998

본 연구에서는 멀티미디어 자료 중 특히 비디오/오디오 자료를 디지털화하여 웹상에서 서비스할 수 있는 시스템을 구현하는 것을 목적으로 하고 있다. 이를 위해, VOD/AOD 시스템 구축기술, 국내외 방송국 및 정보자료실들의 비디오, 오디오 자료 관리 현황을 조사하고, 이러한 자료들을 인터네상에서 효과적으로 서비스할 수 있는 VOD/AOD 시스템을 구축하였다.

• 대한전자공학회논문지SP
• /
• 제41권3호
• /
• pp.155-162
• /
• 2004

본 논문은 오디오 비디오 신호에 대한 유한한 DTV 디지털 스트림을 사용한 립싱크 테스트에 관한 것이다. 본 논문에서는 프로그램 시청이 가능하면서, 과도 효과 영역 테스트 신호(transient effect area test signals, TATS) 및 오디오 비디오 시간 인덱스 립싱크 테스트 신호를 이용한 새로운 립싱크 테스트 방법을 제안한다. 실험 결과에서 제안된 방법은 오실로스코프의 비디오 트리거 모드를 사용하여 오디오 및 비디오 신호간의 시간차를 쉽게 측정할 수 있음이 확인되었다.

• The Journal of the Acoustical Society of Korea
• /
• 제23권3E호
• /
• pp.91-97
• /
• 2004

In this paper, we propose a classification system of TV program scenes based on audio information. The system classifies the video scene into six categories of commercials, basketball games, football games, news reports, weather forecasts and music videos. Two type of audio feature set are extracted from each audio frame-timbral features and coefficient domain features which result in 58-dimensional feature vector. In order to reduce the computational complexity of the system, 58-dimensional feature set is further optimized to yield l0-dimensional features through Sequential Forward Selection (SFS) method. This down-sized feature set is finally used to train and classify the given TV program scenes using κ -NN, Gaussian pattern matching algorithm. The classification result of 91.6% reported here shows the promising performance of the video scene classification based on the audio information. Finally, the system stability problem corresponding to different query length is investigated.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1987년도 전기.전자공학 학술대회 논문집(II)
• /
• pp.1053-1057
• /
• 1987

In this paper, we have studied a communication protocol which may provide Audio/Video data transmission in real time. Auido/Video data have its own characteristics. A new transport protocol with realtime constraint has been designed and implemented which performs dynamic error control and flow control depending on the characteristics of transmitted Audio/Video data. Since the receiving data can be predicted from the previously received data using the prediction function in Auido/Video data transmission, these functions are introduced in our transport protocol that may possibly improve the speed of data transmission and give a real time response. We have tested our transport protocol and measured the performance by the simulation. We assume that our transport protocol would be used in LAN environment. Our prime purpose is to provide a reliable and real time Auido/Video data transmission service.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.303-305
• /
• 1998

MPGE(Moving Picture Expert Group)은 디지털 동영상 압축 부호화의 표준으로 자리잡고 있으며 MPEG-1에 이어 현재는 MPEG-2가 상용화되어 있는 실정이다. 복잡한 압축 기법의 적용으로 이를 재생하기 위해서는 전용의 하드웨어가 필요했지만 CPU의 성능이 향상됨에 따라 소프트웨어적으로 구현이 가능하게 되었다. 본 논문에서는 Software MPEG-1 Playback System에서 가장 큰 문제가 되는 Audio와 Video간의 동기화에 관한 기법을 제시한다.

• 한국전자통신학회논문지
• /
• 제13권6호
• /
• pp.1293-1300
• /
• 2018

$360^{\circ}$ 영상은 많은 영상정보를 담고 있어 유용하나, 눈에 보이는 물체의 방향과 그 물체의 소리가 들려오는 방향이 다른 경우 시청자에게 피로도를 느끼게 하여 감각적 이질감이 증대되어 그 활용도가 떨어지고 있다. 이에 본 논문에서는 $360^{\circ}$ 영상에서 시선에 따른 음향 정위가 얼마나 일치하는지를 백분율로 나타내는 기준을 제안하며, 제시한 영상 음향 정위 일치율을 이용하여 몰입도를 증대시키는 $360^{\circ}$ 영상의 제작 가능성을 제시한다. 제안한 영상 음향 정위 일치율은, 입체음향 콘텐츠 제작, 재생 솔루션의 정위 성능을 측정, 평가에 유용하고, 더욱 실감성 높은 시스템을 제작하는데 기여할 것으로 기대한다.

• 방송공학회논문지
• /
• 제14권3호
• /
• pp.332-341
• /
• 2009

지상파 DMB는 이동 환경에서 QVGA 급의 영상과 스테레오 오디오를 제공하는 방송 서비스로서 국내에서는 2005년 12월부터 본격적으로 서비스되고 있다. 최근에는 DMB 환경에서 고품질의 영상과 오디오를 제공하려는 기술에 대한 연구가 이루어지고 있는데, 지상파 DMB 환경에서 고품질의 영상 또는 오디오를 제공하기 위해서는 기존의 DMB 서비스에 추가적인 데이터들을 전송하는 것이 필요하다. 하나의 지상파 DMB 방송 채널에 할당되는 전송 비트율이 높지 않다는 점을 감안하면, 이러한 추가적인 데이터들을 효율적으로 전송하는 것이 서비스의 상용화 입장에서는 중요한 요소가 될 수 있다. 본 논문에서는 지상파 DMB 환경에서 멀티채널 오디오 서비스를 제공하고자 할 때, 추가적으로 전송되어야 하는 부가정보 스트림의 효율적인 전송을 위한 패킷화 방법을 제안한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.538-541
• /
• 2009

본 논문에서는 촉각기반 비디오 및 오디오 스트리밍 기술 개발을 설명한다. 제안하는 스트리밍 기술은 촉각정보를 포함한 비디오 프레임과 함께 진동정보를 가진 오디오를 실시간으로 전송해주는 방법에 대한 구현을 설명한다. 촉각정보 전송을 위하여 비디오 화면을 일정한 크기의 셀로 나누어 각 셀에 비디오 화면의 콘텐츠에 대응하는 촉각정보를 적용시켜 주었다. 이 정보들은 특정 형식으로 파일로 저장되게 되고 촉각정보 전송에 사용되게 된다. 촉각정보 전송은 비디오 프레임과 교차하며 전송된다. 이렇게 전송된 비디오와 촉각정보는 클라이언트 컴퓨터에서 병렬적으로 처리되어 화면에 출력시켜준다. 진동정보를 가진 오디오를 전송하기 위해서는 사운드를 분석하여 특정 사운드에 적합한 진동을 적용시켜 주었다. 이런 방법으로 저장된 진동정보는 사운드 스트리밍과 동기화되어 사용자에게 전송되며 이를 통해 사용자는 관람하고 있는 비디오 화면을 만짐으로써 화면 콘텐츠의 재질을 느낄 수 있고 음향에 따라 다양한 패턴의 진동을 느낄 수 있다.

• 한국정밀공학회지
• /
• 제28권5호
• /
• pp.638-647
• /
• 2011

Various approaches directly using vibrations of speakers have been suggested to effectively display the aural information such as the music to the hearing-impaired or the deaf. However, in these approaches, the human can't sense the frequency information over the maximum perceivable vibro-tactile frequency (around 1kHz). Therefore, in this study, an approach via spectral modulation of compressing the high frequency audio information into perceivable vibro-tactile frequency domain and outputting the modulated signals through the designated speakers is proposed. Then it is shown, through simulations of using Short-Time Fourier Transform (STFT) with Hanning windows and through preliminary experiments of using the vibro-tactile display testbed which is built and interfaced with a notebook PC, that the modulated signal of a natural sound composing sounds of a frog, a bird, and a water stream could produce the noise-free signal suitable enough for vibro-tactile speakers without causing Significant interfering disturbances, Lastly, for three different combinations of information provided to the subject, that is, i) with only video image, ii) with video image along with the modulated vibro-tactile stimuli as proposed in this study to the forearm of the subject, and iii) with video image along with full audio information, the effects to the human sense of reality and his emotion to given audio-video clips including various sounds and images are investigated and compared. It is shown from results of those experiments that the proposed method of providing modulated vibro-tactile stimuli along with the video images to the human has very high feasibility to transmit pseudo-aural sense to the human.