• 한국정보컨버전스학회:학술대회논문집
• /
• 한국정보컨버전스학회 2008년도 International conference on information convergence
• /
• pp.53-56
• /
• 2008

This paper reports on the ACQA(Animated agent for Conversational Question Answering) project conducted at LIMSI. The aim is to design an expressive animated conversational agent(ACA) for conducting research along two main lines: 1/ perceptual experiments(eg perception of expressivity and 3D movements in both audio and visual channels): 2/ design of human-computer interfaces requiring head models at different resolutions and the integration of the talking head in virtual scenes. The target application of this expressive ACA is a real-time question and answer speech based system developed at LIMSI(RITEL). The architecture of the system is based on distributed modules exchanging messages through a network protocol. The main components of the system are: RITEL a question and answer system searching raw text, which is able to produce a text(the answer) and attitudinal information; this attitudinal information is then processed for delivering expressive tags; the text is converted into phoneme, viseme, and prosodic descriptions. Audio speech is generated by the LIMSI selection-concatenation text-to-speech engine. Visual speech is using MPEG4 keypoint-based animation, and is rendered in real-time by Virtual Choreographer (VirChor), a GPU-based 3D engine. Finally, visual and audio speech is played in a 3D audio and visual scene. The project also puts a lot of effort for realistic visual and audio 3D rendering. A new model of phoneme-dependant human radiation patterns is included in the speech synthesis system, so that the ACA can move in the virtual scene with realistic 3D visual and audio rendering.

• 한국음향학회지
• /
• 제21권4호
• /
• pp.349-360
• /
• 2002

인터넷 폰 시스템은 네트워크 트래픽 문제로 인한 지연, 지터 그리고 패킷 손실을 경험하고 이로 인한 통화품질의 저하가 문제가 되어 통화품질 (QoS) 향상 기술이 필요하게 되었다. 본 논문에서는 인터넷상에서 통화품질을 저해하는 요소들을 분석하고 실시간 전송 프로토콜/실시간 전송제어 프로토콜 (RTP/RTCP)을 이용하여 네트워크 상태를 진단하여 송, 수신 단말기간 네트워크 트래픽에 알맞은 방식으로 인코딩된 패킷을 송,수신하는 동적인 손실 복구 알고리즘을 제안한다. 실험결과 제안한 부가정보를 이용한 동적인 손실 복구 알고리즘은 연속 패킷손실인 경우 63%의 손실패킷 복원률을 보여주며, 비연속 패킷손실인 경우 42%의 패킷손실 복원률을 보여준다.

• International Journal of Computer Science & Network Security
• /
• 제21권8호
• /
• pp.87-96
• /
• 2021

The demand for e-learning through video lectures is rapidly increasing due to its diverse advantages over the traditional learning methods. This led to massive volumes of web-based lecture videos. Indexing and retrieval of a lecture video or a lecture video topic has thus proved to be an exceptionally challenging problem. Many techniques listed by literature were either visual or audio based, but not both. Since the effects of both the visual and audio components are equally important for the content-based indexing and retrieval, the current work is focused on both these components. A framework for automatic topic-based indexing and search depending on the innate content of the lecture videos is presented. The text from the slides is extracted using the proposed Merged Bounding Box (MBB) text detector. The audio component text extraction is done using Google Speech Recognition (GSR) technology. This hybrid approach generates the indexing keywords from the merged transcripts of both the video and audio component extractors. The search within the indexed documents is optimized based on the Naïve Bayes (NB) Classification and K-Means Clustering models. This optimized search retrieves results by searching only the relevant document cluster in the predefined categories and not the whole lecture video corpus. The work is carried out on the dataset generated by assigning categories to the lecture video transcripts gathered from e-learning portals. The performance of search is assessed based on the accuracy and time taken. Further the improved accuracy of the proposed indexing technique is compared with the accepted chain indexing technique.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권12호
• /
• pp.6038-6053
• /
• 2017

In this study, we propose an automatic melody extraction algorithm using deep learning. In this algorithm, feature images, generated using the energy of frequency band, are extracted from polyphonic audio files and a deep learning technique, a convolutional neural network (CNN), is applied on the feature images. In the training data, a short frame of polyphonic music is labeled as a musical note and a classifier based on CNN is learned in order to determine a pitch value of a short frame of audio signal. We want to build a novel structure of melody extraction, thus the proposed algorithm has a simple structure and instead of using various signal processing techniques for melody extraction, we use only a CNN to find a melody from a polyphonic audio. Despite of simple structure, the promising results are obtained in the experiments. Compared with state-of-the-art algorithms, the proposed algorithm did not give the best result, but comparable results were obtained and we believe they could be improved with the appropriate training data. In this paper, melody extraction and the proposed algorithm are introduced first, and the proposed algorithm is then further explained in detail. Finally, we present our experiment and the comparison of results follows.

• 한국통신학회논문지
• /
• 제42권4호
• /
• pp.892-898
• /
• 2017

본 논문은 차량 내 AVN(Audio Video Navigation)에서 차량정보 분석과 제스처 인식이 가능한 소프트웨어 구조를 설계하고 구현 방법을 서술한다. 설계된 소프트웨어는 차량정보 분석을 위해 CAN(Controller Area Network) 통신 데이터 분석 모듈을 구현하여 차량의 주행 상태를 분석했다. AVN 소프트웨어는 분석된 정보를 웨어러블 디바이스의 제스처 정보와 융합토록 했다. 도출된 융합정보는 운전자의 명령 수행 단계로 매칭하고 서비스를 지원하는데 사용됐다. 설계된 AVN 소프트웨어는 기성 제품과 유사한 환경의 HW 플랫폼 상에 구현되어 차량 주행 상황과 동일하게 모사된 상황에서의 차량정보분석, 제스처 인식 수행 등의 기능을 지원함을 확인했다.

• Journal of information and communication convergence engineering
• /
• 제22권2호
• /
• pp.145-152
• /
• 2024

Closed quotient (CQ) represents the time ratio for which the vocal folds remain in contact during voice production. Because analyzing CQ values serves as an important reference point in vocal training for professional singers, these values have been measured mechanically or electrically by either inverse filtering of airflows captured by a circumferentially vented mask or post-processing of electroglottography waveforms. In this study, we introduced a novel algorithm to predict the CQ values only from audio signals. This has eliminated the need for mechanical or electrical measurement techniques. Our algorithm is based on a gated recurrent unit (GRU)-type neural network. To enhance the efficiency, we pre-processed an audio signal using the pitch feature extraction algorithm. Then, GRU-type neural networks were employed to extract the features. This was followed by a dense layer for the final prediction. The Results section reports the mean square error between the predicted and real CQ. It shows the capability of the proposed algorithm to predict CQ values.

• 한국음향학회지
• /
• 제23권1호
• /
• pp.54-60
• /
• 2004

44.1 kHz 샘플링 비율의 표준 CD음질의 오디오 신호를 인터넷 상에서 전송 및 분배하기 위해서 네트워크 대역폭과 저장 공간의 제한점을 고려해야 한다. 이러한 제한은 오디오 신호의 샘플링 비율을 낮추거나 MP3와 같은 오디오 데이터 압축 기법을 이용하여 해결할 수 있지만, 공통적으로 고 주파수 (High frequency) 대역의 정보가 손실 된다는 문제가 발생한다. 이러한 고 주파수 손실은 결국 저 샘플링 비율의 오디오 신호를 생성하게 되며 표준 CD음질을 가지는 오디오 신호보다 제한된 저 주파수 대역만을 재생할 수 있게 된다. 일반적으로 오디오 신호의 고주파 성분은 위치정보와 명료도, 재생 환경 등에 대한 음의 풍부한 정보를 제공한다. 본 논문의 목적은 LMS 적응 필터링과 DWT 분석/합성을 이용하여 저 샘플링 비율을 가지는 오디오 신호로부터 고 주파수 대역의 정보를 효과적으로 추정하는 것이다. 제안된 알고리즘은 DWT 영역에서 LMS 적응 알고리즘을 이용하여 고 주파수 정보를 추정하고 DWT 합성을 이용하여 고 주파수 정보가 강화된 고음질의 오디오 신호를 재생한다. 제안된 알고리즘의 성능 평가를 위해 실제 음성신호와 음악 신호를 이용하여 컴퓨터 모의 실험과 청취 평가를 수행하여 기존 알고리즘과 비교하였으며, 실험 결과 제안된 알고리즘의 우수성을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제10권8호
• /
• pp.958-966
• /
• 2007

본 논문에서는 음질향상 알고리즘을 내장한 MPEG-1 오디오 디코더를 Embedded OS(Linux)기반 플랫폼에 구현하였다. 네트워크 대역폭과 저장 공간의 제한점을 고려한 MP3, AAC, OGG 등과 같은 손실 오디오 압축 코덱들은 공통적으로 고주파 대역의 정보가 손실되는데, 이러한 고주파 신호성분 손실은 결국 표준 CD음질을 가지는 오디오 신호보다 제한된 저주파 대역만을 재생할 수 있게 된다. 본 논문은 손실된 고주파 대역의 신호성분과 하모닉 성분을 효과적으로 추정 및 복원할 수 있는 음질 향상 알고리즘을 MPEG-1 오디오 디코더 내부에 각 계층 I, II, III 특성별로 최적화하여 Embedded Linux 플랫폼으로 구현하였다. 기존의 MPEG-1 오디오 디코더와의 비교 청취 실험을 통해 본 논문에서 구현된 시스템이 신호 스펙트럼 및 음질 면에서 향상되었음을 확인할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제44권1호
• /
• pp.70-75
• /
• 2007

44.1kHz 샘플링 레이트의 표준 CD 음질의 오디오 신호를 인터넷 상에서 전송 및 분배하기 위해서는 네트워크 대역폭과 저장 공간의 제한 점을 고려해야 한다. 이러한 제한은 MP3, AAC, OGG 등과 같은 오디오 신호 압축 코덱을 이용하여 해결할 수 있지만, 이러한 코덱들은 공통적으로 고 주파수(High frequency) 대역의 정보가 손실 된다는 문제가 발생한다. 이러한 고주파수 손실은 결국 표준 CD음질을 가지는 오디오 신호보다 제한된 저 주파수 대역만을 재생 할 수 있게 된다. 일반적으로 오디오 신호의 고 주파수 성분은 위치정보 와 명료도, 재생 환경 등에 대한 음의 풍부한 정보를 제공한다. 본 연구에서는 MP3 오디오 코덱으로 디코드(decode) 된 오디오 신호에서 손실된 고 주파수 대역의 정보를 효과적으로 추정 및 복원하는 ARM 플랫폼 기반의 MP3 오디오 음질향상 시스템을 구축하였다. 제안된 시스템과 기존의 대표적인 알고리즘인 Liu의 HFR 과의 비교실험을 통해 제안된 알고리즘이 신호 스펙트럼상에서 고주파 신호 추정 및 복원 능력이 우수함을 볼 수 있고, 알고리즘 연산량도 약 2배 정도 절약할 수 있었다.

• ETRI Journal
• /
• 제39권6호
• /
• pp.832-840
• /
• 2017

Recently, deep recurrent neural networks have achieved great success in various machine learning tasks, and have also been applied for sound event detection. The detection of temporally overlapping sound events in realistic environments is much more challenging than in monophonic detection problems. In this paper, we present an approach to improve the accuracy of polyphonic sound event detection in multichannel audio based on gated recurrent neural networks in combination with auditory spectral features. In the proposed method, human hearing perception-based spatial and spectral-domain noise-reduced harmonic features are extracted from multichannel audio and used as high-resolution spectral inputs to train gated recurrent neural networks. This provides a fast and stable convergence rate compared to long short-term memory recurrent neural networks. Our evaluation reveals that the proposed method outperforms the conventional approaches.