• The Journal of the Acoustical Society of Korea
• /
• 제28권3E호
• /
• pp.109-117
• /
• 2009

Identity recognition in real environment with a reliable mode is a key issue in human computer interaction (HCI). In this paper, we present a robust person identification system considering score-based optimal reliability measure of audio-visual modalities. We propose an extension of the modified reliability function by introducing optimizing parameters for both of audio and visual modalities. For degradation of visual signals, we have applied JPEG compression to test images. In addition, for creating mismatch in between enrollment and test session, acoustic Babble noises and artificial illumination have been added to test audio and visual signals, respectively. Local PCA has been used on both modalities to reduce the dimension of feature vector. We have applied a swarm intelligence algorithm, i.e., particle swarm optimization for optimizing the modified convection function's optimizing parameters. The overall person identification experiments are performed using VidTimit DB. Experimental results show that our proposed optimal reliability measures have effectively enhanced the identification accuracy of 7.73% and 8.18% at different illumination direction to visual signal and consequent Babble noises to audio signal, respectively, in comparison with the best classifier system in the fusion system and maintained the modality reliability statistics in terms of its performance; it thus verified the consistency of the proposed extension.

• 대한간호학회지
• /
• 제30권1호
• /
• pp.98-109
• /
• 2000

The purpose of this study was to identify the effect on improvement of the Activity of Daily Living (ADL) and decrease the cognitive function and agitation behaviors by reminiscence with audio-visual stimulation for senile dementia. The quasi-experimental design was used in this study. Subjects were 26 with mild senile dementia who were cared for at a Day Care Center for Dementia in Seoul. The data were collected from March to July, 1999. Subjects were divided into three groups : Control Igroup with 10 subjects, reminiscence group(Control II group with 8 subjects), and reminiscence with audio-visual stimulation group(experimental group with 8 subjects). The Control I group got routine care as usual. Control II group participated in reminiscence sessions for one hour a day, five times a week , for a period of 4 weeks. The experimental group participated in reminiscence with audio-visual stimulation sessions for one hour a day, five times a week, for a period of 4 weeks. Instruments of this study were color photography with sound that was developed through an open questionnaire about events, objects, humans in action and animals that 100 Korean elderly over 60 would like to memorize. This was referred from the Sensory Stimuli Package by Namazi and Haynes(1994). The effects of treatment was evaluated through MMSE-K by Kwon & Park(1989). Also the Brief Cognitive Rating Scale(BCRS) by Reisberg et al(1983) for the cognitive function, through Agitation Inventory by Cohen- Mansfield and Colleague(1989) for behavioral response and through the Rapid Disability Rating Scale-2(RDRS-2) by Linn & Linn(1982) for the activity of daily living respectively. Data analysis was done using SPSS for $\chi$2- test, ANOVA, repeated measures ANOVA. The results were as follows : 1. Reminiscence with audio-visual stimulation did not improve cognitive function for senile dementia, but significantly improved verbal expression, the subscale of cognitive function. 2. Reminiscence with audio-visual stimulation reduced agitation behavior of experimental group significantly, but there was no significant difference between groups. 3. Reminiscence with audio-visual stimulation did not significantly effect the activity of daily living after treatment. In conclusion, it was shown that the reminiscence with audio-visual stimulation was an effective therapy to improve verbal expression and to reduce agitation behaviors of senile dementia. Further research with more indepth approach is needed, considering characteristic and level individualized for each senile dementia.

• 말소리와 음성과학
• /
• 제3권2호
• /
• pp.65-70
• /
• 2011

Recently, audio-visual speech recognition (AVSR) has been studied to cope with noise problems in speech recognition. In this paper we propose a novel method of deciding weighting factors for audio-visual information fusion. We adopt the particle swarm optimization (PSO) to weighting factor determination. The AVSR experiments show that PSO-based normalized confidence measures (NCM) improve the rejection performance of mis-recognized words by 33%.

• International Journal of Control, Automation, and Systems
• /
• 제5권1호
• /
• pp.61-69
• /
• 2007

In this paper, we developed not only a reliable sound localization system including a VAD(Voice Activity Detection) component using three microphones but also a face tracking system using a vision camera. Moreover, we proposed a way to integrate three systems in the human-robot interaction to compensate errors in the localization of a speaker and to reject unnecessary speech or noise signals entering from undesired directions effectively. For the purpose of verifying our system's performances, we installed the proposed audio-visual system in a prototype robot, called IROBAA(Intelligent ROBot for Active Audition), and demonstrated how to integrate the audio-visual system.

• 디자인학연구
• /
• 제14권3호
• /
• pp.49-58
• /
• 2001

멀티미디어 시대의 커뮤니케이션 디자이너는 색채, 형태, 시간, 움직임과 같은 시각적인 요소뿐만 아니라 사운드까지도 메시지를 전달하는 표현요소로서 인식하여야 한다. 잘 알려졌다시피 시각이나 청각 어느 하나만으로 메시지를 전달할 때보다 시청각을 조화시켜 메시지를 전달할 경우 인지도가 높기 때문이다. 시각과 청각의 만남은 공감각에 근거하는데 이것은 색채와 음, 형태와 사운드의 연상작용으로 나타난다. 기초적인 예를 들면 낮은 음은 어두운 색을 연상시키며 높은 음은 밝은 색을 연상시킨다. 또 타악기는 원을, 멜로디는 선을 연상시킨다. 멀티미디어에서 시각적 요소와 청각적 요소는 이전의 시청각매체에서와 달리 단순히 보이는 장면과 관련된 소리를 들려주는 동시성의 수준에서 벗어나 각각 독립적인 표현요소로 작용하여야 한다 이렇게 독립적인 표현요소로서의 시각과 청각이 만나서 상호작용을 일으킴으로써 그 중 어느 하나만으로는 도달할 수 없는 새로운 감동을 불러일으킬 수 있는 것이다. 멀티미디어 시대의 디자인 교육은 이렇게 시각과 청각의 상호작용의 원리를 이해하고 메시지를 시청각적으로 표현할 수 있는 능력을 개발하는 교육 프로그램을 필요로 한다. 본 논문에서는 이러한 교육 프로그램을 시청각 조형, 시청각 구성, 시청각 디자인으로 구분하여 구체적인 과제들을 예로서 제시하였다.

• 제어로봇시스템학회논문지
• /
• 제13권8호
• /
• pp.719-725
• /
• 2007

In this paper, we present an audio-visual speech recognition system for noise-robust human-computer interaction. Unlike usual speech recognition systems, our system utilizes the visual signal containing speakers' lip movements along with the acoustic signal to obtain robust speech recognition performance against environmental noise. The procedures of acoustic speech processing, visual speech processing, and audio-visual integration are described in detail. Experimental results demonstrate the constructed system significantly enhances the recognition performance in noisy circumstances compared to acoustic-only recognition by using the complementary nature of the two signals.

• 한국기록관리학회지
• /
• 제9권1호
• /
• pp.33-50
• /
• 2009

국방과학연구소에서는 보유하고 있는 아날로그 형태 시청각 기록물을 디지털 변환을 통하여 이용자의 접근 용이성을 확보하고 시스템을 통한 보다 체계적인 관리를 위해 "영상기록관리시스템"을 구축하고 운영 중에 있다. 본 연구는 이에 대한 전체 구축 과정과 실제 운영 사항에 관한 내용을 담고 있는 것으로, 시청각 기록물의 디지털 변환을 통한 DB 구축과 이용자의 직접적인 검색 활용을 통하여 기록물에 대한 보존과 활용에 대한 실제 사례를 기술하고 있다. 구체적으로는 이미지와 동영상 데이터를 관리하고 활용하기 위한 시스템 개발요구사항 분석에서부터 아날로그형 자료의 디지털 변환을 통한 DB 구축 시 표준 업무절차 구현, 품질 기준 설정, 메타데이터 항목 설정 등에 관한 내용을 포함하고 있다. 또한, 실제로 시청각 기록물 관리를 위한 시스템을 운영함으로써 얻을 수 있는 시스템 효과 분석을 통하여 시청각 기록물 관리 시스템 구축의 필요성에 대해서도 언급하고 있다.

• 한국콘텐츠학회논문지
• /
• 제19권9호
• /
• pp.212-220
• /
• 2019

본 연구는 정부의 금융지원 정책인 영상전문투자조합이 한국영화 제작자본 조달에 기여한 정도를 평가하였다. 영상전문투자조합 정책은 1999년 중소기업청과 2000년 영화진흥위원회의 출자로 시작되었고, 이후 한국영화 제작비뿐만 아니라 문화산업 분야의 창업 초기기업과 프로젝트의 중요한 자본조달 구조로 발전하였다. 하지만 한국 영화산업의 관점에서 영상전문투자조합의 정책성과를 평가할 수 있는 기초자료가 기관별, 시기별로 산개해 있어서 일관적인 지표를 산출하기 어려웠다. 이에 본 연구는 해당 기관들의 자료를 재구성하여 1999~2017년까지 공적 출자를 통해 결성된 영상전문투자조합의 신규 결성규모, 공공 출자비율, 한국영화 투자편수 및 투자금액, 공공 출자금 및 결성액 대비 투자승수, 청산조합 수익률 등의 지표를 산출하였다. 이를 통해 영상전문투자조합 정책이 한국 영화산업의 성장에 기여한 성과를 평가할 수 있는 기초적인 토대를 제공하고자 한다.

• 한국지능시스템학회논문지
• /
• 제17권4호
• /
• pp.519-525
• /
• 2007

최근 로봇 기술 및 응용에 대한 관심이 고조됨에 따라, 로봇의 청각기술에 대한 연구가 활발하다. 본 기술에서는 로봇 탑재용으로 인간 청각기능중 하나인 음원정위 및 추적기술에 대하여 논한다. 음원 정위 및 추적을 위하여 시청각 정보를 이용하였는데, 시각정보로는 얼굴색 기반 얼굴 탐지 정보를 이용하였으며, 양이(binaural) 기반의 음원 추정 정보가 청각 정보로서 활용되었다. 시각과 청각 정보는 Kalman 필터를 이용하여 통합하였다. 실험결과 시청각 음원 추적 기술은 일부 정보의 유실이 있을 때, 효과적으로 활용될 수 있음을 보였다.

• 한국과학교육학회지
• /
• 제21권3호
• /
• pp.516-528
• /
• 2001

학습행동에서의 뇌파 측정은 실시간으로 두뇌 기능 상태를 연구하는데 유용한 연구 방법이며, 대뇌의 부위 중 전전두엽은 새로움에 대한 지향반응과 사고 활동에 중요한 역할을 한다. 본 연구에서는 중학교 2학년 학생 20명에게 새로운 시청각 학습자료를 제시하고 4회의 반복학습이 이루어지는 과정에서 전전두부$(Fp_{1},\;Fp_{2})$의 뇌파를 측정하고 고속푸리에 변환(FFT)을 하여 정량적으로 분석하였다. 그 결과는 다음과 같다. 1) 새로운 내용의 첫번째 시청각 학습으로 기준상태에서보다 뇌신경의 속파 리듬인 $\beta_{2}$파(20-30Hz)와 $\beta_{1}$파(13-20Hz)의 활성은 증가하였으며, 서파 리듬인 $\theta$파(4-7Hz)와 $\alpha$ 파(8-13Hz)의 활성은 감소하였다. 2) $\beta_{2}$파와 $\beta_{1}$파의 활성은 1회의 반복학습 이후에 점차로 감소하였으며, $\beta_{2}$파가 $\beta_{1}$파보다 반복학습에 따른 활성도의 변화가 크게 이루어졌다. 3) 반복적인 시청각 학습이 이루어짐에 따라 $\alpha$ 파의 활성도는 기준상태에서보다 낮은 상태에서 완만하게 감소하였으며 $\theta$파의 활성은 2회의 반복학습 후에 감소하였다. 4) $\beta$와 $\theta$파의 활성이 함께 높은 2차 시청각 학습(1회 반복학습)에서 높은 학업 성취도의 향상을 보였다. 5) 처음 시청각 학습이 이루어질 때에는 전전두엽의 우뇌$(Fp_{2})$가 좌뇌$(Fp_{1})$보다 우세한 기능을 보였지만 반복적인 시청각 학습에서는 좌 우 뇌의 우세성이 구별되지 않았다. 따라서 교과학습과 관련된 인간의 정신행동에 있어서 뇌신경 반응의 습관화 현상이 나타나며, 학습 경험에 의해 두뇌 반구의 우세성이 변화할 수도 있음을 제시한다. 또한 시청각 학습에 있어서 두뇌 기능의 효율적 활용을 통한 학업 성취도 향상을 위해서는 l회의 반복 학습이 적합하다고 할 수 있다.