• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.362-369
• /
• 2006

3 차원 그래픽스에 적용하는 한국어 립씽크 합성 체계를 연구하여, 말소리에 대응하는 자연스러운 립씽크를 자동적으로 생성하도록 하는 디자인 시스템을 연구 개발하였다. 페이셜애니메이션은 크게 나누어 감정 표현, 즉 표정의 애니메이션과 대화 시 입술 모양의 변화를 중심으로 하는 대화 애니메이션 부분으로 구분할 수 있다. 표정 애니메이션의 경우 약간의 문화적 차이를 제외한다면 거의 세계 공통의 보편적인 요소들로 이루어지는 반면 대화 애니메이션의 경우는 언어에 따른 차이를 고려해야 한다. 이와 같은 문제로 인해 영어권 및 일본어 권에서 제안되는 음성에 따른 립싱크 합성방법을 한국어에 그대로 적용하면 청각 정보와 시각 정보의 부조화로 인해 지각의 왜곡을 일으킬 수 있다. 본 연구에서는 이와 같은 문제점을 해결하기 위해 표기된 텍스트를 한국어 발음열로 변환, HMM 알고리듬을 이용한 입력 음성의 시분할, 한국어 음소에 따른 얼굴특징점의 3 차원 움직임을 정의하는 과정을 거쳐 텍스트와 음성를 통해 3 차원 대화 애니메이션을 생성하는 한국어 립싱크합성 시스템을 개발 실제 캐릭터 디자인과정에 적용하도록 하였다. 또한 본 연구는 즉시 적용이 가능한 3 차원 캐릭터 애니메이션뿐만 아니라 아바타를 활용한 동적 인터페이스의 요소기술로서 사용될 수 있는 선행연구이기도 하다. 즉 3 차원 그래픽스 기술을 활용하는 영상디자인 분야와 HCI 에 적용할 수 있는 양면적 특성을 지니고 있다. 휴먼 커뮤니케이션은 언어적 대화 커뮤니케이션과 시각적 표정 커뮤니케이션으로 이루어진다. 즉 페이셜애니메이션의 적용은 보다 인간적인 휴먼 커뮤니케이션의 양상을 지니고 있다. 결국 인간적인 상호작용성이 강조되고, 보다 편한 인간적 대화 방식의 휴먼 인터페이스로 그 미래적 양상이 변화할 것으로 예측되는 아바타를 활용한 인터페이스 디자인과 가상현실 분야에 보다 폭넓게 활용될 수 있다.

• Proceedings of the KIEE Conference
• /
• 2006.07d
• /
• pp.2081-2082
• /
• 2006

본 논문에서는 지능형 로봇 시스템에서 신경 회로망을 이용한 인간 몸의 제스처 추출 기법을 제안 하였다. 지능형 로봇 시스템에서 사용된 컴퓨터 시각 기반에서는 시간상의 변화에 따른 특징 벡터 추출을 필요로 한다. 이를 위해 본 논문에서는 신경 회로망을 이용한 제스처 추출 기법을 제안 하였다. 신경 회로망을 이용한 제스처 추출은 오류 역 전파 학습방법을 사용하여 시간상에서 변화하는 영상 시퀀스에 정보를 생성하고 움직임 모델을 통해 두 정보간의 따른 제스처 추출에 가중치를 준다. 마지막으로 본 연구에서 제안한 기법은 실험을 통해 그 우수성을 확인하였다.

• Journal of Gifted/Talented Education
• /
• v.18 no.2
• /
• pp.201-237
• /
• 2008

The object of this research is to understand the domain-universality and domain-specificity of scientific domain and visual art domain from case studies on individuals who had made creative accomplishments in the domain of science and visual art. For case studies, 10 people who made creative accomplishments in the science and technology domain and 9 people who made creative accomplishments in the visual art domain were selected as the research participants. The conclusions for the case studies were made on the data obtained from interviewing the research participants using KES as an analytical frame. The findings of this study support as follows. Creativity on scientific domain and visual art domain is both the domain-universality and domain-Specificity. The domain-universality Of scientific domain and visual art domain is related to the nature of human beings, originality in creativity, and the natural selection. On the other hand, The domain-specificity of scientific domain and visual art domain is related to the type of knowledge and the context of applying the knowledge, will, thinking skill, direction, and social components.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.05c
• /
• pp.465-468
• /
• 2002

최근 컴퓨터를 이용한 시각 분야가 발전하면서 인간과 관계된 연구가 중요시 되어, 사람과 컴퓨터의 인터페이스에 대한 새로운 시도들이 다양하게 이루어지고 있다. 특히 얼굴 형상 모델링과 얼굴 표정변화를 애니메이션 화하는 방법에 대한 연구가 활발히 수행되고 있으며, 그 용도가 매우 다양하고, 적용 범위도 증가하고 있다. 본 논문에서는 한국인의 얼굴특성에 맞는 표준적인 일반모델을 생성하고, 실제 사진과 같이 개개인의 특성에 따라 정확한 형상을 유지할 수 있는 3차원 형상 모델을 제작한다. 그리고 자연스러운 얼굴 표정 생성을 위하여, 근육모델 기반의 얼굴표정 생성 시스템을 개발하여, 자연스럽고 실제감 있는 얼굴애니메이션이 이루어질 수 있도록 하였다.

• Journal of Digital Contents Society
• /
• v.5 no.4
• /
• pp.311-315
• /
• 2004

In this paper, we proposed a robust watermarking algorithm based on fuzzy inference and human visual system. In the first, discrete wavelet transform(DWT) is involved to calculate additive energy strength, then we devised fuzzy inference, which was established by computing contrast and texture degree in gray-level image. Watermark is embeded into the coefficients of 3-level DWT so as to consider a spatial effects. Visual recognizable patterns such as binary image were used as a watermark Consequently, experimental results showed that proposed algorithm is robust in JPEC compression.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.253-257
• /
• 2023

최근 다양한 대화 시스템이 스마트폰 어시스턴트, 자동 차 내비게이션, 음성 제어 스피커, 인간 중심 로봇 등의 실세계 인간-기계 인터페이스에 적용되고 있다. 하지만 대부분의 대화 시스템은 텍스트 기반으로 작동해 다중 모달리티 입력을 처리할 수 없다. 이 문제를 해결하기 위해서는 비디오와 같은 다중 모달리티 장면 인식을 통합한 대화 시스템이 필요하다. 기존의 비디오 기반 대화 시스템은 주로 시각, 이미지, 오디오 등의 다양한 자질을 합성하거나 사전 학습을 통해 이미지와 텍스트를 잘 정렬하는 데에만 집중하여 중요한 행동 단서와 소리 단서를 놓치고 있다는 한계가 존재한다. 본 논문은 이미지-텍스트 정렬의 사전학습 임베딩과 행동 단서, 소리 단서를 활용해 비디오 기반 대화 시스템을 개선한다. 제안한 모델은 텍스트와 이미지, 그리고 오디오 임베딩을 인코딩하고, 이를 바탕으로 관련 프레임과 행동 단서를 추출하여 발화를 생성하는 과정을 거친다. AVSD 데이터셋에서의 실험 결과, 제안한 모델이 기존의 모델보다 높은 성능을 보였으며, 대표적인 이미지-텍스트 자질들을 비디오 기반 대화시스템에서 비교 분석하였다.

• Proceedings of the KIEE Conference
• /
• 2001.11c
• /
• pp.402-405
• /
• 2001

인터넷 환경의 발달로 인해 컴퓨터 산업분야에서는 각 컴퓨터 시스템과 멀티미디어 기기들 상호간의 색 정보 처리의 호환성을 필요로 하게 되었다. 이에 따라 제안된 standard RGB (SRGB) color space는 각 컴퓨터 시스템 및 기기들 간에 명백하고 효율적인 하나의 단일 color space로 색 정보가 표현될 수 있게 하였다. 한편 칼라 디스플레이 모니터에서의 색재현에 있어 궁극적인 목적은 원 화상의 색과 동일한 색으로 화상을 재현하는 것으로 인간 시각 특성을 고려한 색 재현이 바람직하다. 따라서 본 연구에서는 인터넷 환경의 비표준 모니터 상에 화상을 재현함에 있어 sRGB 표준과의 차이에 의해 발생되는 좌표적 색도 오차를 정정 매트릭스를 사용하여 색도 오차가 저감되는 보정 방법을 제안하였다. 또한 모니터 주변 밝기에 따른 시각 특성 변화에 따라 인지되는 콘트라스트의 변화에 대한 상관관계를 유도함으로써 그 변화를 보정할 수 있는 방안도 함께 제안하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.17 no.4
• /
• pp.519-525
• /
• 2007

With the high interest on robot technology and application, the research on artificial auditory systems for robot is very active. In this paper we discuss sound source localization and tracing based on audio-visual information. For video signals we use face detection based on skin color model. Also, binaural-based DOA is used as audio information. We integrate both informations using Kalman filter. The experimental results show that audio-visual person tracking Is useful, specially in the case that some informations are not observed.

• The KIPS Transactions:PartB
• /
• v.10B no.5
• /
• pp.491-496
• /
• 2003

We present a new watermark design tool for digital images and digital videos that are based on human visual system (HVS) characteristics. In this tool, basic mechanisms (inhibitory and excitatory behaviour of cells) of HVS are used to determine image dependent upper bound values on watermark insertion. This allows us to insert maximai allowable transparent watermark, which in turn is extremely hard to attack with common image processing, Motion Picture Experts Group (MPEG) compression. As the number of details (e.g. edges) increases in an image, the HVS decrease its sensitivity to the details. In the same manner, as the number of motion increases in a video signal, the HVS decrease its sensitivity to the motions. We model this decreased sensitivity to the details and motions as an (motion) entropy masking. Entropy masking model can be efficiently used to increase the robustness of image and video watermarks. We have shown that our entropy-masking model provides watermark scheme with increased transparency and henceforth increased robustness.

• Journal of Broadcast Engineering
• /
• v.27 no.4
• /
• pp.569-580
• /
• 2022

In this study, we investigated the effect of peripheral blur on binocular fusion to resolve binocular fusion failure which is one of the 3D visual fatigues in the perspective of human visual system. With stimulus having discrete disparity change, binocular fusion failure rate for target stimulus having crossed and uncrossed disparity decreased. And target stimulus having continuous disparity also required relatively larger binocular disparity when peripheral blur was presented with target stimulus rather than when peripheral blur was not presented. These results imply that peripheral blur facilitated binocular fusion in the situation of binocular disparity change, and suggest that considering the characteristics of human three-dimensional visual systems, manipulating 3D contents can improve visual discomfort caused by binocular displays at low costs.