• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.617-620
• /
• 2016

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하고, 컨볼루션 신경망 층의 출력을 임베딩 층뿐만 아니라 멀티 모달 층에도 연결함으로써, 캡션 문장 생성을 위한 매 단계마다 이미지의 시각 정보를 이용할 수 있는 연결 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 우수성을 입증하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.19 no.9
• /
• pp.2138-2144
• /
• 2015

Multimodal dual camera system has a stereo-like configuration equipped with an infrared thermal and optical camera. This paper presents stereo calibration methods on multimodal dual camera system using a target board that can be recognized by both thermal and optical camera. While a typical stereo calibration method usually performed with extracted intrinsic and extrinsic camera parameter, consecutive image processing steps were applied in this paper as follows. Firstly, the corner points were detected from the two images, and then the pixel error rate, the size difference, the rotation degree between the two images were calculated by using the pixel coordinates of detected corner points. Secondly, calibration was performed with the calculated values via affine transform. Lastly, result image was reconstructed with mapping regions on calibrated image.

• KIPS Transactions on Software and Data Engineering
• /
• v.6 no.4
• /
• pp.203-210
• /
• 2017

In this paper, we propose an effective neural network model for image caption generation and model transfer. This model is a kind of multi-modal recurrent neural network models. It consists of five distinct layers: a convolution neural network layer for extracting visual information from images, an embedding layer for converting each word into a low dimensional feature, a recurrent neural network layer for learning caption sentence structure, and a multi-modal layer for combining visual and language information. In this model, the recurrent neural network layer is constructed by LSTM units, which are well known to be effective for learning and transferring sequence patterns. Moreover, this model has a unique structure in which the output of the convolution neural network layer is linked not only to the input of the initial state of the recurrent neural network layer but also to the input of the multimodal layer, in order to make use of visual information extracted from the image at each recurrent step for generating the corresponding textual caption. Through various comparative experiments using open data sets such as Flickr8k, Flickr30k, and MSCOCO, we demonstrated the proposed multimodal recurrent neural network model has high performance in terms of caption accuracy and model transfer effect.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11c
• /
• pp.2215-2218
• /
• 2002

본 논문에서는 핸드폰, PDA 등과 같은 모바일 단말기에 인터넷 서비스를 제공할 수 있는 응용서버인 모바일 응용서버의 설계 및 구현 방법에 대해 제안한다. 제안하는 응용서버는 여러 가지 유형의 모바일 단말기에 공통적으로 서비스할 수 있는 중간 형태의 모바일 응용을 작성하고 이를 요청한 단말기의 특징 및 제약에 따라 적절히 변환된 컨텐츠를 단말기에 보여줌은 물론, 여러 단말기를 이용하여 하나의 세션을 수행할 수 있는 멀티 모달 세션 기능을 지원한다. 응용서버는 크게 세 부분으로 구성된다. 첫째는 모바일 단말기로부터 요청을 받아 모바일 요청(Mobile Request)을 생성하는 모바일 요청 생성부이고, 둘째는 모바일 요청을 받아 특정 응용을 처리하는 모바일 엔진 (Mobile Engine)부이다. 그리고 마지막으로 모바일 단말기 제약 및 무선 통신과 관련된 제약 사항을 해결하기 위한 환경 적응 관련 모듈들이 있다. 이처럼 제안하는 모바일 응용서버는 모바일 환경에서 다양한 단말기를 이용한 서비스를 지원은 물론 멀티 모달 세션을 지원함으로써 보다 다양한 형태의 인터넷 서비스를 효과적으로 제공할 수 있다.

• Information and Communications Magazine
• /
• v.22 no.4
• /
• pp.49-64
• /
• 2005

방송과 통신이 융합하는 새로운 환경의 도래에 따라 사용자에게 불편함 없이 언제 어디서나 멀티미디어 콘텐츠를 접근(universal) multimedia access)하게 할 수 있는 기술적 필요성이 대두되고 있다. 본 논문에서는 이러한 기술들 중에서 가장 중요한 위치를 차지하고 있는 콘텐츠 적응(content adaptation)에 대해 논한다. 특히 현재의 MPEG-21 표준에서의 콘텐츠 적응에 대한 동향을 살펴보고, 콘텐츠 적응에 속하는 중요 기술들 중에 비디오 트랜스코딩(video transcoding)과 모 달 리 티 변 환 (modality conversion)에 대한 일반적인 사항과 우리의 연구 결과들을 전개하고자 한다. 비디오 트랜스코딩 관점에서는 최적의 트랜스코팅 연산 조합을 찾는 문제에 있어서 비트율-왜곡(rate-distortion) 모델(model)에 기초한 방법과 의미적 개념(semantic concept)이 판단에 미치는 영향에 대해 논한다. 모달리티 면환 관점에서는 최적의 모달리티 변환 경계를 찾기 위한 중첩 콘텐츠 값(overlapped content value, OCV) 모델을 논하고 실질적인 모델링 예제를 통해 OCV 모델의 효율성을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.447-451
• /
• 2022

본 논문에서는 사용자가 대화 텍스트 방식의 입력을 주었을 때 이를 키워드 중심으로 변환하여 이미지를 생성해내는 방식을 제안한다. 대화 텍스트란 채팅 등에서 주로 사용하는 형식의 구어체를 말하며 이러한 텍스트 형식은 텍스트 기반 이미지 생성 모델이 적절한 아웃풋 이미지를 생성하기 어렵게 만든다. 이를 해결하기 위해 대화 텍스트를 키워드 중심 텍스트로 바꾸어 텍스트 기반 이미지 생성 모델의 입력으로 변환하는 과정이 이미지 생성의 질을 높이는 좋은 방안이 될 수 있는데 이러한 태스크에 적합한 학습 데이터는 충분하지 않다. 본 논문에서는 이러한 문제를 다루기 위한 하나의 방안으로 사전학습된 초대형 언어모델인 KoGPT 모델을 활용하며, 퓨샷 러닝을 통해 적은 양의 직접 제작한 데이터만을 학습시켜 대화 텍스트 기반의 이미지 생성을 구현하는 방법을 제안한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2004.05a
• /
• pp.271-274
• /
• 2004

영상정합을 통한 의료영상 분석방법들 중 동일환자에 대한 선형적 다중모달리티 정합이 널리 이용되고 있다. 그러나 실제적으로 여러 종류의 환자영상 취득이 어렵거나 해부학적 영상정보가 손실되는 경우가 적지 않다 본 논문에서는 표준 형상을 가지는 정상인 해부학적 뇌영상에 대한 환자 기능적 뇌영상의 정합방법을 제안한다. 먼저 두 영상간 모멘트 정보 매칭 및 초기선형 변환을 수행하고, 3차원 B zier 함수 기반 free-form 변형기법을 이용한 비선형 정합을 수행하여 정합 영상간 형상 차이를 최소화한다 제안방법은 환자 기능영상의 해부학적 분석 뿐 아니라 시술전-시술중 영상정합을 통한 영상유도시술에도 확장 적용될 수 있다.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.12
• /
• pp.93-102
• /
• 2011

This paper presents a walking guidance system for blind pedestrians in an outdoor environment using just one single camera. Unlike many existing travel-aid systems that rely on stereo-vision, the proposed system aims to get necessary information of the road environment by using just single camera fixed at the belly of the user. To achieve this goal, a top-view image of the road is used, on which obstacles are detected by first extracting local extreme points and then verified by the polar edge histogram. Meanwhile, user motion is estimated by using optical flow in an area close to the user. Based on these information extracted from image domain, an audio message generation scheme is proposed to deliver guidance instructions via synthetic voice to the blind user. Experiments with several sidewalk video-clips show that the proposed walking guidance system is able to provide useful guidance instructions under certain sidewalk environments.

• Journal of Institute of Control, Robotics and Systems
• /
• v.15 no.5
• /
• pp.465-472
• /
• 2009

This paper proposes a multimodal information transformation system that converts the image information to the voice information to provide the sight impaired people with walking area and obstacles, which are extracted by an acquired image from a single CCD camera. Using a chain-code line detection algorithm, the walking area is found from the vanishing point and boundary of a sidewalk on the edge image. And obstacles are detected by Gabor filter of extracting vertical lines on the walking area. The proposed system expresses the voice information of pre-defined sentences, consisting of template words which mean walking area and obstacles. The multi-modal information transformation system serves the useful voice information to the sight impaired that intend to reach their destination. The experiments of the proposed algorithm has been implemented on the indoor and outdoor environments, and verified its superiority to exactly provide walking parameters sentences.

• The KIPS Transactions:PartB
• /
• v.9B no.5
• /
• pp.563-570
• /
• 2002

Robust extraction of 3D facial features and global motion information from 2D image sequence for the MPEG-4 SNHC face model encoding is described. The facial regions are detected from image sequence using multi-modal fusion technique that combines range, color and motion information. 23 facial features among the MPEG-4 FDP (Face Definition Parameters) are extracted automatically inside the facial region using color transform (GSCD, BWCD) and morphological processing. The extracted facial features are used to recover the 3D shape and global motion of the object using paraperspective camera model and SVD (Singular Value Decomposition) factorization method. A 3D synthetic object is designed and tested to show the performance of proposed algorithm. The recovered 3D motion information is transformed into global motion parameters of FAP (Face Animation Parameters) of the MPEG-4 to synchronize a generic face model with a real face.