• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.865-868
• /
• 2017

일반적으로 비디오로부터 캡션을 생성하는 작업은 입력 비디오로부터 특징을 추출해내는 과정과 추출한 특징을 이용하여 캡션을 생성해내는 과정을 포함한다. 본 논문에서는 효과적인 비디오 캡션 생성을 위한 심층 신경망 모델과 그 학습 방법을 소개한다. 본 논문에서는 입력 비디오를 표현하는 시각 특징 외에, 비디오를 효과적으로 표현하는 동적 의미 특징과 정적 의미 특징을 입력 특징으로 이용한다. 본 논문에서 입력 비디오의 시각 특징들은 C3D, ResNet과 같은 합성곱 신경망을 이용하여 추출하지만, 의미 특징은 본 논문에서 제안하는 의미 특징 추출 네트워크를 활용하여 추출한다. 그리고 이러한 특징들을 기반으로 비디오 캡션을 효과적으로 생성하기 위하여 선택적 주의집중 캡션 생성 네트워크를 제안한다. Youtube 동영상으로부터 수집된 MSVD 데이터 집합을 이용한 다양한 실험을 통해, 본 논문에서 제안한 모델의 성능과 효과를 확인할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.404-406
• /
• 2000

캐리커처 생성 시스템은 입력된 인물 사진을 세그먼테이션을 통하여 특징(이목구비)을 추출하고, 추출된 특징정보를 이용하여 그와 유사한 특징정보를 가지는 캐리커처 이미지를 검색하여 매핑시키는 시스템이다. 캐리커처 생성 시스템에서는 얼굴의 대칭 구조를 이용하고 색상과 모양에 대한 정보를 이용하여 얼굴 각각의 특징(이목구비)을 캐리커처의 특징을 구분하는 특징정보로써 활용한다. 본 논문은 인물 사진을 세그멘테이션 처리하여 얻은 부분 영역 특징정보를 이용하여 그와 유사한 캐리커처를 자동으로 생성하는데 목적이 있다. 이 때 사용하는 대칭 구조는 씨앗 픽셀(seed pixel)을 추출한다. 특징정보는 색상의 경우 지역적인 색상정보는 이목구비를 더 뚜렷이 해주고, 전체적인 색상정보는 그 이미지의 피부색의 정보를 나타낸다. 모양의 경우 이목구비의 특징정보를 위해 불변모멘트가 주요하게 사용된다. 또한 데이터베이스는 얼굴의 세부사항(이목구비)에 대한 각각의 캐리커처로 구축되어 있고, 각 세부사항은 특징별 분류되어 있어야 한다. 이런 데이터베이스의 캐리커처와 추출된 얼굴 영상에서의 세부사항을 비교하여 유사도를 계산하고 이를 매핑하므로 개인의 특징을 가진 캐리커처를 자동으로 생성한다.

• Proceedings of the IEEK Conference
• /
• 2001.09a
• /
• pp.161-164
• /
• 2001

캐릭터의 자동 생성이란 영상처리 기법을 이용하여 사람의 얼굴에서 특징을 추출하고, 이 특징들을 기반으로 독특한 캐릭터를 자동으로 얻어내는 방법을 의미한다. 본 논문에서는 사람마다의 얼굴의 특성에 기반한 캐릭터를 자동으로 생성하기 위하여 얼굴의 각 구성요소들의 특징을 효과적으로 추출하기 위한 방법을 제시한다. 얼굴을 구성하는 각각의 요소들의 특징을 추출하고, 추출된 특징을 바탕으로 각 구성요소에 해당하는 데이터베이스를 검색하여 특징을 잘 표현할 수 있는 그림을 선택한다. 최종적으로 선택된 그림들은 원 이미지의 비율에 맞도록 재구성하여 얼굴 캐릭터를 생성한다.

• Proceedings of the KAIS Fall Conference
• /
• 2007.11a
• /
• pp.209-210
• /
• 2007

불변 특징 기반의 파노라마 생성 방법은 직접 방법에 비해 비교적 처리 속도가 빠르다. 파노라마 생성 과정에서 특징점 추출과 특징 정합에 대부분의 시간이 소요된다. 본 논문에서는 파노라마 생성을 위한 특징점 클러스터링 방법을 제안한다. LoG 영상에서 특징점들을 추출한 후, 클러스터링을 통해 특징점들을 군집화한다. 군집도가 강한 특징점들은 그렇지 않은 특징점들보다 더 의미 있으므로, 파노라마 생성에서 군집도가 약한 군집을 배제함으로써 정확도가 높아지고 처리 시간이 빨라지는 장점이 있다. 실험에서 $320{\times}240$ 크기의 칼라 영상에 대해 제안한 방법의 처리 시간이 약2.0초로 클러스터링 처리를 하지 않는 방법에 비해 약 2배 빠른 결과를 보였다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1012-1018
• /
• 2007

본 논문에서는 비전 기반 3차원 얼굴 모델의 자동 표정 생성 시스템을 제안한다. 기존의 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 배제한 얼굴 표정 생성에 초점을 맞추고 있으며 얼굴 모션 추정과 표정 제어에 관한 연구는 독립적으로 이루어지고 있다. 제안하는 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출 방법으로는 얼굴 후보 영역 검출과 얼굴 영역 검출 과정으로 구성된다. HT 컬러 모델을 이용하며 얼굴의 후보 영역을 검출하며 얼굴 후보 영역으로부터 PCA 변환과 템플릿 매칭을 통해 얼굴 영역을 검출하게 된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 3차원 실린더 모델의 투영과 LK 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 또한 영상 보정을 통해 강인한 모션 추정을 할 수 있다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용하며 12개의 얼굴 특징점으로부터 얼굴 모델의 표정을 생성한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 눈썹, 눈, 입 주위의 얼굴 특징점을 검출하며 LK 알고리즘을 이용하여 특징점을 추적(Tracking)한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수를 획득한다. 애니메이션 매개변수로부터 얼굴 모델의 제어점을 이동시키며 주위의 정점들은 RBF 보간법을 통해 변형한다. 변형된 얼굴 모델로부터 얼굴 표정을 생성하며 모션 추정 결과를 모델에 적용함으로써 얼굴 모션 정보가 결합된 3차원 얼굴 모델의 표정을 생성한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.124-125
• /
• 2021

최근 증강현실(AR), 가상현실(VR), 혼합현실(XR) 분야가 각광받고 있으며, 3차원 공간과 사물을 인식하여 다양한 콘텐츠 서비스를 제공하는 기술이 개발되고 있다[1]. 3차원 공간과 사물을 인식하기 위해 가장 널리 사용되는 방법은 RGB 카메라를 이용하는 것이다[2]. RGB 카메라를 이용하여 촬영한 영상을 분석한 후 분석된 결과를 이용하여 카메라와 환경의 관계를 추정한다. 시차는 사용자가 촬영한 복수의 이미지에서 특징점의 차이를 이용하여 계산된다. 실험적으로 구한 깊이에 대해 계산된 디스패리티에 시차 정보와 스케일링 정보를 더하여 3차원 특징점을 생성한다. 제안하는 알고리즘은 단일 모바일 디바이스에서 획득한 영상을 사용한다. 특징점 매칭을 기반으로한 디스패리티 추정과 시차조정 3D 특징점 생성이다. 실제 깊이 값과 비교했을 때, 생성된 3차원 특징점은 실측값의 10% 이내의 오차가 있음을 실험적으로 증명하였다. 따라서 제안하는 방법을 이용하여 유효한 3차원 특징점을 생성할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.1154-1157
• /
• 2012

축산농가의 경제성과 직결되는 암소 발정기의 조기 탐지는 IT 농 축산 학계에서도 매우 중요한 문제 중 하나이며 반듯이 해결해야만 하는 문제로 알려져 있다. 이를 해결하기 위한 다양한 연구 방법들 중, 본 논문에서는 소리 센서 환경에서의 암소의 발정기 탐지 시스템에 관한 연구를 대상으로 한다. 특히, 발정기 발성음의 특징 벡터 생성에 초점을 맞춘다. 특징은 크게 분별력과 차원이라는 두 가지 기준에 대해 우수해야 한다. 즉, 좋은 특징이란 서로 다른 부류를 잘 분별해 주어야 할 뿐만 아니라, 특징 벡터의 차원이 낮을수록 계산 효율이 좋고 차원의 저주에서 멀어 진다. 본 논문에서는 통계학에 기초한 체계적인 특징 벡터 생성에 관한 알고리즘을 제안하고, 실제 축사에서 녹취한 한우 발정기 발성음을 대상으로 낮은 차원의 특징 벡터 생성 과정을 보인다. 또한 이상상황 탐지기로 잘 알려진 단일 클래스 SVM의 대표 모델인 SVDD를 탐지기로 설정하여 생성된 특징 벡터의 분별력을 실험적으로 검증한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.222-223
• /
• 2020

최근 악성코드로 인한 피해가 증가하고 있다. 악성코드는 악성코드가 속한 종류에 따라서 대응하는 방법도 다르기 때문에 악성코드를 종류별로 분류하는 연구도 중요하다. 기존에는 악성코드 시각화 과정을 통해서 생성된 악성코드의 글로벌 이미지를 사용해 악성코드를 각 종류별로 분류한다. 글로벌 이미지를 악성코드로부터 추출한 바이너리 정보를 사용해서 생성한다. 하지만, 글로벌 이미지만을 사용해서 악성코드를 각 종류별로 분류하는 경우 악성코드의 종류별로 중요한 특징을 고려하기 않기 때문에 분류 정확도가 떨어진다. 본 논문에서는 악성코드의 글로벌 이미지에 악성코드의 종류별 특징을 나타내기 위한 로컬 특징 기반 글로벌 이미지를 사용한 악성코드 분류 방법을 제안한다. 첫 번째, 악성 코드로부터 바이너리를 추출하고 추출된 바이너리를 사용해서 글로벌 이미지를 생성한다. 두 번째, 악성 코드로부터 로컬 특징을 추출하고 악성코드의 종류별 핵심 로컬 특징을 단어-역문서 빈도(Term Frequency Inverse Document Frequency, TFIDF) 알고리즘을 사용해 선택한다. 세 번째, 생성된 글로벌 이미지에 악성코드의 패밀리별 핵심 특징을 픽셀화해서 적용한다. 네 번째, 생성된 로컬 특징 기반 글로벌 이미지를 사용해서 컨볼루션 모델을 학습하고, 학습된 컨볼루션 모델을 사용해서 악성코드를 각 종류별로 분류한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.721-723
• /
• 2004

최근 가상환경에서 아바타의 활용이 빠르게 증가하면서 아바타 애니메이션에 대한 연구가 활발히 진행되고 있다. 특히 아바타의 사람과 같은 자연스러운 얼굴 애니메이션(Facial Animation)은 사용자에게 아바타가 살아 있는 듯한 느낌(Life-likeness)과 사실감(Believability)을 심어주어 보다 친숙한 인터페이스로 활용될 수 있다. 이러한 얼굴 애니메이션 생성을 위해 얼굴의 특징 점을 추출하는 기법이 끊임없이 이루어져 왔다. 그러나 지금까지의 연구는 실시간으로 사람 얼굴로부터 모션을 생성하고 이를 바로 3D 얼굴 모델에 적용 및 모션 라이브러리를 구축하기 위한 최적화된 알고리즘 개발에 대한 연구가 미흡하였다. 본 논문은 실제 사랑 얼굴 모델로부터 실시간으로 특징 점 인식을 통한 애니메이션 적용 및 라이브러리 생성 기법에 대친 제안한다. 제안 기법에서는 빠르고 정확한 특징 점 추출을 위하여 색 정보를 가공하여 얼굴 영역을 추출해내고 이를 영역 분할하여 필요한 특징 점을 추출하였으며, 자연스러운 모션 생성을 위하여 에러 발생 시 대칭점을 이용한 복구 알고리즘을 개발하였다. 본 논문에서는 이와 같은 색 정보 기반의 영역분할 및 영역 대칭 기법을 제시하여 실시간으로 끊김이 없고 자연스러운 얼굴 모션 라이브러리를 생성 및 적용하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.11a
• /
• pp.637-640
• /
• 2004

논문에서는 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성하는 방법을 제시한다. 자막의 구조적 특징은 자막이 갖는 시간적 특징과 공간적 특징으로서 이러한 구조적 특징을 이용하여 자막 프레임 구간과 자막 키 프레임을 추출한다. 그리고 하이라이트 비디오는 자막 키 프레임들에 대한 장면 재설정과 논리적 색인화 및 하이라이트 생성 규칙을 이용하여 생성한다. 마지막으로, 브라우저를 통한 사용자의 항목 선택에 의하여 하이라이트 비디오와 비디오 세그먼트에 대한 검색과 브라우징을 수행할 수 있다.