• 전기전자학회논문지
• /
• 제28권2호
• /
• pp.209-220
• /
• 2024

스케치는 직관적으로 정보를 표현할 수 있는 수단이나 실제 이미지와 비교하였을 때 추상화가 심하고 동일한 대상에 대한 스케치 임에도 변화가 매우 크다는 문제점이 있다. 따라서 스케치에 기반한 이미지 인식에 도움이 되는 특성을 표현하기 어려웠는데, 딥뉴럴 모델의 발전은 이미지와 스케치라는 두 도메인에 공통으로 존재하는 특성을 발견할 수 있게 해 주었다. 본 논문에서는 스케치에 기반한 이미지 검색 기술의 최신 연구 동향을 소개한다. 이미지 검색 외에 스케치에 기반한 이미지 인식과 이미지 생성의 연구 동향도 함께 요약하였으며, 스케치 기반 연구에서 주로 활용되는 데이터셋 및 해당 데이터셋에 기반하여 측정한 검색 성능을 포함하였다.

• 인터넷정보학회논문지
• /
• 제21권1호
• /
• pp.33-43
• /
• 2020

Retrieving a 3D model from a 3D database and augmenting the retrieved model in the Augmented Reality system simultaneously became an issue in developing the plausible AR environments in a convenient fashion. It is considered that the sketch-based 3D object retrieval is an intuitive way for searching 3D objects based on human-drawn sketches as query. In this paper, we propose a novel deep learning based approach of retrieving a sketch-based 3D object as for an Augmented Reality Model. For this work, we introduce a new method which uses Sketch CNN, Wasserstein CNN and Wasserstein center loss for retrieving a sketch-based 3D object. Especially, Wasserstein center loss is used for learning the center of each object category and reducing the Wasserstein distance between center and features of the same category. The proposed 3D object retrieval and augmentation consist of three major steps as follows. Firstly, Wasserstein CNN extracts 2D images taken from various directions of 3D object using CNN, and extracts features of 3D data by computing the Wasserstein barycenters of features of each image. Secondly, the features of the sketch are extracted using a separate Sketch CNN. Finally, we adopt sketch-based object matching method to localize the natural marker of the images to register a 3D virtual object in AR system. Using the detected marker, the retrieved 3D virtual object is augmented in AR system automatically. By the experiments, we prove that the proposed method is efficiency for retrieving and augmenting objects.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.703-712
• /
• 2003

디지털 기술의 발달과 인터넷의 대중화에 더불어 영상데이타의 생산과 교환이 더 자유로워짐에 따라 디지털 도서관, 영상처리, 데이타베이스 시스템과 같은 연구분야에서 내용기반 영상검색에 대한 관심이 높아지고 있다. 일반적으로 ´영상에 의한 질의´의 경우 사용자가 마음에 드는 영상이 없더라도 반듯이 진의 영상을 데이타베이스로부터 선택해야 하지만, ´스케치에 의한 질의´는 사용자의 생각에 따라 영상온 그림으로 표현할 수 있으므로 최근에 가장 많이 사용되는 질의 방법 중 하나이다. 본 논문에서는 스케치 진의와 영상 분류 방법을 이용하는 사바 기반의 영상검색 시스템을 제안한다. 본 시스템에서는 유사영상을 검색하기 위해 영상으로부터 색상 히스토그램과 Haar-웨이블릿 계수를 사용하고, leave-one-out 방법을 이용하여 영상을 분류하도록 하였다. 본 논문에서는 사진-그림, 자연 도시 등의 영상 분류론 통해 영상의 의미정보를 추출할 수 있을 뿐 아니라, 사용자 질의 영상을 분류하여, 질의 영상이 갖고 있는 의미공간으로 검색 공간을 축소하여 검색 시간을 단축시키는 효율성을 얻을 수 있었다.

• 정보과학회 논문지
• /
• 제41권10호
• /
• pp.838-846
• /
• 2014

터치기반 스마트 기기의 발달에 따라, 사용자가 펜/손가락을 이용하여 그린 스케치를 기반으로 다양한 멀티미디어 검색 기술은 컴퓨터 비전, 컴퓨터 그래픽스, 패턴인식, HCI 분야에서 많은 각광을 받고 있다. 하지만, 기존의 텍스트 정보를 기반으로 한 검색 시스템은 사용자가 원하는 멀티미디어 데이터를 정확히 검색하는데 한계가 있다. 따라서, 멀티미디어 자체가 가지고 있는 정보를 이용하여 검색할 수 있는 내용 기반 멀티미디어 검색에 관한 연구가 필요하게 되었다. 본 논문에서는 Hybrid Edge Descriptor(HED)를 사용한 웹 환경에서의 사용자가 스케치로부터 3차원 모델을 검색할 수 있는 시스템을 제안한다. 3차원 모델로부터 다양한 방향으로 투영된 suggestive contour 영상 및 사용자가 그린 스케치 영상으로부터 전역/지역 히스토그램 분석을 이용한 HED 검색자를 통해 회전 및 이동에 강인한 3차원 모델 검색 시스템을 제안한다.

• 한국통신학회논문지
• /
• 제30권8C호
• /
• pp.783-792
• /
• 2005

본 논문은 애니메이션 캐릭터를 대상으로 한 스케치 기반 영상 검색의 특징 추출 방법을 제안한다. 우리는 특징 영역의 추출을 위해서 영상에서의 장면 전환 검출 기법, 프레임 사이의 대응점 검출 기법 및 애니메이션 제작과정의 특성을 이용한다. 추출된 특징 영역에서 유사한 색상들이 집중된 영역들을 검출한다. 각 영역들의 색상, 크기 그리고 영역간의 관계로 영상 검색을 위한 특징으로 사용한다. 최종적으로 애니메이션 제작 특성과 사용자의 스케치를 질의 영상으로 사용하여 유사한 캐릭터를 검색한다.

• 인터넷정보학회논문지
• /
• 제10권6호
• /
• pp.113-121
• /
• 2009

본 논문에서는 지역적으로 서로 다른 감성을 지닌 영상을 검출하기 위해서 감성 스케치를 이용한 영상 검색 시스템을 제안 하였다. 제안하는 검색 시스템은 영상을 $17{\times}17$의 겹치지 않는 부분영역으로 나누고, 각 부분영역에 대한 감성 특징을 추출한다. 본 논문에서는 부분영역 내에서 감성 특징을 추출하기 위해서, H. Nagumo의 배색이미지차트에서 제안하는 160개 감성어에 대한 감성 색상을 이용하였다. 부분영역으로부터 해당 감성어에 대한 감성 색상의 분포정도를 계산하여 각 부분영역의 감성어에 대한 히스토그램 값 중 가장 큰 값을 지닌 감성어를 취하게 된다. 제안하는 감성 스케치를 이용한 영상 검색 시스템은 Corel 영상 데이터베이스에 대해서 유효성을 평가하여, 전역적 방법보다 우수한 검색 정확도와 재현도를 가짐을 보여주었다.

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.91-99
• /
• 2018

스케치 기반 3차원 물체 검색은 다양한 3차원 물체를 사람이 손으로 그린 스케치를 질의(query)로 사용하여 물체를 편리하게 검색하는 방법이다. 본 논문에서는 스케치 기반 3차원 물체 검색을 위해 스케치 CNN(Convolutional Neural Network)과 Wasserstein CNN 모델에 Wasserstein Center 손실을 적용하여 물체의 검색 성공률을 향상시키는 새로운 방법을 제안한다. 제안된 Wasserstein Center 손실이란 각 물체의 클래스(category)의 중심을 학습하고, 동일한 클래스의 특징과 중심 간의 Wasserstein 거리가 작아지도록 만드는 방법이다. 이를 위하여 제안된 3차원 물체 검색은 다음의 단계로 수행된다. 첫 번째로, 3차원 물체의 특징은 3차원 물체를 여러 방향에서 촬영된 2차원 영상의 특징을 CNN을 이용하여 추출하고, 각 영상 특징의 Wasserstein 중심을 계산한다. 두 번째로, 스케치의 특징은 별도의 스케치 CNN을 이용하여 추출하였다. 마지막으로, 추출한 3차원 물체의 특징과 스케치의 특징을 본 논문에서 제안한 Wasserstein Center 손실을 이용하여 학습하고 스케치 기반의 3차원 물체 검색에 적용하였다. 본 논문에서 제안한 방법의 우수성을 입증하기 위하여 SHREC 13과 SHREC 14의 두 가지 벤치마크 데이터 집합을 이용하여 평가하였으며, 제안된 방법이 기존의 스케치 기반 검색방법들과 비교하여 모든 측정 기준에서 우수한 결과를 나타냄을 확인할 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권5호
• /
• pp.551-562
• /
• 2000

영상의 시각적 특성을 이용하여 영상 데이타베이스를 검색하는 내용 기반 영상 검색 시스템에서 사용자가 직접 작성한 질의 영상에 존재하는 불완전성을 극복하기 위하여, 물체의 정확한 좌표값 대신 물체간의 위치 관계를 비교하는 기법이 많이 사용된다. 본 논문에서는 물체간의 8 방향 위치 관계 정보를 이용하여 영상을 검색하는 시스템을 위한 질의 변환 알고리즘을 제안한다. 제안된 알고리즘은 영상내에 존재하는 물체들간의 위치 관계에 추이성(transitivity)이 존재하는 경우 정보가 중복된다는 사실로부터, 질의에 존재하는 추이성을 모두 제거함으로써 질의 영상을 최소 에지의 그래프로 변환한다. 제안된 알고리즘에 의해 생성된 프라임 에지 그래프는 동일한 위상 관계(topology)를 표현하는 그래프 중 최소 개수의 에지를 가지게 되므로 검색 중의 위치 관계 비교 회수를 최적화 할 수 있다. 실험 결과, 위치 관계의 추이성을 고려하지 않은 기존 알고리즘에 비해 평균 비교 회수를 크게 감소시켜 탐색 모듈의 효율을 향상시킴을 알 수 있다

• 방송공학회논문지
• /
• 제9권2호
• /
• pp.151-163
• /
• 2004

본 논문에서는 비디오의 효율적인 검색과 관리를 위해 MPEG-7 표준에 따른 내용기반 비디오 검색 시스템을 제안한다. 제안된 시스템은 비디오 DB 구축을 위한 인덱싱 모듈과 웹을 통한 비디오 검색 모듈로 구성되며 검색 모듈에서는 다양한 질의 방법을 지원한다. 비디오 인덱싱 모듈은 관리자가 입력한 키워드, 인덱싱 모듈이 자동으로 추출한 등장 인물 정보와 MPEG-7 비주얼 서술자와 같은 메타데이터를 서버에 저장한다. 일반 사용자는 웹을 통해 검색 모듈에 접근하며 키워드, 얼굴 예제 및 스케치 질의와 같은 다양한 질의 방법을 통해 원하는 비디오를 검색할 수 있다. 이러한 비디오 검색 시스템을 구성하기 위해서 본 논문에서는 효율적인 비디오 인덱싱을 위한 장면 전환 검출 방법으로 ATC(Adaptive Twin Comparison)와 사용자 편의성을 위한 개선된 내용기반 질의 방법으로 QBME(Query By Modified Example)를 제안한다. 실험에서 제안된 장면 전환 검출 방법이 기존의 방법보다 우수함을 보였고, 제안된 질의 방법을 통해 기존의 질의 방법인 QBE(Query By Example)나 QBS(Query By Sketch) 보다 사용자에게 검색의 편의성을 제공할 수 있음을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제10권5호
• /
• pp.17-26
• /
• 2005

최근 각종 정보가 증가함에 따라 효율적인 관리를 위해 정보 검색에 관한 연구가 더욱 활기를 띠고 있다. 현재 웹 환경에서 운영되고 있는 국내 유물 검색시스템의 경우 대부분이 키워드 기반의 텍스트 검색 방식을 채택하고 있다. 이러한 텍스트 검색 방식은 그 유물에 대한 정확한 이름이나 키워드를 질의자 (user)가 미리 알고 있어야 한다. 하지만 검색대상에 관한 정보가 부족하여 키워드가 모호하거나 단순히 형상에 관한 기억만 있을 경우에는 검색이 쉽지 않았다. 이 논문에서는 기존 유물 검색 시스템의 문제점을 해결하기 위해 온톨로지 기반의 택스트 질의와 사용자 스케치 이미지 질의를 사용하는 자바 기반의 혼합형 유물 검색시스템을 제안한다. 이 시스템은 국내 유물들을 대상으로 사용자가 기억하고 있는 유물에 관한 정보의 형태(택스트, 형상 등)에 따라 다양한 질의방법을 제공하며, 검색결과 내에서 온톨로지 의미관계를 이용한 추가검색이 가능하다.