• International Journal of CAD/CAM
• /
• 제7권1호
• /
• pp.113-120
• /
• 2007

Sketch based query plays an important role in shape matching for 3D shape retrieval system. Some researchers suggest the sketch based query interfaces. It is more effective to capture the needs of users rather than query by example. In this paper, we propose a new 2D sketch based query interface with coarse filters for shape matching. Coarse filtering enables to eliminate unfavorable shapes from shapes in DB. For the purpose of coarse filtering, we use two filters with the topological and geometric patterns. For the validity of our method, we show the experimental results.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.703-712
• /
• 2003

디지털 기술의 발달과 인터넷의 대중화에 더불어 영상데이타의 생산과 교환이 더 자유로워짐에 따라 디지털 도서관, 영상처리, 데이타베이스 시스템과 같은 연구분야에서 내용기반 영상검색에 대한 관심이 높아지고 있다. 일반적으로 ´영상에 의한 질의´의 경우 사용자가 마음에 드는 영상이 없더라도 반듯이 진의 영상을 데이타베이스로부터 선택해야 하지만, ´스케치에 의한 질의´는 사용자의 생각에 따라 영상온 그림으로 표현할 수 있으므로 최근에 가장 많이 사용되는 질의 방법 중 하나이다. 본 논문에서는 스케치 진의와 영상 분류 방법을 이용하는 사바 기반의 영상검색 시스템을 제안한다. 본 시스템에서는 유사영상을 검색하기 위해 영상으로부터 색상 히스토그램과 Haar-웨이블릿 계수를 사용하고, leave-one-out 방법을 이용하여 영상을 분류하도록 하였다. 본 논문에서는 사진-그림, 자연 도시 등의 영상 분류론 통해 영상의 의미정보를 추출할 수 있을 뿐 아니라, 사용자 질의 영상을 분류하여, 질의 영상이 갖고 있는 의미공간으로 검색 공간을 축소하여 검색 시간을 단축시키는 효율성을 얻을 수 있었다.

• 방송공학회논문지
• /
• 제9권2호
• /
• pp.151-163
• /
• 2004

본 논문에서는 비디오의 효율적인 검색과 관리를 위해 MPEG-7 표준에 따른 내용기반 비디오 검색 시스템을 제안한다. 제안된 시스템은 비디오 DB 구축을 위한 인덱싱 모듈과 웹을 통한 비디오 검색 모듈로 구성되며 검색 모듈에서는 다양한 질의 방법을 지원한다. 비디오 인덱싱 모듈은 관리자가 입력한 키워드, 인덱싱 모듈이 자동으로 추출한 등장 인물 정보와 MPEG-7 비주얼 서술자와 같은 메타데이터를 서버에 저장한다. 일반 사용자는 웹을 통해 검색 모듈에 접근하며 키워드, 얼굴 예제 및 스케치 질의와 같은 다양한 질의 방법을 통해 원하는 비디오를 검색할 수 있다. 이러한 비디오 검색 시스템을 구성하기 위해서 본 논문에서는 효율적인 비디오 인덱싱을 위한 장면 전환 검출 방법으로 ATC(Adaptive Twin Comparison)와 사용자 편의성을 위한 개선된 내용기반 질의 방법으로 QBME(Query By Modified Example)를 제안한다. 실험에서 제안된 장면 전환 검출 방법이 기존의 방법보다 우수함을 보였고, 제안된 질의 방법을 통해 기존의 질의 방법인 QBE(Query By Example)나 QBS(Query By Sketch) 보다 사용자에게 검색의 편의성을 제공할 수 있음을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권5호
• /
• pp.551-562
• /
• 2000

영상의 시각적 특성을 이용하여 영상 데이타베이스를 검색하는 내용 기반 영상 검색 시스템에서 사용자가 직접 작성한 질의 영상에 존재하는 불완전성을 극복하기 위하여, 물체의 정확한 좌표값 대신 물체간의 위치 관계를 비교하는 기법이 많이 사용된다. 본 논문에서는 물체간의 8 방향 위치 관계 정보를 이용하여 영상을 검색하는 시스템을 위한 질의 변환 알고리즘을 제안한다. 제안된 알고리즘은 영상내에 존재하는 물체들간의 위치 관계에 추이성(transitivity)이 존재하는 경우 정보가 중복된다는 사실로부터, 질의에 존재하는 추이성을 모두 제거함으로써 질의 영상을 최소 에지의 그래프로 변환한다. 제안된 알고리즘에 의해 생성된 프라임 에지 그래프는 동일한 위상 관계(topology)를 표현하는 그래프 중 최소 개수의 에지를 가지게 되므로 검색 중의 위치 관계 비교 회수를 최적화 할 수 있다. 실험 결과, 위치 관계의 추이성을 고려하지 않은 기존 알고리즘에 비해 평균 비교 회수를 크게 감소시켜 탐색 모듈의 효율을 향상시킴을 알 수 있다

• 정보관리연구
• /
• 제42권3호
• /
• pp.71-94
• /
• 2011

시각적 실례에 의한 질의는 내용기반 이미지 검색 환경에서 질의 표현을 위한 중요한 질의 패러다임이다. 이미지 및 스케치에 의한 질의는 질의표현을 가능하게 하는 방법으로서 오랫동안 알려졌다. 하지만 이 방법이 질의를 쉽게 작성하는 데 얼마나 도움을 주는지에 대한 효율성에 대한 실험적 입증은 아직 미미하다. 정보검색시스템에 표현하는 탐색자의 능력은 검색과정의 기본이다. 이 연구의 목적은 탐색자의 정보 문제와 효율적이고도 효과적인 시각적 질의 작성을 지원하기 위해 필요한 질의 방법들 간의 지식 격차의 원인이 되는 다양한 정보 요구를 지원하는 데 있어서 유용성 실험을 통해 이미지에 의한 질의와 스케치방법에 의한 질의 조사하기 위함이었다. 본 연구 결과는 이미지에 의한 질의가 시각적 질의 작성에 실행 가능한 접근방식임을 제시한다. 반면에, 본 연구결과를 통해 탐색자의 정보 문제와 시각적인 질의 작성에 도움을 주는 스케치 패러다임에 의한 질의표현 능력 간에 상당한 불일치가 있다는 것을 알 수 있다. 효율(시간)과 유효성(오류)에 초점을 둔 유용성 실험결과와 이용자의 만족도는 큰 차이점이 있다고 보여준다(p<0.001). 이는 다음 세 가지 측정(시간, 오류, 이용자의 만족도)에 대한 두 가지 질의 방식(이미지에 의한 질의, 스케치에 의한 질의) 사이에서 나타난 시간(Z=-3.597, p<0.001), 오류(Z=-3.317, p<0.001), 그리고 만족도(Z=-10.223, p<0.001)에서 드러난다. 본 연구결과는 또한 질의도구를 참가자가 인지하는 유용성에 큰 차이가 있다는 것을 보여준다(Z=-4.672, p<0.001).

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.41-49
• /
• 2000

본 논문에서는 감시 비디오의 검색을 위해 객체 단위의 특징을 이용한 새로운 비디오 색인 및 탐색 방법을 제안한다. 의미론적인 레벨에서 각각의 객체에 접근하기 위해 객체의 움직임 궤적 모델을 색인 인자(Key)로 이용하였다. 객체 움직임 궤적을 이용한 내용 기반의 비디오 색인을 위해 비디오 시퀀스에서 움직임 분할에 의해 객체를 검지한 다음, 분할된 객체를 추적하여 움직임 궤적을 생성하고 이를 기호적인 표현으로 모델링한다. 제안된 검색 시스템은 query by example, query by sketch 및 query on weighting parameters 등의 사건 기반의 비디오 검색을 위한 다양한 질의 유형을 지원할 수 있도록 설계되었다. 관심있는 비디오 클립(clip)을 검색했을 때, 제안된 시스템은 유사도에 따라 순서대로 정합된 사건들을 결과로 출력한다.

• 정보과학회 논문지
• /
• 제41권10호
• /
• pp.838-846
• /
• 2014

터치기반 스마트 기기의 발달에 따라, 사용자가 펜/손가락을 이용하여 그린 스케치를 기반으로 다양한 멀티미디어 검색 기술은 컴퓨터 비전, 컴퓨터 그래픽스, 패턴인식, HCI 분야에서 많은 각광을 받고 있다. 하지만, 기존의 텍스트 정보를 기반으로 한 검색 시스템은 사용자가 원하는 멀티미디어 데이터를 정확히 검색하는데 한계가 있다. 따라서, 멀티미디어 자체가 가지고 있는 정보를 이용하여 검색할 수 있는 내용 기반 멀티미디어 검색에 관한 연구가 필요하게 되었다. 본 논문에서는 Hybrid Edge Descriptor(HED)를 사용한 웹 환경에서의 사용자가 스케치로부터 3차원 모델을 검색할 수 있는 시스템을 제안한다. 3차원 모델로부터 다양한 방향으로 투영된 suggestive contour 영상 및 사용자가 그린 스케치 영상으로부터 전역/지역 히스토그램 분석을 이용한 HED 검색자를 통해 회전 및 이동에 강인한 3차원 모델 검색 시스템을 제안한다.

• 인터넷정보학회논문지
• /
• 제21권1호
• /
• pp.33-43
• /
• 2020

Retrieving a 3D model from a 3D database and augmenting the retrieved model in the Augmented Reality system simultaneously became an issue in developing the plausible AR environments in a convenient fashion. It is considered that the sketch-based 3D object retrieval is an intuitive way for searching 3D objects based on human-drawn sketches as query. In this paper, we propose a novel deep learning based approach of retrieving a sketch-based 3D object as for an Augmented Reality Model. For this work, we introduce a new method which uses Sketch CNN, Wasserstein CNN and Wasserstein center loss for retrieving a sketch-based 3D object. Especially, Wasserstein center loss is used for learning the center of each object category and reducing the Wasserstein distance between center and features of the same category. The proposed 3D object retrieval and augmentation consist of three major steps as follows. Firstly, Wasserstein CNN extracts 2D images taken from various directions of 3D object using CNN, and extracts features of 3D data by computing the Wasserstein barycenters of features of each image. Secondly, the features of the sketch are extracted using a separate Sketch CNN. Finally, we adopt sketch-based object matching method to localize the natural marker of the images to register a 3D virtual object in AR system. Using the detected marker, the retrieved 3D virtual object is augmented in AR system automatically. By the experiments, we prove that the proposed method is efficiency for retrieving and augmenting objects.

• 한국산업정보학회논문지
• /
• 제9권4호
• /
• pp.26-31
• /
• 2004

최근에 웹의 폭발적 사용의 증가에 따라, WWW에서 많은 정보를 좀 더 손쉽게 획득할 수 있다. 본 논문에서 H에서 웹 에이전트를 사용하여 이미지를 검색하는 일반적인 내용기반 이미지 검색 시스템을 제안한다. 웹 에이전트는 웹 상에서 HTML문서에 나타나는 텍스트 중 이미지 이름이나 링크에 붙어 있는 이미지를 의미하는 텍스트를 추출한다. 제안된 시스템은 웹 브라우저에서 사용자의 스케치와 예제 이미지 질의를 이용하여 데이터베이스에 있는 이미지를 검색하는 방법을 제시하여 실험결과를 통해서 질의 효율성을 나타내었다.

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.91-99
• /
• 2018

스케치 기반 3차원 물체 검색은 다양한 3차원 물체를 사람이 손으로 그린 스케치를 질의(query)로 사용하여 물체를 편리하게 검색하는 방법이다. 본 논문에서는 스케치 기반 3차원 물체 검색을 위해 스케치 CNN(Convolutional Neural Network)과 Wasserstein CNN 모델에 Wasserstein Center 손실을 적용하여 물체의 검색 성공률을 향상시키는 새로운 방법을 제안한다. 제안된 Wasserstein Center 손실이란 각 물체의 클래스(category)의 중심을 학습하고, 동일한 클래스의 특징과 중심 간의 Wasserstein 거리가 작아지도록 만드는 방법이다. 이를 위하여 제안된 3차원 물체 검색은 다음의 단계로 수행된다. 첫 번째로, 3차원 물체의 특징은 3차원 물체를 여러 방향에서 촬영된 2차원 영상의 특징을 CNN을 이용하여 추출하고, 각 영상 특징의 Wasserstein 중심을 계산한다. 두 번째로, 스케치의 특징은 별도의 스케치 CNN을 이용하여 추출하였다. 마지막으로, 추출한 3차원 물체의 특징과 스케치의 특징을 본 논문에서 제안한 Wasserstein Center 손실을 이용하여 학습하고 스케치 기반의 3차원 물체 검색에 적용하였다. 본 논문에서 제안한 방법의 우수성을 입증하기 위하여 SHREC 13과 SHREC 14의 두 가지 벤치마크 데이터 집합을 이용하여 평가하였으며, 제안된 방법이 기존의 스케치 기반 검색방법들과 비교하여 모든 측정 기준에서 우수한 결과를 나타냄을 확인할 수 있었다.