• 인터넷정보학회논문지
• /
• 제21권1호
• /
• pp.33-43
• /
• 2020

Retrieving a 3D model from a 3D database and augmenting the retrieved model in the Augmented Reality system simultaneously became an issue in developing the plausible AR environments in a convenient fashion. It is considered that the sketch-based 3D object retrieval is an intuitive way for searching 3D objects based on human-drawn sketches as query. In this paper, we propose a novel deep learning based approach of retrieving a sketch-based 3D object as for an Augmented Reality Model. For this work, we introduce a new method which uses Sketch CNN, Wasserstein CNN and Wasserstein center loss for retrieving a sketch-based 3D object. Especially, Wasserstein center loss is used for learning the center of each object category and reducing the Wasserstein distance between center and features of the same category. The proposed 3D object retrieval and augmentation consist of three major steps as follows. Firstly, Wasserstein CNN extracts 2D images taken from various directions of 3D object using CNN, and extracts features of 3D data by computing the Wasserstein barycenters of features of each image. Secondly, the features of the sketch are extracted using a separate Sketch CNN. Finally, we adopt sketch-based object matching method to localize the natural marker of the images to register a 3D virtual object in AR system. Using the detected marker, the retrieved 3D virtual object is augmented in AR system automatically. By the experiments, we prove that the proposed method is efficiency for retrieving and augmenting objects.

• 정보과학회 논문지
• /
• 제41권10호
• /
• pp.838-846
• /
• 2014

터치기반 스마트 기기의 발달에 따라, 사용자가 펜/손가락을 이용하여 그린 스케치를 기반으로 다양한 멀티미디어 검색 기술은 컴퓨터 비전, 컴퓨터 그래픽스, 패턴인식, HCI 분야에서 많은 각광을 받고 있다. 하지만, 기존의 텍스트 정보를 기반으로 한 검색 시스템은 사용자가 원하는 멀티미디어 데이터를 정확히 검색하는데 한계가 있다. 따라서, 멀티미디어 자체가 가지고 있는 정보를 이용하여 검색할 수 있는 내용 기반 멀티미디어 검색에 관한 연구가 필요하게 되었다. 본 논문에서는 Hybrid Edge Descriptor(HED)를 사용한 웹 환경에서의 사용자가 스케치로부터 3차원 모델을 검색할 수 있는 시스템을 제안한다. 3차원 모델로부터 다양한 방향으로 투영된 suggestive contour 영상 및 사용자가 그린 스케치 영상으로부터 전역/지역 히스토그램 분석을 이용한 HED 검색자를 통해 회전 및 이동에 강인한 3차원 모델 검색 시스템을 제안한다.

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.91-99
• /
• 2018

스케치 기반 3차원 물체 검색은 다양한 3차원 물체를 사람이 손으로 그린 스케치를 질의(query)로 사용하여 물체를 편리하게 검색하는 방법이다. 본 논문에서는 스케치 기반 3차원 물체 검색을 위해 스케치 CNN(Convolutional Neural Network)과 Wasserstein CNN 모델에 Wasserstein Center 손실을 적용하여 물체의 검색 성공률을 향상시키는 새로운 방법을 제안한다. 제안된 Wasserstein Center 손실이란 각 물체의 클래스(category)의 중심을 학습하고, 동일한 클래스의 특징과 중심 간의 Wasserstein 거리가 작아지도록 만드는 방법이다. 이를 위하여 제안된 3차원 물체 검색은 다음의 단계로 수행된다. 첫 번째로, 3차원 물체의 특징은 3차원 물체를 여러 방향에서 촬영된 2차원 영상의 특징을 CNN을 이용하여 추출하고, 각 영상 특징의 Wasserstein 중심을 계산한다. 두 번째로, 스케치의 특징은 별도의 스케치 CNN을 이용하여 추출하였다. 마지막으로, 추출한 3차원 물체의 특징과 스케치의 특징을 본 논문에서 제안한 Wasserstein Center 손실을 이용하여 학습하고 스케치 기반의 3차원 물체 검색에 적용하였다. 본 논문에서 제안한 방법의 우수성을 입증하기 위하여 SHREC 13과 SHREC 14의 두 가지 벤치마크 데이터 집합을 이용하여 평가하였으며, 제안된 방법이 기존의 스케치 기반 검색방법들과 비교하여 모든 측정 기준에서 우수한 결과를 나타냄을 확인할 수 있었다.