• 인터넷정보학회논문지
• /
• 제21권1호
• /
• pp.33-43
• /
• 2020

Retrieving a 3D model from a 3D database and augmenting the retrieved model in the Augmented Reality system simultaneously became an issue in developing the plausible AR environments in a convenient fashion. It is considered that the sketch-based 3D object retrieval is an intuitive way for searching 3D objects based on human-drawn sketches as query. In this paper, we propose a novel deep learning based approach of retrieving a sketch-based 3D object as for an Augmented Reality Model. For this work, we introduce a new method which uses Sketch CNN, Wasserstein CNN and Wasserstein center loss for retrieving a sketch-based 3D object. Especially, Wasserstein center loss is used for learning the center of each object category and reducing the Wasserstein distance between center and features of the same category. The proposed 3D object retrieval and augmentation consist of three major steps as follows. Firstly, Wasserstein CNN extracts 2D images taken from various directions of 3D object using CNN, and extracts features of 3D data by computing the Wasserstein barycenters of features of each image. Secondly, the features of the sketch are extracted using a separate Sketch CNN. Finally, we adopt sketch-based object matching method to localize the natural marker of the images to register a 3D virtual object in AR system. Using the detected marker, the retrieved 3D virtual object is augmented in AR system automatically. By the experiments, we prove that the proposed method is efficiency for retrieving and augmenting objects.

• 정보과학회 논문지
• /
• 제41권10호
• /
• pp.838-846
• /
• 2014

터치기반 스마트 기기의 발달에 따라, 사용자가 펜/손가락을 이용하여 그린 스케치를 기반으로 다양한 멀티미디어 검색 기술은 컴퓨터 비전, 컴퓨터 그래픽스, 패턴인식, HCI 분야에서 많은 각광을 받고 있다. 하지만, 기존의 텍스트 정보를 기반으로 한 검색 시스템은 사용자가 원하는 멀티미디어 데이터를 정확히 검색하는데 한계가 있다. 따라서, 멀티미디어 자체가 가지고 있는 정보를 이용하여 검색할 수 있는 내용 기반 멀티미디어 검색에 관한 연구가 필요하게 되었다. 본 논문에서는 Hybrid Edge Descriptor(HED)를 사용한 웹 환경에서의 사용자가 스케치로부터 3차원 모델을 검색할 수 있는 시스템을 제안한다. 3차원 모델로부터 다양한 방향으로 투영된 suggestive contour 영상 및 사용자가 그린 스케치 영상으로부터 전역/지역 히스토그램 분석을 이용한 HED 검색자를 통해 회전 및 이동에 강인한 3차원 모델 검색 시스템을 제안한다.

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.91-99
• /
• 2018

스케치 기반 3차원 물체 검색은 다양한 3차원 물체를 사람이 손으로 그린 스케치를 질의(query)로 사용하여 물체를 편리하게 검색하는 방법이다. 본 논문에서는 스케치 기반 3차원 물체 검색을 위해 스케치 CNN(Convolutional Neural Network)과 Wasserstein CNN 모델에 Wasserstein Center 손실을 적용하여 물체의 검색 성공률을 향상시키는 새로운 방법을 제안한다. 제안된 Wasserstein Center 손실이란 각 물체의 클래스(category)의 중심을 학습하고, 동일한 클래스의 특징과 중심 간의 Wasserstein 거리가 작아지도록 만드는 방법이다. 이를 위하여 제안된 3차원 물체 검색은 다음의 단계로 수행된다. 첫 번째로, 3차원 물체의 특징은 3차원 물체를 여러 방향에서 촬영된 2차원 영상의 특징을 CNN을 이용하여 추출하고, 각 영상 특징의 Wasserstein 중심을 계산한다. 두 번째로, 스케치의 특징은 별도의 스케치 CNN을 이용하여 추출하였다. 마지막으로, 추출한 3차원 물체의 특징과 스케치의 특징을 본 논문에서 제안한 Wasserstein Center 손실을 이용하여 학습하고 스케치 기반의 3차원 물체 검색에 적용하였다. 본 논문에서 제안한 방법의 우수성을 입증하기 위하여 SHREC 13과 SHREC 14의 두 가지 벤치마크 데이터 집합을 이용하여 평가하였으며, 제안된 방법이 기존의 스케치 기반 검색방법들과 비교하여 모든 측정 기준에서 우수한 결과를 나타냄을 확인할 수 있었다.

• 전기학회논문지
• /
• 제59권2호
• /
• pp.429-435
• /
• 2010

Three dimensional (3-D) object detection and pose estimation from a single view query image has been an important issue in various fields such as medical applications, robot vision, and manufacturing automation. However, most of the existing methods are not appropriate in a real time environment since object detection and pose estimation requires extensive information and computation. In this paper, we present a fast 3-D object detection and pose estimation scheme based on surrounding camera view-changed images of objects. Our scheme has two parts. First, we detect images similar to the query image from the database based on the shape feature, and calculate candidate poses. Second, we perform accurate pose estimation for the candidate poses using the scale invariant feature transform (SIFT) method. We earned out extensive experiments on our prototype system and achieved excellent performance, and we report some of the results.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권8호
• /
• pp.3806-3825
• /
• 2016

This paper brings out a neoteric frame of reference for visual semantic based 3d video search and retrieval applications. Newfangled 3D retrieval application spotlight on shape analysis like object matching, classification and retrieval not only sticking up entirely with video retrieval. In this ambit, we delve into 3D-CBVR (Content Based Video Retrieval) concept for the first time. For this purpose we intent to hitch on BOVW and Mapreduce in 3D framework. Here, we tried to coalesce shape, color and texture for feature extraction. For this purpose, we have used combination of geometric & topological features for shape and 3D co-occurrence matrix for color and texture. After thriving extraction of local descriptors, TB-PCT (Threshold Based- Predictive Clustering Tree) algorithm is used to generate visual codebook. Further, matching is performed using soft weighting scheme with L₂ distance function. As a final step, retrieved results are ranked according to the Index value and produce results .In order to handle prodigious amount of data and Efficacious retrieval, we have incorporated HDFS in our Intellection. Using 3D video dataset, we fiture the performance of our proposed system which can pan out that the proposed work gives meticulous result and also reduce the time intricacy.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(4)
• /
• pp.57-60
• /
• 2001

In this paper, we propose a new 3D object retrieval system using the shape information of 2D silhouette images. 2D images at different view points are derived from a 3D model and linked to the model. Shape feature of 2D image is extracted by a region-based descriptor. In the experiment, we compare the results of the proposed system with those of the system using curvature scale space(CSS) to show the efficiency of our system.

• 방송공학회논문지
• /
• 제14권1호
• /
• pp.81-84
• /
• 2009

본 논문은 시점에 따른 형상의 변화를 이용하여 물체의 특성을 나타내는 기법을 제안한다. 구체적으로, 3차원 물체의 여러 시점별 형상을 추출한 후, 이를 지역적 선형 사상을 통해 차원 축소하여 저차원 분포를 생성하고, 이를 이용하여 물체의 특성을 나타낸다. 또한, 생성된 점집합들에 반복적 최근접점 기법 및 푸리에 변환을 적용하여 유사한 모델을 검색하는 기법과 그 결과를 제시한다. 제안하는 기법은 다양한 시점에서의 형상 자체만이 아니라 시점에 따른 형상의 변화도 물체의 특성을 표현한다는 것을 보여주며, 검색 등 물체 특성을 표현하는데 적용될 것으로 기대된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권3호
• /
• pp.670-684
• /
• 2024

3D Cross-Modal Retrieval (3DCMR) is a task that retrieves 3D objects regardless of modalities, such as images, meshes, and point clouds. One of the most prominent methods used for 3DCMR is the Cross-Modal Center Loss Function (CLF) which applies the conventional center loss strategy for 3D cross-modal search and retrieval. Since CLF is based on center loss, the center features in CLF are also susceptible to subtle changes in hyperparameters and external inferences. For instance, performance degradation is observed when the batch size is too small. Furthermore, the Mean Squared Error (MSE) used in CLF is unable to adapt to changes in batch size and is vulnerable to data variations that occur during actual inference due to the use of simple Euclidean distance between multi-modal features. To address the problems that arise from small batch training, we propose a Noisy Center Loss (NCL) method to estimate the optimal center features. In addition, we apply the simple Siamese representation learning method (SimSiam) during optimal center feature estimation to compare projected features, making the proposed method robust to changes in batch size and variations in data. As a result, the proposed approach demonstrates improved performance in ModelNet40 dataset compared to the conventional methods.

• 대한전자공학회논문지SP
• /
• 제44권3호
• /
• pp.33-41
• /
• 2007

멀티미디어 기술과 통신 기술의 발달로 다양한 멀티미디어 데이터를 쉽게 접할 수 있게 되었고 그 양도 급격하게 증가하고 있다. 이에 따라 3차원 모델을 검색하기 위한 시스템의 필요성이 부각되고 있으며 이를 위해서는 3차원 모델의 형태 정보를 효과적으로 기술하는 형태 기술자가 필요하다. 본 논문에서는 3차원 모델을 검색하기 위한 형태 기반 기술자를 추출하는 새로운 방법을 제안한다. 제안하는 형태 기반 기술자는 객체의 지역적인 특성을 나타내는 형태 인덱스와 곡면의 굽은 정도를 결합한 기술자이다. 형태 인덱스의 분포를 사용하는 기존의 3차원 형태 스펙트럼 기술자는 표면의 모양만 고려할 뿐 곡면의 굽은 정도는 고려하지 않는다. 그렇기 때문에 곡면의 굽은 정도가 다른 경우에도 그 특징값이 같을 수도 있다는 단점이 있다. 본 논문에서는 곡면의 굽은 정도를 나타낼 수 있는 특징값을 추가함으로써 이를 해결한다. 형태 인덱스와 곡면의 굽은 정도를 결합한 새로운 기술자는 매우 적은 특징 정보만을 추가함으로써 성능 향상 효과를 얻을 수 있다. 제안하는 방법을 기존의 방법과 비교하여 검색 성능을 평가한 결과 23.6%의 성능 향상을 보이고 있다.

• 한국정보과학회논문지:데이타베이스
• /
• 제32권4호
• /
• pp.383-393
• /
• 2005

멀티미디어 데이타베이스에서 이미지를 검색하기 위해 공간관계를 이용하는 것은 비주얼한 인터페이스 시스템을 통해서 효율적으로 수행할 수 있다. 시스템에서 이미지의 객체들은 2D 스트링으로 표현되고, 이것은 이미지 내의 객체를 추상화 하는 방법으로 객체의 심볼릭 프로젝션을 통해서 생성된다. 그러나 2D 스트링 표현기법을 이용한 이미지 객체간의 공간관계는 정확하지 않기 때문에 3D 이미지를 검색할 때 정확도가 떨어진다. 이러한 문제점을 해결하기위해 본 논문에서는 3D 이미지를 위한 공간 연산자를 이용한 공간관계를 제안하고, 이미지의 공간관계에서 중복되는 부분을 제거하기 위해 여러 가지 추론규칙을 이용한다. 이러한 규칙을 기반으로 하는 추론기법은 내용을 이용해 이미지를 검색할 때 질의 처리 시스템에서 사용되고, 기존의 방법보다 정확도와 융통성이 높다.