• 제목/요약/키워드: Wasserstein distance

검색결과 14건 처리시간 0.031초

Wasserstein 거리를 이용한 연속형 변수 이산화 기법 (Discretization Method for Continuous Data using Wasserstein Distance)

  • 하상원;김한준
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.159-169
    • /
    • 2018
  • 연속형 변수의 이산화(Discretization)는 양적 변수(Quantitative variable)를 질적 변수(Qualitative variable)로 변형시켜 데이터 마이닝(Data mining) 기법 등 다양한 알고리즘의 성능을 향상시키는데 사용 목적이 있다. 데이터에 적절한 이산화 기법을 사용한다면 분류 알고리즘에 대해 더 좋은 성능뿐 아니라 간결한 결과 해석, 속도 향상까지 기대할 수 있다. 현재까지 다양한 이산화 기법들이 연구되었으며, 현재도 이산화와 관련한 연구에 수요가 많다. 본 논문은 데이터의 클래스에 대한 연속형 변수 값의 분포를 고려하여, Wasserstein 거리를 이용해 분할점을 자동 설정하는 이산화 기법을 제안한다. 본 논문에서 제안하는 기법과 우수함이 입증된 기존의 이산화 기법에 대해 성능비교를 통해 제안 기법의 우수성을 보인다.

TYPE SPACES AND WASSERSTEIN SPACES

  • Song, Shichang
    • 대한수학회지
    • /
    • 제55권2호
    • /
    • pp.447-469
    • /
    • 2018
  • Types (over parameters) in the theory of atomless random variable structures correspond precisely to (conditional) distributions in probability theory. Moreover, the logic (resp. metric) topology on the type space corresponds to the topology of weak (resp. strong) convergence of distributions. In this paper, we study metrics between types. We show that type spaces under $d^{\ast}-metric$ are isometric to Wasserstein spaces. Using optimal transport theory, two formulas for the metrics between types are given. Then, we give a new proof of an integral formula for the Wasserstein distance, and generalize some results in optimal transport theory.

KOLMOGOROV DISTANCE FOR MULTIVARIATE NORMAL APPROXIMATION

  • Kim, Yoon Tae;Park, Hyun Suk
    • Korean Journal of Mathematics
    • /
    • 제23권1호
    • /
    • pp.1-10
    • /
    • 2015
  • This paper concerns the rate of convergence in the multidimensional normal approximation of functional of Gaussian fields. The aim of the present work is to derive explicit upper bounds of the Kolmogorov distance for the rate of convergence instead of Wasserstein distance studied by Nourdin et al. [Ann. Inst. H. Poincar$\acute{e}$(B) Probab.Statist. 46(1) (2010) 45-98].

WGAN의 성능개선을 위한 효과적인 정칙항 제안 (Proposing Effective Regularization Terms for Improvement of WGAN)

  • 한희일
    • 한국멀티미디어학회논문지
    • /
    • 제24권1호
    • /
    • pp.13-20
    • /
    • 2021
  • A Wasserstein GAN(WGAN), optimum in terms of minimizing Wasserstein distance, still suffers from inconsistent convergence or unexpected output due to inherent learning instability. It is widely known some kinds of restriction on the discriminative function should be considered to solve such problems, which implies the importance of Lipschitz continuity. Unfortunately, there are few known methods to satisfactorily maintain the Lipschitz continuity of the discriminative function. In this paper we propose techniques to stably maintain the Lipschitz continuity of the discriminative function by adding effective regularization terms to the objective function, which limit the magnitude of the gradient vectors of the discriminator to one or less. Extensive experiments are conducted to evaluate the performance of the proposed techniques, which shows the single-sided penalty improves convergence compared with the gradient penalty at the early learning process, while the proposed additional penalty increases inception scores by 0.18 after 100,000 number of learning.

Wasserstein Center 손실을 이용한 스케치 기반 3차원 물체 검색 (Sketch-based 3D object retrieval using Wasserstein Center Loss)

  • 지명근;전준철;김남기
    • 인터넷정보학회논문지
    • /
    • 제19권6호
    • /
    • pp.91-99
    • /
    • 2018
  • 스케치 기반 3차원 물체 검색은 다양한 3차원 물체를 사람이 손으로 그린 스케치를 질의(query)로 사용하여 물체를 편리하게 검색하는 방법이다. 본 논문에서는 스케치 기반 3차원 물체 검색을 위해 스케치 CNN(Convolutional Neural Network)과 Wasserstein CNN 모델에 Wasserstein Center 손실을 적용하여 물체의 검색 성공률을 향상시키는 새로운 방법을 제안한다. 제안된 Wasserstein Center 손실이란 각 물체의 클래스(category)의 중심을 학습하고, 동일한 클래스의 특징과 중심 간의 Wasserstein 거리가 작아지도록 만드는 방법이다. 이를 위하여 제안된 3차원 물체 검색은 다음의 단계로 수행된다. 첫 번째로, 3차원 물체의 특징은 3차원 물체를 여러 방향에서 촬영된 2차원 영상의 특징을 CNN을 이용하여 추출하고, 각 영상 특징의 Wasserstein 중심을 계산한다. 두 번째로, 스케치의 특징은 별도의 스케치 CNN을 이용하여 추출하였다. 마지막으로, 추출한 3차원 물체의 특징과 스케치의 특징을 본 논문에서 제안한 Wasserstein Center 손실을 이용하여 학습하고 스케치 기반의 3차원 물체 검색에 적용하였다. 본 논문에서 제안한 방법의 우수성을 입증하기 위하여 SHREC 13과 SHREC 14의 두 가지 벤치마크 데이터 집합을 이용하여 평가하였으며, 제안된 방법이 기존의 스케치 기반 검색방법들과 비교하여 모든 측정 기준에서 우수한 결과를 나타냄을 확인할 수 있었다.

A Sketch-based 3D Object Retrieval Approach for Augmented Reality Models Using Deep Learning

  • 지명근;전준철
    • 인터넷정보학회논문지
    • /
    • 제21권1호
    • /
    • pp.33-43
    • /
    • 2020
  • Retrieving a 3D model from a 3D database and augmenting the retrieved model in the Augmented Reality system simultaneously became an issue in developing the plausible AR environments in a convenient fashion. It is considered that the sketch-based 3D object retrieval is an intuitive way for searching 3D objects based on human-drawn sketches as query. In this paper, we propose a novel deep learning based approach of retrieving a sketch-based 3D object as for an Augmented Reality Model. For this work, we introduce a new method which uses Sketch CNN, Wasserstein CNN and Wasserstein center loss for retrieving a sketch-based 3D object. Especially, Wasserstein center loss is used for learning the center of each object category and reducing the Wasserstein distance between center and features of the same category. The proposed 3D object retrieval and augmentation consist of three major steps as follows. Firstly, Wasserstein CNN extracts 2D images taken from various directions of 3D object using CNN, and extracts features of 3D data by computing the Wasserstein barycenters of features of each image. Secondly, the features of the sketch are extracted using a separate Sketch CNN. Finally, we adopt sketch-based object matching method to localize the natural marker of the images to register a 3D virtual object in AR system. Using the detected marker, the retrieved 3D virtual object is augmented in AR system automatically. By the experiments, we prove that the proposed method is efficiency for retrieving and augmenting objects.

정칙화 항에 기반한 WGAN의 립쉬츠 연속 안정화 기법 제안 (Technique Proposal to Stabilize Lipschitz Continuity of WGAN Based on Regularization Terms)

  • 한희일
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권1호
    • /
    • pp.239-246
    • /
    • 2020
  • 최근에 제안된 WGAN(Wasserstein generative adversarial network)의 등장으로 GAN(generative adversarial network)의 고질적인 문제인 까다롭고 불안정한 학습과정이 다소 개선되기는 하였으나 여전히 수렴이 안되거나 자연스럽지 못한 출력물을 생성하는 등의 경우가 발생한다. 이러한 문제를 해결하기 위하여 본 논문에서는 분별기가 실제 데이터 확률분포를 보다 정확히 추정할 수 있도록 표본화 과정을 개선하는 동시에 분별기 함수의 립쉬츠 연속조건을 안정적으로 유지시키기 위한 알고리즘을 제안한다. 다양한 실험을 통하여 제안 기법의 특성을 분석하고 성능을 확인한다.

Local-Based Iterative Histogram Matching for Relative Radiometric Normalization

  • Seo, Dae Kyo;Eo, Yang Dam
    • 한국측량학회지
    • /
    • 제37권5호
    • /
    • pp.323-330
    • /
    • 2019
  • Radiometric normalization with multi-temporal satellite images is essential for time series analysis and change detection. Generally, relative radiometric normalization, which is an image-based method, is performed, and histogram matching is a representative method for normalizing the non-linear properties. However, since it utilizes global statistical information only, local information is not considered at all. Thus, this paper proposes a histogram matching method considering local information. The proposed method divides histograms based on density, mean, and standard deviation of image intensities, and performs histogram matching locally on the sub-histogram. The matched histogram is then further partitioned and this process is performed again, iteratively, controlled with the wasserstein distance. Finally, the proposed method is compared to global histogram matching. The experimental results show that the proposed method is visually and quantitatively superior to the conventional method, which indicates the applicability of the proposed method to the radiometric normalization of multi-temporal images with non-linear properties.

자기지도 학습에서 와서스타인 (Wasserstein) 거리의 손실함수로의 이용가능성 연구 (A Research on Using Wasserstein Distance as a Loss Function in Self-Supervised Learning)

  • 구인화;채동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.628-629
    • /
    • 2022
  • 딥러닝의 높은 예측 정확도를 위해서는 많은 양의 학습 데이터가 필요하다. 그러나 실세계에서 많은 양의 레이블이 붙은 데이터를 구하는 것은 어렵고 많은 비용이 든다. 때문에 레이블이 없이도 양질의 표현 학습이 가능한 자기지도학습이 각광을 받고 있다. 와서스타인 거리는 생성모델에도 쓰이지만 의사 레이블 (pseudo label) 을 만들어 레이블이 없는 데이터들을 분류 하는데도 좋은 성능을 보이고 있다. 따라서. 본 연구는 와서스타인 거리를 자기지도학습에 접목시키는 방법을 제안한다. 실험을 통해 연구의 가능성을 보인다.

Generative Adversarial Network를 이용한 손실된 깊이 영상 복원 (Depth Image Restoration Using Generative Adversarial Network)

  • 나준엽;심창훈;박인규
    • 방송공학회논문지
    • /
    • 제23권5호
    • /
    • pp.614-621
    • /
    • 2018
  • 본 논문에서는 generative adversarial network (GAN)을 이용한 비감독 학습을 통해 깊이 카메라로 깊이 영상을 취득할 때 발생한 손실된 부분을 복원하는 기법을 제안한다. 제안하는 기법은 3D morphable model convolutional neural network (3DMM CNN)와 large-scale CelebFaces Attribute (CelebA) 데이터 셋 그리고 FaceWarehouse 데이터 셋을 이용하여 학습용 얼굴 깊이 영상을 생성하고 deep convolutional GAN (DCGAN)의 생성자(generator)와 Wasserstein distance를 손실함수로 적용한 구별자(discriminator)를 미니맥스 게임기법을 통해 학습시킨다. 이후 학습된 생성자와 손실 부분을 복원해주기 위한 새로운 손실함수를 이용하여 또 다른 학습을 통해 최종적으로 깊이 카메라로 취득된 얼굴 깊이 영상의 손실 부분을 복원한다.