• 제목/요약/키워드: Similarity metric

검색결과 111건 처리시간 0.029초

ISFRNet: A Deep Three-stage Identity and Structure Feature Refinement Network for Facial Image Inpainting

  • Yan Wang;Jitae Shin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권3호
    • /
    • pp.881-895
    • /
    • 2023
  • Modern image inpainting techniques based on deep learning have achieved remarkable performance, and more and more people are working on repairing more complex and larger missing areas, although this is still challenging, especially for facial image inpainting. For a face image with a huge missing area, there are very few valid pixels available; however, people have an ability to imagine the complete picture in their mind according to their subjective will. It is important to simulate this capability while maintaining the identity features of the face as much as possible. To achieve this goal, we propose a three-stage network model, which we refer to as the identity and structure feature refinement network (ISFRNet). ISFRNet is based on 1) a pre-trained pSp-styleGAN model that generates an extremely realistic face image with rich structural features; 2) a shallow structured network with a small receptive field; and 3) a modified U-net with two encoders and a decoder, which has a large receptive field. We choose structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), L1 Loss and learned perceptual image patch similarity (LPIPS) to evaluate our model. When the missing region is 20%-40%, the above four metric scores of our model are 28.12, 0.942, 0.015 and 0.090, respectively. When the lost area is between 40% and 60%, the metric scores are 23.31, 0.840, 0.053 and 0.177, respectively. Our inpainting network not only guarantees excellent face identity feature recovery but also exhibits state-of-the-art performance compared to other multi-stage refinement models.

Eigenvoice 기반 화자가중치 거리측정 방식을 이용한 화자 분할 시스템 (Speaker Segmentation System Using Eigenvoice-based Speaker Weight Distance Method)

  • 최무열;김형순
    • 한국음향학회지
    • /
    • 제31권4호
    • /
    • pp.266-272
    • /
    • 2012
  • 화자 분할 기술은 오디오 데이터로부터 자동적으로 화자 경계 구간을 검출하는 것이다. 화자 분할 방식은 화자에 대한 선행 지식 사용 여부에 따라 거리기반 방식과 모델기반 방식으로 나누어진다. 본 논문에서는 eigenvoice 기반의 화자가중치 거리를 이용한 화자 분할 방식을 도입하고, 이 방식을 대표적인 거리 기반 방식들과 비교한다. 또한, 화자가중치의 거리 측정 함수로 유클리드 거리와 cosine 유사도를 사용하여 화자 분할 성능을 비교하고, eigenvoice 방식에 의해 화자 적응된 모델들 사이의 직접적인 거리를 이용한 화자 분할 방식과의 비교를 통해 화자가중치 거리를 이용한 방식이 계산량면에서 효율적인 점을 검증한다.

Storm-Time Behaviour of Meso-Scale Field-Aligned Currents: Case Study with Three Geomagnetic Storm Events

  • Awuor, Adero Ochieng;Baki, Paul;Olwendo, Joseph;Kotze, Pieter
    • Journal of Astronomy and Space Sciences
    • /
    • 제36권3호
    • /
    • pp.133-147
    • /
    • 2019
  • Challenging Minisatellite Payload (CHAMP) satellite magnetic data are used to investigate the latitudinal variation of the storm-time meso-scale field-aligned currents by defining a new metric called the FAC range. Three major geomagnetic storm events are considered. Alongside SymH, the possible contributions from solar wind dynamic pressure and interplanetary magnetic field (IMF) $B_Z$ are also investigated. The results show that the new metric predicts the latitudinal variation of FACs better than previous studies. As expected, the equatorward expansion and poleward retreat are observed during the storm main phase and recovery phase respectively. The equatorward shift is prominent on the northern duskside, at ${\sim}58^{\circ}$ coinciding with the minimum SymH and dayside at ${\sim}59^{\circ}$ compared to dawnside and nightside respectively. The latitudinal shift of FAC range is better correlated to IMF $B_Z$ in northern hemisphere dusk-dawn magnetic local time (MLT) sectors than in southern hemisphere. The FAC range latitudinal shifts responds better to dynamic pressure in the duskside northern hemisphere and dawnside southern hemisphere than in southern hemisphere dusk sector and northern hemisphere dawn sector respectively. FAC range exhibits a good correlation with dynamic pressure in the dayside (nightside) southern (northern) hemispheres depicting possible electrodynamic similarity at day-night MLT sectors in the opposite hemispheres.

유사 아이템 정보를 이용한 콜드 아이템 추천성능 개선 (Addressing the Item Cold-Start in Recommendation Using Similar Warm Items)

  • 한정규;천세진
    • 한국멀티미디어학회논문지
    • /
    • 제24권12호
    • /
    • pp.1673-1681
    • /
    • 2021
  • Item cold start is a well studied problem in the research field of recommender systems. Still, many existing collaborative filters cannot recommend items accurately when only a few user-item interaction data are available for newly introduced items (Cold items). We propose a interaction feature prediction method to mitigate item cold start problem. The proposed method predicts the interaction features that collaborative filters can calculate for the cold items. For prediction, in addition to content features of the cold-items used by state-of-the-art methods, our method exploits the interaction features of k-nearest content neighbors of the cold-items. An attention network is adopted to extract appropriate information from the interaction features of the neighbors by examining the contents feature similarity between the cold-item and its neighbors. Our evaluation on a real dataset CiteULike shows that the proposed method outperforms state-of-the-art methods 0.027 in Recall@20 metric and 0.023 in NDCG@20 metric.

빅데이터 기반 추천시스템 구현을 위한 다중 프로파일 앙상블 기법 (A Multimodal Profile Ensemble Approach to Development of Recommender Systems Using Big Data)

  • 김민정;조윤호
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.93-110
    • /
    • 2015
  • 기존의 협업필터링 추천시스템 연구는 상품에 대한 고객의 평점(rating)이나 구매 여부 데이터로부터 하나의 프로파일을 생성하고 이를 기반으로 추천 성능을 향상시킬 수 있는 새로운 알고리즘을 개발하는 위주로 진행되어 왔다. 그러나 빅데이터 환경이 도래하면서 기업이 수집할 수 있는 고객 데이터가 풍부해지고 다양해짐에 따라, 보다 정확하게 고객의 선호도나 행태를 파악하는 것이 가능하게 되었고 이러한 데이터, 즉 퍼스널 빅데이터(personal big data)를 추천시스템에 활용하는 연구의 필요성이 대두되고 있다. 본 연구에서는 마케팅의 시장세분화 이론에 근거하여 퍼스널 빅데이터로부터 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있는 5종의 다중 프로파일(multimodal profile)을 개발하고, 이를 활용하여 협업필터링 추천시스템의 성능을 개선하고자 한다. 제안하는 5종의 다중 프로파일은 프로파일 통합 유사도, 개별 프로파일 유사도 평균, 개별 프로파일 유사도 가중 평균이라는 세 가지 앙상블 기법을 통해 협업필터링의 이웃(neighborhood) 탐색과정에 적용된다. 실제 퍼스널 빅데이터에 본 연구에서 제안하는 방법론을 적용한 결과, 단일 프로파일을 사용하는 협업필터링 알고리즘보다 추천 성능이 상당히 개선되었으며 앙상블 방법 중에서는 개별 프로파일 유사도 가중 평균 기법이 가장 높은 추천 성능을 보여주었다. 본 연구는 빅데이터 환경에서 추천시스템을 개발하고자 할 때, 어떠한 성격의 데이터로부터 고객의 특성을 규명하는 프로파일을 만들고 이를 어떻게 결합하여 사용하는 것이 효과적인 지 처음으로 제안하였다는 점에서 그 의의가 있다.

Optimal Image Quality Assessment based on Distortion Classification and Color Perception

  • Lee, Jee-Yong;Kim, Young-Jin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권1호
    • /
    • pp.257-271
    • /
    • 2016
  • The Structural SIMilarity (SSIM) index is one of the most widely-used methods for perceptual image quality assessment (IQA). It is based on the principle that the human visual system (HVS) is sensitive to the overall structure of an image. However, it has been reported that indices predicted by SSIM tend to be biased depending on the type of distortion, which increases the deviation from the main regression curve. Consequently, SSIM can result in serious performance degradation. In this study, we investigate the aforementioned phenomenon from a new perspective and review a constant that plays a big role within the SSIM metric but has been overlooked thus far. Through an experimental study on the influence of this constant in evaluating images with SSIM, we are able to propose a new solution that resolves this issue. In the proposed IQA method, we first design a system to classify different types of distortion, and then match an optimal constant to each type. In addition, we supplement the proposed method by adding color perception-based structural information. For a comprehensive assessment, we compare the proposed method with 15 existing IQA methods. The experimental results show that the proposed method is more consistent with the HVS than the other methods.

유사도 개념을 이용한 다목적 모듈화 설계법 (Multi-Objective Modular Design Method Using Similarity Concept)

  • 남윤희
    • 산업경영시스템학회지
    • /
    • 제35권4호
    • /
    • pp.16-23
    • /
    • 2012
  • At present, the significance of a new manufacturing system that can shift from 'mass production' and consider life cycles of a product is pointed out and extremely expected. In such a situation, it is recognized that the modular design, often called 'unit design,' is the important design methodology which realizes the new production system enabling 'cost reduction,' 'flexible production of a multi-functional artifact,' 'settlement of an environmental issue,' and so on. A module (unit) of a product is generally defined as 'the parts group made into the sub-system from a certain specific viewpoint.' So far, there have been many researches related to the modular design. However, they are often limited to a certain viewpoint (objective). This paper proposes a simple but effective method for multi-objective modular design. In the proposed method, a new design metric, called similarity index, is proposed to evaluate the modular design candidates from the multiple viewpoints.

무선 모바일 스트리밍 미디어 서비스를 위한 객체 세그먼트 그룹화 (Object Segment Grouping for Wireless Mobile Streaming Media Services)

  • 이종득
    • 디지털융복합연구
    • /
    • 제10권4호
    • /
    • pp.199-206
    • /
    • 2012
  • 최근에 무선 모바일 네트워크상에서 모바일 클라이언트 요청증가로 인하여 스트리밍 미디어 객체를 관리하고 서비스하기 위한 새로운 기법이 제안되고 있다. 본 논문에서는 무선 모바일 네트워크상에서 스트리밍 미디어 서비스의 성능을 향상시키기 위한 새로운 객체 세그먼트 그룹화 방법을 제안한다. 제안된 기법은 분할된 객체 세그먼트들에 대해서 유사성 척도를 수행하며, 유사성 척도를 위해 disjunction, conjunction, 그리고 filtering연산을 수행한다. 이들 연산 척도에 따라 분할된 세그먼트들의 그룹화가 결정되며, 스트리밍 미디어 서비스 성능이 결정된다. 시뮬레이션 결과 제안된 기법은 처리율, 평균 시작지연, 그리고 캐시 히트율의 성능이 우수함을 보였다.

전문영역의 주제구조분석 - 저자공인용에 근거하여 - (Analysis of Intellectual Structure of Subject Specialty through Author Co-citation)

  • 조명희
    • 한국문헌정보학회지
    • /
    • 제22권
    • /
    • pp.331-360
    • /
    • 1992
  • This research presents author co-citation analysis of the subject area in the humanities - Korean history. Three approaches to multivariate analyses were used to display the inter-author relationships in the similarity matrix. Data on co-citation of sixty seven authors for the period of 1980­1989 were extracted from the database constructed by author. The author's name, here refers to a body of writings by a person, is the unit of analysis. The data were subjected to non-metric multidimensional scaling program create two-dimensional map of authors. Authors with similarity are clustered using hierarchical agglomerative procedure and it is found that five clusters in Korean history represent primarily research specializations. Author map of Korean history reveals the first dimension corresponding to subject orientation of authors and the second dimension corresponds to research method or research style. In factor analysis, each factor reflects research specialty made up of authors, and factor locadings demonstrate the breadth or concentration of sixty seven authors' scholarly contributions on Korean history. It is demonstrated that the· specific methodology employed by this research, author co-citation analysis, is useful to represent the intellectual structure of Korean history.

  • PDF

MPEG-7 시각 정보 기술자의 인덱싱 및 결합 알고리즘 (Algorithms for Indexing and Integrating MPEG-7 Visual Descriptors)

  • 송치일;낭종호
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권1호
    • /
    • pp.1-10
    • /
    • 2007
  • 본 논문에서는 MPEG-7 시각 정보 기술자인 Dominant Color와 Contour Shape 기술자에 대한 새로운 인덱싱 알고리즘을 제안한다. Dominant Color 기술자에서 사용되는 비교 연산 식은 가우스 혼합 모델에 기초하고 있기 때문에 기술자의 각 속성들을 하나의 칼라 히스토그램 형태로 변형시켜서 인덱스로 사용한다. Contour Shape 기술자는 두 단계 형태의 알고리즘을 사용하는데, 첫 번째 단계에서는 글로벌 변수인 Eccentricity와 Circularity를 사용한 대략적인 비교를 통해서 비슷하지 않은 이미지 오브젝트를 배제시키고 두 번째 단계에서 남겨진 오브젝트들과 질의 오브젝트들간의 Peak 변수를 사용한 비교 연산을 통해 인덱싱을 수행한다. 또한 본 논문은 효율적인 멀티미디어 데이타 검색을 위해서 두 가지의 MPEG-7 시각 정보 기술자 결합 알고리즘을 제안한다. 첫 번째 결합 알고리즘은 가중치를 확률로 변환해서 반영하는 것이고 두 번째는 가중치를 각 비교 연산 결과값의 중요도로 간주하는 방법이다. 실험을 통해서 결과를 분석해 보면 근사화를 통한 인덱스 생성으로 100%의 정확도를 유지 할 수는 없지만 논문에서 제안된 각 기술자의 인덱싱 알고리즘과 기술자들의 결합 알고리즘은 기본 검색 알고리즘과 비교했을 때 매우 빠른 속도 향상을 보여주었다. 본 논문에서 제안된 알고리즘은 MPEG-7을 사용하는 검색 시스템의 데이타베이스 구축에 효율적으로 사용될 수 있다.