• 한국멀티미디어학회논문지
• /
• 제25권10호
• /
• pp.1535-1545
• /
• 2022

Sign language has completely different meaning depending on the direction of the hand or the change of facial expression even with the same gesture. In this respect, it is crucial to capture the spatial-temporal structure information of each movement. However, sign language translation studies based on Sign2Gloss2Text only convey comprehensive spatial-temporal information about the entire sign language movement. Consequently, detailed information (facial expression, gestures, and etc.) of each movement that is important for sign language translation is not emphasized. Accordingly, in this paper, we propose Spatial-temporal Keypoints Centered Sign2Gloss2Text Translation, named STKC-Sign2 Gloss2Text, to supplement the sequential and semantic information of keypoints which are the core of recognizing and translating sign language. STKC-Sign2Gloss2Text consists of two steps, Spatial Keypoints Embedding, which extracts 121 major keypoints from each image, and Temporal Keypoints Embedding, which emphasizes sequential information using Bi-GRU for extracted keypoints of sign language. The proposed model outperformed all Bilingual Evaluation Understudy(BLEU) scores in Development(DEV) and Testing(TEST) than Sign2Gloss2Text as the baseline, and in particular, it proved the effectiveness of the proposed methodology by achieving 23.19, an improvement of 1.87 based on TEST BLEU-4.

• 한국멀티미디어학회논문지
• /
• 제23권2호
• /
• pp.186-203
• /
• 2020

Image-based Virtual Try-On Systems are among the most potential solution for virtual fitting which tries on a target clothes into a model person image and thus have attracted considerable research efforts. In many cases, current solutions for those fails in achieving naturally looking virtual fitted image where a target clothes is transferred into the body area of a model person of any shape and pose while keeping clothes context like texture, text, logo without distortion and artifacts. In this paper, we propose a new improved image-based virtual try-on network system based on keypoints, which we name as KP-VTON. The proposed KP-VTON first detects keypoints in the target clothes and reliably predicts keypoints in the clothes of a model person image by utilizing a dense human pose estimation. Then, through TPS transformation calculated by utilizing the keypoints as control points, the warped target clothes image, which is matched into the body area for wearing the target clothes, is obtained. Finally, a new try-on module adopting Attention U-Net is applied to handle more detailed synthesis of virtual fitted image. Extensive experiments on a well-known dataset show that the proposed KP-VTON performs better the state-of-the-art virtual try-on systems.

• 한국측량학회지
• /
• 제40권2호
• /
• pp.79-89
• /
• 2022

드론을 이용하여 촬영한 영상은 소규모 지역에 대하여 고품질의 3차원 공간정보를 빠르게 구축할 수 있어 신속한 의사결정이 필요한 분야에 적용되고 있다. 드론 영상을 기반으로 공간정보를 구축하기 위해서는 인접한 드론 영상 간에 특징점 추출하고 영상 매칭을 수행하여 영상 간의 관계를 결정할 필요가 있다. 이에 본 연구에서는 드론을 이용하여 촬영한 주차장과 호수가 공존하는 지역, 건물이 있는 도심 지역, 자연 지형의 들판 지역의 3가지 대상지역을 선정하고 AKAZE (Accelerated-KAZE), BRISK (Binary Robust Invariant Scalable Keypoints), KAZE, ORB(Oriented FAST and Rotated BRIEF), SIFT (Scale Invariant Feature Transform), and SURF (Speeded Up Robust Features) 알고리즘의 성능을 분석하였다. 특징점 추출 알고리즘의 성능은 추출된 특징점의 분포, 매칭점의 분포, 소요시간, 그리고 매칭 정확도를 비교하였다. 주차장과 호수가 공존하는 지역에서는 BRISK 알고리즘의 속도가 신속하였으며, SURF 알고리즘이 특징점과 매칭점의 분포도와 매칭 정확도에서 우수한 성능을 나타내었다. 건물이 있는 도심 지역에서는 AKAZE 알고리즘의 속도가 신속하였으며 SURF 알고리즘이 특징점과 매칭점의 분포도와 매칭 정확도에서 우수한 성능을 나타내었다. 자연 지형의 들판 지역에서는 SURF 알고리즘의 특징점, 매칭점이 드론으로 촬영한 영상 전반적으로 고르게 분포되어 있으나 AKAZE 알고리즘이 가장 높은 매칭 정확도와 신속한 속도를 나타내었다.

• 방송공학회논문지
• /
• 제26권1호
• /
• pp.26-38
• /
• 2021

본 논문에서는 원격 탐사 영상에 대한 특징 기반 영상 정합 (Image Registration) 방법의 고속화를 위한 딥러닝 기반 특징점 필터링 방법인 DLKF (Deep Learning Keypoint Filtering)를 제안한다. 기존의 특징 기반 영상 정합 방법의 복잡도는 특징 매칭 (Feature Matching) 단계에서 발생한다. 이 복잡도를 줄이기 위하여 본 논문에서는 특징 매칭이 영상의 구조물에서 검출된 특징점으로 매칭되는 것을 확인하여 특징점 검출기에서 검출된 특징점 중에서 구조물에서 검출된 특징점만 필터링하는 방법을 제안한다. DLKF는 영상 정합을 위하여 필수적인 특징점을 잃지 않으면서 그 수를 줄이기 위하여 구조물의 경계와 인접한 특징점을 보존하고, 서브 샘플링 (Subsampling)된 영상을 사용한다. 또한 영상 분할 (Image Segmentation) 방법을 위해 패치 단위로 잘라낸 영상을 다시 합칠 때 생기는 영상 패치 경계의 잡음을 제거하기 위하여 영상 패치를 중복하여 잘라낸다. DLKF의 성능을 검증하기 위하여 아리랑 3호 위성 원격 탐사 영상을 사용하여 기존 특징점 검출 방법과 속도와 정확도를 비교하였다. SIFT 기반 정합 방법을 기준으로 SURF 기반 정합 방법은 특징점의 수를 약 18% 감소시키고 속도를 약 2.6배 향상시켰지만 정확도가 3.42에서 5.43으로 저하되었다. 제안하는 방법인 DLKF를 사용하였을 때 특징점의 수를 약 82% 감소시키고 속도를 약 20.5배 향상시키면서 정확도는 4.51로 저하되었다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.15-30
• /
• 2023

최근 미디어 분야에도 인공지능(AI)을 적용한 다양한 서비스가 등장하고 있는 추세이다. 하지만 편집점을 찾아 영상을 이어 붙이는 영상 편집은, 대부분 수동적 방식으로 진행되어 시간과 인적 자원의 소요가 많이 발생하고 있다. 이에 본 연구에서는 Video Swin Transformer를 활용하여, 발화 여부에 따른 영상의 편집점을 탐지할 수 있는 방법론을 제안한다. 이를 위해, 제안 구조는 먼저 Face Alignment를 통해 얼굴 특징점을 검출한다. 이와 같은 과정을 통해 입력 영상 데이터로부터 발화 여부에 따른 얼굴의 시 공간적인 변화를 모델에 반영한다. 그리고, 본 연구에서 제안하는 Video Swin Transformer 기반 모델을 통해 영상 속 사람의 행동을 분류한다. 구체적으로 비디오 데이터로부터 Video Swin Transformer를 통해 생성되는 Feature Map과 Face Alignment를 통해 검출된 얼굴 특징점을 합친 후 Convolution을 거쳐 발화 여부를 탐지하게 된다. 실험 결과, 본 논문에서 제안한 얼굴 특징점을 활용한 영상 편집점 탐지 모델을 사용했을 경우 분류 성능을 89.17% 기록하여, 얼굴 특징점을 사용하지 않았을 때의 성능 87.46% 대비 성능을 향상시키는 것을 확인할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제16권9호
• /
• pp.1057-1066
• /
• 2013

손가락 관절문(FKP, finger-knuckle-print)을 이용한 개인 인증은 손가락 관절부에 나타나는 주름의 특징을 이용하는 것으로, 텍스처의 방향 정보가 중요한 특징이 된다. 본 논문에서는 SIFT 알고리즘을 이용하여 특징점들을 추출하고, 벡터 유사도 정합을 통해 FKP를 효과적으로 인증할 수 있는 방법을 제안하다. 벡터는 질의 영상에서 추출한 특징점과 이에 대응되는 참조 영상의 특징점을 연결하는 방향 벡터로 정의된다. 국소적인 특징점 쌍으로부터 방향 벡터를 생성하기 때문에 방향 벡터 자체는 국소적인 특징만을 나타내지만, 두 영상 간에 존재하는 다른 벡터들 간의 유사도를 비교함으로써 전역적인 특징으로 확장되는 장점이 있다. 실험결과 제안하는 방법은 기존의 방향코드를 이용한 다양한 방식에 비하여 우수한 성능을 나타내었다.

• 인터넷정보학회논문지
• /
• 제10권4호
• /
• pp.13-23
• /
• 2009

본 논문에서 우리는 위성 영상에 대하여 객체를 지역화한 접근을 제안한다. 우리의 방법은 서술 벡터에 기반한 특징 정합 방법이다. 객체를 지역화하는 방법은 SIFT(Scale Invariant Feature Transform)를 적용시킨다. 먼저, 위성영상의 키포인트를 찾고, 키포인트의 서술 벡터를 일반화한다. 그리고 서술 벡터간에 유사성을 측정하여 키포인트를 매칭시킨다. 마지막으로, 키포인트의 인접 픽셀값에 가중치를 주어 객체에서 위치를 결정한다. SIFT를 이용한 이 실험은 다양한 스케일과 어파인 변환에 대해 좋은 결과를 산출하였다. 본 논문에서 제안된 방법은 구글 어스의 위성영상을 사용하였다.

• 반도체디스플레이기술학회지
• /
• 제14권3호
• /
• pp.67-72
• /
• 2015

This paper proposes an object tracking system based on keypoints using homography in mobile environments. The proposed system is based on markerless tracking, and there are four modules which are recognition, tracking, detecting and learning module. Recognition module detects and identifies an object to be matched on current frame correspond to the database using LSH through SURF, and then this module generates a standard object information. Tracking module tracks an object using homography information that generate by being matched on the learned object keypoints to the current object keypoints. Then update the window included the object for defining object's pose. Detecting module finds out the object based on having the best possible knowledge available among the learned objects information, when the system fails to track. The experimental results show that the proposed system is able to recognize and track objects with updating object's pose for the use of mobile platform.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권5호
• /
• pp.1597-1610
• /
• 2022

At present, the main method of high-speed train chassis detection is using computer vision technology to extract keypoints from two related chassis images firstly, then matching these keypoints to find the pixel-level correspondence between these two images, finally, detection and other steps are performed. The quality and accuracy of image matching are very important for subsequent defect detection. Current traditional matching methods are difficult to meet the actual requirements for the generalization of complex scenes such as weather, illumination, and seasonal changes. Therefore, it is of great significance to study the high-speed train image matching method based on deep learning. This paper establishes a high-speed train chassis image matching dataset, including random perspective changes and optical distortion, to simulate the changes in the actual working environment of the high-speed rail system as much as possible. This work designs a convolutional neural network to intensively extract keypoints, so as to alleviate the problems of current methods. With multi-level features, on the one hand, the network restores low-level details, thereby improving the localization accuracy of keypoints, on the other hand, the network can generate robust keypoint descriptors. Detailed experiments show the huge improvement of the proposed network over traditional methods.

• 한국멀티미디어학회논문지
• /
• 제18권1호
• /
• pp.17-24
• /
• 2015

In this paper, a novel scheme for correcting rotated region in medical images using SIFT(Scale Invariant Feature Transform) algorithm is presented. Using the feature extraction function of SIFT, the rotation angle of rotated object in medical images is calculated as follows. First, keypoints of both reference and rotated medical images are extracted by SIFT. Second, the matching process is performed to the keypoints located at the predetermined ROI(Region Of Interest) at which objects are not cropped or added by rotating the image. Finally, degrees of matched keypoints are calculated and the rotation angle of the rotated object is determined by averaging the difference of the degrees. The simulation results show that the proposed scheme has excellent performance for correcting the rotated region in medical images.