• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권8호
• /
• pp.4300-4314
• /
• 2019

With the development of video-related applications, media content has increased dramatically through applications. There is a substantial amount of near-duplicate videos (NDVs) among Internet videos, thus NDVR is important for eliminating near-duplicates from web video searches. This paper proposes a novel NDVR system that supports large-scale retrieval and contributes to the efficient and accurate retrieval performance. For this, we extracted keyframes from each video at regular intervals and then extracted both commonly used features (LBP and HSV) and new image features from each keyframe. A recent study introduced a new image feature that can provide more robust information than existing features even if there are geometric changes to and complex editing of images. We convert a vector set that consists of the extracted features to binary code through a set of hash functions so that the similarity comparison can be more efficient as similar videos are more likely to map into the same buckets. Lastly, we calculate similarity to search for NDVs; we examine the effectiveness of the NDVR system and compare this against previous NDVR systems using the public video collections CC_WEB_VIDEO. The proposed NDVR system's performance is very promising compared to previous NDVR systems.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.76-83
• /
• 2023

본 연구에서는 웹툰 작가의 웹툰 제작 과정을 보조하기 위해 사전학습된 Text-to-Image 모델을 미세조정하여 텍스트에서 웹툰을 생성하는 방법을 제안한다. 제안하는 방법은 웹툰 화풍으로 변환된 웹툰 데이터셋을 사용하여 사전학습된 Stable Diffusion 모델에 LoRA 기법을 활용하여 미세조정한다. 실험 결과 3만 스텝의 학습으로 약 4시간 반이 소요되어 빠르게 학습하는 것을 확인하였으며, 생성된 이미지에서는 입력한 텍스트에 표현된 형상이나 배경이 반영되어 웹툰 이미지가 생성되는 것을 확인하였다. 또한, Inception score를 통해 정량적인 평가를 수행하였을 때, DCGAN 기반의 Text-to-Image 모델보다 더 높은 성능을 나타냈다. 본 연구에서 제안된 웹툰 생성을 위한 Text-to-Image 모델을 웹툰 작가가 사용한다면, 웹툰 저작에 시간을 단축시킬 수 있을 것으로 기대된다.

• 한국산학기술학회논문지
• /
• 제21권12호
• /
• pp.672-678
• /
• 2020

최근 들어 초고속의 영상 촬영이 가능한 저가이며 성능이 우수한 카메라가 등장함에 따라서 물체의 미세한 움직임까지 정확하게 묘사한 초고속의 영상들이 보편화되고 있는 실정이다. 본 논문에서는 빠른 속도로 입력되는 초고속의 영상으로부터 예기치 않게 포함된 잡음을 제거한 다음, 잡음이 제거된 영상으로부터 피부 영역과 같이 개인 정보를 대표할 수 있는 관심 영역을 추출하는 방법을 제안한다. 본 논문에서는 먼저 입력받은 초고속의 영상으로부터 비정상적인 전기 신호로 인해 발생한 잡음을 양방향의 필터를 적용하여 제거한다. 그런 다음, 사전 학습을 통해 생성한 색상 분포 모델을 사용하여 영상 내에 포함된 개인 정보를 대표하는 관심 영역인 피부 영역을 정확하게 추출한다. 실험 결과에서는 본 연구에서 소개된 알고리즘이 여러 가지의 초고속 영상으로부터 잡음을 제거한 다음 관심 영역을 강인하게 추출한다는 것을 보여준다. 본 논문에서 제시된 접근 방법은 영상 전처리, 잡음 제거, 목표 영역의 추적 및 감시 등과 같은 컴퓨터 비전 및 패턴인식과 관련된 여러 가지의 응용 분야에서 유용하게 사용될 것으로 예상된다.

• 한국산업정보학회논문지
• /
• 제27권5호
• /
• pp.1-11
• /
• 2022

딥러닝 기술의 발전에 따라 학습을 통해 선호도 랭킹 추정을 하기 위한 다양한 연구 개발이 진행되고 있으며, 웹 검색, 유전자 분류, 추천 시스템, 이미지 검색 등 여러 분야에 걸쳐 이용되고 있다. 딥러닝 기반의 선호도 랭킹을 추정하기 위해 근사(approximation) 알고리즘을 이용하는데, 이 근사 알고리즘에서 적정한 정도의 정확도를 보장할 수 있도록 모든 비교 대상에 k번 이상의 비교셋을 구축하게 되며, 어떻게 비교셋을 구축하느냐가 학습에 영향을 끼치게 된다. 이 논문에서는 크라우드 소싱 기반의 딥러닝 선호도 측정을 위한 쌍체 비교 셋을 생성하는 새로운 알고리즘인 k-disjoint 비교셋 생성 알고리즘과 k-체이닝 비교셋 생성 알고리즘을 제안한다. 특히 k-체이닝 알고리즘은 기존의 원형 생성 알고리즘과 같이 데이터 간의 연결성을 보장하면서도 안정적인 선호도 평가를 지원할 수 있는 랜덤적 성격도 함께 가지고 있음을 실험에서 확인하였다.

• 대한토목학회논문집
• /
• 제42권1호
• /
• pp.107-116
• /
• 2022

최근 안전점검자가 접근성 문제로 점검이 어려운 교량 부재의 상태평가를 위해 영상분석 기반의 시설물 점검 기법연구가 활발히 진행 중이다. 본 논문은 교량을 대상으로 딥러닝 기반 영상정보에 대해서 상태평가 연구를 진행하였고 이에 대한 평가 프로그램(프로토타입)을 개발하였다. 딥러닝 기반 교량 손상탐지 프로토타입을 개발하기 위해 딥러닝 모델 중 손상 검출 및 정량화가 가능한 의미론적 분할 모델인 Mask-RCNN를 적용하였고 학습데이터 6,540장(오픈 데이터 포함)과 손상유형에 적합한 레이블링을 구성하였다. 모델링에 대한 성능검증한 결과, 콘크리트 균열, 박리/박락, 철근노출과 도장 박리에 대한 정밀도(precision)는 95.2 %, 재현율(recall)은 93.8 % 나타내었다. 또한, 교량 콘크리트 부재 손상율을 이용하여 콘크리트 균열 실 데이터를 2차 성능검증 하였다.

• 한국정보통신학회논문지
• /
• 제9권7호
• /
• pp.1513-1517
• /
• 2005

본 논문에서는 얼굴영역을 검출하기위해 얼굴 피부색을 보다 효과적으로 모델링하기 위한 피부색 특성을 고려하여 밝기 성분을 제거한 Red, Blue, Green 채널을 모두 사용하는 Hue, Cb, Cg의 M배i-Channel 피부색 모델을 사용한다. 얼굴영역을 분리한 영상에 Harr 웨이블릿을 이용한 에지영상 추출과 얼굴영역의 특징벡터를 구하기 위하여 26개의 특징벡터를 사용한 효율적인 고차 국소 자동 상관함수를 사용하였다. 계산된 특징벡터는 BP 신경망의 학습을 통하여 얼굴인식을 위한 데이터로 사용된다. 시뮬레이션을 통해 제안된 알고리즘에 의한 인식률향상과 속도 향상을 입증한다.

• 전자공학회논문지CI
• /
• 제47권3호
• /
• pp.29-35
• /
• 2010

본 논문에서는 한 장의 정지 영상에서 학습을 통한 방법으로 깊이 정보를 추정하는데 사용되어지는 특징 정보를 PCA(Principal Component Analaysis)기반으로 축소하여 깊이 정보의 정확성을 향상시키는 방법에 대하여 기술한다. 정지 영상에서 깊이 정보를 추정하기 위하여 이미지의 에너지 값과 기울기와 같은 특징을 추출하며 특징들의 관계를 이용하여 각 영역의 깊이 정보를 추정한다. 이 때 영상 필터를 사용하여 많은 특징을 추출하지만 특징의 중요성을 판단하지 않고 모두 사용하면 오히려 성능에 좋지 않은 영향을 미친다. 본 논문에서는 한 장의 정지 영상의 깊이 추정을 위해 PCA를 기반으로 중요도를 판단하여 특징 벡터의 차원을 줄이고 깊이를 정확하게 추정할 수 있는 방법에 대하여 제안한다. 제안한 방법을 스탠포드 대학의 평가 데이터로 실험한 결과, 깊이를 추정하는데 있어서 전체 특징 벡터의 30%만을 이용하여 평균 0.4%에서 최대 2.5%의 정확도가 향상되었다.

• 한국측량학회지
• /
• 제39권3호
• /
• pp.141-148
• /
• 2021

본 논문은 SegNet과 ResNet을 조합한 딥러닝을 이용하여 횡단보도를 검출하는 방법을 제안한다. 시각 장애인의 경우 횡단보도가 어디에 있는지 정확히 아는 게 안전한 교통 시스템에서 중요하다. 딥러닝에 의한 횡단보도 검출은 이 문제에 대한 좋은 해결책이 될 수 있다. 로봇 시각 기반 보조 기술은 지난 몇년 동안 카메라를 사용하는 특정 장면에 초점을 두고 제안되어 왔다. 이러한 전통적인 방법은 비교적 긴 처리 시간으로 의미있는 결과를 얻었으며 횡단보도 인식을 크게 향상시켰다. 그러나 전통적인 방법은 지연 시간이 길고 웨어러블 장비에서 실시간을 만족시킬 수 없다. 본 연구에서 제안하는 방법은 취득한 영상에서 횡단보도를 빠르고 안정적으로 검출하기 위한 모델을 제안한다. 모델은 SegNet과 ResNet을 기반으로 개선되었으며 3단계로 구성된다. 첫째, 입력 영상을 서브샘플링하여 이미지 특징을 추출하고 ResNet의 컨벌루션 신경망을 수정하여 새로운 인코더로 만든다. 둘째, 디코딩 과정에서 업샘플링 네트워크를 통해 특징맵을 원영상 크기로 복원한다. 셋째, 모든 픽셀을 분류하고 각 픽셀의 정확도를 계산한다. 이 실험의 결과를 통하여 수정된 시맨틱 분할 알고리즘의 적격한 정확성을 검증하는 동시에 결과 출력 속도가 비교적 빠른 것으로 파악되었다.

• 전자공학회논문지
• /
• 제53권2호
• /
• pp.53-61
• /
• 2016

영상으로부터 중요 객체를 구하는 Saliency Map은 현재 영상처리 분야에서 가장 활발한 연구 분야이다. 이와 관련한 여러 연구가 진행되어가고 있으나 Saliency Map의 객체를 추출하는 것이 어려운 상황이다. 본 논문에서는 제안하는 SLIC와 색상차, 영역간 거리, texture 정보를 이용하여 객체 추출하는 방법으로 Saliency Map을 개선하고자 한다. 실험결과는 본 논문에서 제안하는 방법을 통해 영상의 모든 영역이 아닌 중앙에 있는 영역을 중점으로 주요 객체를 추출하는 결과를 보였다.

• 디지털콘텐츠학회 논문지
• /
• 제18권8호
• /
• pp.1509-1516
• /
• 2017

일인칭 관점의 훈련 시스템에서, 사용자는 실제적인 경험을 필요로 하는데, 이런 실제적인 경험을 제공하기 위하여 가상의 이미지 또는 실제의 이미지를 동시에 제공해야 한다. 이를 위해 본 논문에서는 자동적으로 사람의 팔을 분할하는 것과 이미지 합성 방법을 제안한다. 제안 방법은 팔 분할 부분과 이미지 합성 부분으로 구성된다. 팔 분할은 임의의 이미지들을 입력으로 받아서 팔을 분할하고 알파 매트(alpha matte)를 출력한다. 이는 종단 간 학습이 가능한데 이 부분에서 우리는 FCN(Fully Convolutional Network)을 활용했기 때문이다. 이미지 합성부분은 팔 분할의 결과와 길과 건물 같은 다른 이미지와의 이미지 조합을 만들어 낸다. 팔 분할 부분에서 네트워크를 훈련시키기 위하여, 훈련 데이터는 전체 비디오 중에서 팔의 이미지를 잘라내어 사용하였다.