• 제목/요약/키워드: visual search performance

검색결과 100건 처리시간 0.023초

Dual-Encoded Features from Both Spatial and Curvelet Domains for Image Smoke Recognition

  • Yuan, Feiniu;Tang, Tiantian;Xia, Xue;Shi, Jinting;Li, Shuying
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권4호
    • /
    • pp.2078-2093
    • /
    • 2019
  • Visual smoke recognition is a challenging task due to large variations in shape, texture and color of smoke. To improve performance, we propose a novel smoke recognition method by combining dual-encoded features that are extracted from both spatial and Curvelet domains. A Curvelet transform is used to filter an image to generate fifty sub-images of Curvelet coefficients. Then we extract Local Binary Pattern (LBP) maps from these coefficient maps and aggregate histograms of these LBP maps to produce a histogram map. Afterwards, we encode the histogram map again to generate Dual-encoded Local Binary Patterns (Dual-LBP). Histograms of Dual-LBPs from Curvelet domain and Completed Local Binary Patterns (CLBP) from spatial domain are concatenated to form the feature for smoke recognition. Finally, we adopt Gaussian Kernel Optimization (GKO) algorithm to search the optimal kernel parameters of Support Vector Machine (SVM) for further improvement of classification accuracy. Experimental results demonstrate that our method can extract effective and reasonable features of smoke images, and achieve good classification accuracy.

ACT-R Predictive Model of Korean Text Entry on Touchscreen

  • Lim, Soo-Yong;Jo, Seong-Sik;Myung, Ro-Hae;Kim, Sang-Hyeob;Jang, Eun-Hye;Park, Byoung-Jun
    • 대한인간공학회지
    • /
    • 제31권2호
    • /
    • pp.291-298
    • /
    • 2012
  • Objective: The aim of this study is to predict Korean text entry on touchscreens using ACT-R cognitive architecture. Background: Touchscreen application in devices such as satellite navigation devices, PDAs, mobile phones, etc. has been increasing, and the market size is expanding. Accordingly, there is an increasing interest to develop and evaluate the interface to enhance the user experience and increase satisfaction in the touchscreen environment. Method: In this study, Korean text entry performance in the touchscreen environment was analyzed using ACT-R. The ACT-R model considering the characteristics of the Korean language which is composed of vowels and consonants was established. Further, this study analyzed if the prediction of Korean text entry is possible through the ACT-R cognitive model. Results: In the analysis results, no significant difference on performance time between model prediction and empirical data was found. Conclusion: The proposed model can predict the accurate physical movement time as well as cognitive processing time. Application: This study is useful in conducting model-based evaluation on the text entry interface of the touchscreen and enabled quantitative and effective evaluation on the diverse types of Korean text input interfaces through the cognitive models.

관성 센서 데이터를 활용한 3 DoF 이미지 스티칭 향상 (Enhancement on 3 DoF Image Stitching Using Inertia Sensor Data)

  • 김민우;김상균
    • 방송공학회논문지
    • /
    • 제22권1호
    • /
    • pp.51-61
    • /
    • 2017
  • 본 논문은 수평을 유지하여 촬영해야 한다는 기존 이미지 스티칭을 이용한 영상 정합 과정의 단점을 극복하기 위하여, 스마트폰의 가속도 센서와 자기장 센서 데이터를 사용하여 3가지 자유도(3 DoF)에 강인한 이미지 스티칭 방법을 제안한다. 이미지를 붙이는 작업인 이미지 스티칭은 크게 이미지 특징점 추출, 추출된 특징점에서 매칭에 필요한 참인 점(inlier)을 선별, 참인 점을 호모그래피(homography) 행렬로 변환, 호모그래피 행렬을 사용하여 이미지를 왜곡(warping), 왜곡된 이미지와 다른 이미지를 합하는 과정으로 이루어져 있다. 본 논문에서는 일반적으로 사용하는 SIFT, SURF 등의 알고리즘뿐만 아니라 MPEG에서 표준화한 MPEG-7 CDVS(Compact Descriptor for Visual Search) 표준의 특징점 추출 알고리즘을 사용하여 이미지의 특징점을 추출한다. 또한 각 알고리즘의 특징점 추출시간, 추출된 특징점 개수, 선별된 참인 점의 개수를 비교하고, 스티칭 정확도를 판단하여 본 연구에서 활용한 데이터에 어느 알고리즘이 효율적인지 살펴본다.

A Study on the Outlet Blockage Determination Technology of Conveyor System using Deep Learning

  • Jeong, Eui-Han;Suh, Young-Joo;Kim, Dong-Ju
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권5호
    • /
    • pp.11-18
    • /
    • 2020
  • 본 연구는 컨베이어 시스템에서 딥러닝을 이용한 배출구 막힘 판단 기술에 대하여 제안한다. 제안 방법은 산업 현장의 CCTV에서 수집한 영상을 이용하여 배출구 막힘 판단을 위한 다양한 CNN 모델들을 학습시키고, 성능이 가장 좋은 모델을 사용하여 실제 공정에 적용하는 것을 목적으로 한다. CNN 모델로는 잘 알려진 VGGNet, ResNet, DenseNet, 그리고 NASNet을 사용하였으며, 모델 학습과 성능 테스트를 위하여 CCTV에서 수집한 18,000장의 영상을 이용하였다. 다양한 모델에 대한 실험 결과, VGGNet은 99.89%의 정확도와 29.05ms의 처리 시간으로 가장 좋은 성능을 보였으며, 이로부터 배출구 막힘 판단 문제에 VGGNet이 가장 적합함을 확인하였다.

내시경의 위암과 위궤양 영상을 이용한 합성곱 신경망 기반의 자동 분류 모델 (Convolution Neural Network Based Auto Classification Model Using Endoscopic Images of Gastric Cancer and Gastric Ulcer)

  • 박예랑;김영재;정준원;김광기
    • 대한의용생체공학회:의공학회지
    • /
    • 제41권2호
    • /
    • pp.101-106
    • /
    • 2020
  • Although benign gastric ulcers do not develop into gastric cancer, they are similar to early gastric cancer and difficult to distinguish. This may lead to misconsider early gastric cancer as gastric ulcer while diagnosing. Since gastric cancer does not have any special symptoms until discovered, it is important to detect gastric ulcers by early gastroscopy to prevent the gastric cancer. Therefore, we developed a Convolution Neural Network (CNN) model that can be helpful for endoscopy. 3,015 images of gastroscopy of patients undergoing endoscopy at Gachon University Gil Hospital were used in this study. Using ResNet-50, three models were developed to classify normal and gastric ulcers, normal and gastric cancer, and gastric ulcer and gastric cancer. We applied the data augmentation technique to increase the number of training data and examined the effect on accuracy by varying the multiples. The accuracy of each model with the highest performance are as follows. The accuracy of normal and gastric ulcer classification model was 95.11% when the data were increased 15 times, the accuracy of normal and gastric cancer classification model was 98.28% when 15 times increased likewise, and 5 times increased data in gastric ulcer and gastric cancer classification model yielded 87.89%. We will collect additional specific shape of gastric ulcer and cancer data and will apply various image processing techniques for visual enhancement. Models that classify normal and lesion, which showed relatively high accuracy, will be re-learned through optimal parameter search.

스테레오 영상에서의 적응적 영역 가중치 매칭의 효율적 근사화 방법 (An Efficient Approximation method of Adaptive Support-Weight Matching in Stereo Images)

  • 김호영;이성원
    • 방송공학회논문지
    • /
    • 제16권6호
    • /
    • pp.902-915
    • /
    • 2011
  • 영역기반 스테레오 매칭 분야에서 최근 인간의 시각체계(Human Visual System)에 기반하여 영역내의 밝기값과 거리값에 따라 적응적으로 가중치를 부여하는 적응적 영역 가중치(Adaptive Support-Weight, ASW) 방법이 좋은 매칭 결과를 보이고 있다. 그러나 이 방법은 좋은 매칭 결과에 비해서 많은 연산비용을 필요로 하게 되고, 매칭의 실시간 시스템화에 큰 장애요소로 작용한다. 이에 Bilateral filter 수식으로 근사화 후 Integral Histogram 기법을 적용하여 영역 윈도우의 크기에 상관없이 상수 시간 O(1) 내에 매칭을 수행하는 연구가 진행되었다. 하지만 이 방법은 근사화 과정에서의 원 ASW 수식을 왜곡하기 때문에 매칭 정확도의 손실을 가져오게 된다. 본 논문에서는 적응적 영역 가중치 알고리즘의 매칭 정확도를 유지하면서 적응적 영역 가중치 알고리즘의 계산 비용을 줄이는 알고리즘을 제안한다. 이를 위해 영역내의 픽셀을 그룹화하여 근사화된 매칭을 수행하는 Sub-Block 방법과 영상의 에지 정보에 따라 적응적으로 시차 탐색 범위를 조정하는 방법을 제안한다. 결과적으로 제안된 기법은 기존 방식보다 좋은 매칭 정확도를 유지하면서도 효율적으로 계산 수행 시간을 줄이게 된다.

시공간 적응적인 예측에 기초한 다시점 위너-지브 비디오 부호화 기법 (Multi-View Wyner-Ziv Video Coding Based on Spatio-temporal Adaptive Estimation)

  • 이범용;김진수
    • 한국콘텐츠학회논문지
    • /
    • 제16권6호
    • /
    • pp.9-18
    • /
    • 2016
  • 본 논문에서는 시공간 적응적인 예측에 기초한 다시점 위너-지브 비디오 부호화 기법을 제안한다. 제안하는 알고리즘은 기존 움직임 추정 방법을 보완하여 가중치를 부여한 결합 양방향 움직임 추정을 수행하고, 각 시점 영상의 에지 검출 및 합성을 통해 관심영역을 효과적으로 분류하여 움직임 벡터 분석을 통해 최종 참조 프레임을 선택하여 보간 한다. 제안하는 알고리즘은 단일 시점 내의 움직임 정보와 인접 카메라 프레임의 정보를 적응적으로 이용함으로써 영상 내 다양한 폐색, 반사 영역에 대해 효율적으로 처리하고 더 나은 성능을 갖는다. 다양한 다시점 영상 시퀀스에 대한 실험을 통하여, 제안하는 알고리즘은 보조정보 생성하는 기존 알고리즘에 비해 평균 비트율 감소와 더불어 우수한 객관적 화질 향상을 얻었다.

효과적인 이미지 검색을 위한 태그 기반의 폭소노미 이미지 카테고리화 기법 (A Categorization Scheme of Tag-based Folksonomy Images for Efficient Image Retrieval)

  • 하은지;김용성;황인준
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권6호
    • /
    • pp.290-295
    • /
    • 2016
  • 최근 사용자들이 협동적으로 이미지 주석인 태그를 만들고 활용하는 폭소노미 기반의 이미지 공유 사이트들이 많은 인기를 얻고 있다. 이러한 사이트는 사용자 질의에 대해 단순한 텍스트 매칭 기반의 검색을 수행하고 매칭되는 결과 이미지들을 포토 스트림 형태로 나열하여 보여 준다. 하지만 이러한 태그들은 매우 개인적이고 주관적이며, 이미지 역시 카테고리로 분류되어 있지 않기 때문에 검색의 정확도나 사용자 만족도가 떨어진다는 문제점이 있다. 본 연구에서는 태그를 기반으로 하는 이미지 검색에서 검색의 정확도를 높일 수 있는 폭소노미 이미지의 카테고리화 기법을 제안하고, 폭소노미 환경에서 생성된 태그와 이미지 정보를 모두 이용하며 의미적으로 유사한 이미지들끼리 분류된 검색 결과를 생성한다. 제안하는 기법의 성능 평가를 위해 폭소노미 이미지를 수집하고 텍스트, 이미지 특성에 따른 카테고리 분류를 수행하여 기존 검색 기법과 이미지 검색의 정확도를 비교한다.

GRNN 알고리즘을 이용한 비선형적 움직임 벡터 추정 및 프레임 보간연구 (A Study on Frame Interpolation and Nonlinear Moving Vector Estimation Using GRNN)

  • 이승주;방민석;윤기방;김기두
    • 전기전자학회논문지
    • /
    • 제17권4호
    • /
    • pp.459-468
    • /
    • 2013
  • 본 논문에서는 비선형적 움직임에 대하여 시각적 화질 향상에 목적을 둔 프레임 보간 기법을 제안한다. 그러므로 블록 현상과 영상의 중첩을 감소시키고자 블록 크기를 128x128부터 1x1까지 순차적으로 전역탐색을 실시하여 최소 오차값이 가장 작은 블록이 포함된 프레임을 선택하고, 비선형적인 움직임 벡터를 GRNN(General Regression Neural Network) 알고리즘을 이용하여 재 추정함으로써 프레임을 보간하는 알고리즘을 제안한다. 이러한 알고리즘의 성능 분석을 위해 프레임 반복, 단방향 움직임 보상, 양방향 움직임 보상의 기법들과 비교한다. 객체의 움직임이 크거나 카메라 초점의 이동과 줌인(zoom-in), 줌아웃(zoom-out) 효과가 들어간 대상 영상에 대하여 주관적 화질면에서 성능이 향상됨을 보인다.

이웃하는 블록 정보와 양방향 움직임 예측을 이용한 적응적 프레임 보간 기법 (Adaptive Frame Rate Up-Conversion Algorithm using the Neighbouring Pixel Information and Bilateral Motion Estimation)

  • 오형철;이주현;민창기;정제창
    • 한국통신학회논문지
    • /
    • 제35권9C호
    • /
    • pp.761-770
    • /
    • 2010
  • 본 논문에서는 비트율의 증가와 동시에 주관적 화질의 향상을 얻을 수 있는 알고리듬인 Frame Rate Up-Conversion (FRUC)을 제안한다. 제안하는 알고리듬에서는 단방향이 아닌 양방향의 움직임 예측을 통해 신뢰도가 높은 블록을 탐색하여 두 장의 예비 프레임을 생성한다. 예비 프레임 생성과정에서는 설정된 임계값 보다 작은 경우를 제외한 나머지 영역에 대해서는 폐색 구간으로 설정하기 때문에 해당 구간에 대한 추가적인 보간 과정이 수행된다. 폐색 구간을 중심으로 이용 가능한 이웃하는 블록의 수를 고려하여 적응적으로 참조 라인을 설정하여 추가적인 재탐색 과정을 수행한다. 선택된 최적의 블록이 두 장의 예비 프레임에 모두 존재할 경우와 한 장에만 존재할 경우를 고려하여 선택적으로 보간한다. 본 논문에서는 제안하는 알고리듬의 성능을 입증하기 위해 기존에 제안되었던 알고리듬과의 PSNR 및 주관적 화질을 비교한다. 또한 실험 결과를 통해 기존의 알고리듬 보다 제안하는 알고리듬이 우수한 성능을 나타냄을 확인 할 수 있다.