• 제목/요약/키워드: Multi-level Feature Fusion

검색결과 24건 처리시간 0.022초

Texture Image Retrieval Using DTCWT-SVD and Local Binary Pattern Features

  • Jiang, Dayou;Kim, Jongweon
    • Journal of Information Processing Systems
    • /
    • 제13권6호
    • /
    • pp.1628-1639
    • /
    • 2017
  • The combination texture feature extraction approach for texture image retrieval is proposed in this paper. Two kinds of low level texture features were combined in the approach. One of them was extracted from singular value decomposition (SVD) based dual-tree complex wavelet transform (DTCWT) coefficients, and the other one was extracted from multi-scale local binary patterns (LBPs). The fusion features of SVD based multi-directional wavelet features and multi-scale LBP features have short dimensions of feature vector. The comparing experiments are conducted on Brodatz and Vistex datasets. According to the experimental results, the proposed method has a relatively better performance in aspect of retrieval accuracy and time complexity upon the existing methods.

다단계 퓨전기법을 이용한 비유사도 기반 식별기의 최적화 (On Optimizing Dissimilarity-Based Classifier Using Multi-level Fusion Strategies)

  • 김상운;로버트 듀인
    • 전자공학회논문지CI
    • /
    • 제45권5호
    • /
    • pp.15-24
    • /
    • 2008
  • 얼굴인식 등과 같은 고차원 식별문제에서는 샘플패턴의 수가 패턴의 차원보다 작아지게 된다. 이러한 상황에서 차원을 축소하기위해 선형판별분석법을 적용할 경우, 희소성(Small Sample Size: SSS)문제가 발생한다. 최근, SSS 문제를 해결하기 위하여 비유사도에 기반 한 식별법(Dissimilarity-Based Classification: DBC)을 이용하는 방법이 검토되었다. DBC에서는 특징 벡터 대신에 학습 샘플들로부터 추출한 프로토타입들과의 비유사도를 측정하여 입력 패턴을 식별하는 방법이다. 본 논문에서는 비유사도 표현단계와 DBC 학습단계에서 퓨전기법을 중복 적용하는 다단계 퓨전기법(Multi-level Fusion Strategies: MFS)으로 DBCs를 최적화시키는 방법을 제안한다. 제안 방법을 벤취마크 얼굴영상 데이터베이스를 대상으로 실험한 결과, 식별률을 향상시킬 수 있음을 확인하였다.

Multi-level Cross-attention Siamese Network For Visual Object Tracking

  • Zhang, Jianwei;Wang, Jingchao;Zhang, Huanlong;Miao, Mengen;Cai, Zengyu;Chen, Fuguo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권12호
    • /
    • pp.3976-3990
    • /
    • 2022
  • Currently, cross-attention is widely used in Siamese trackers to replace traditional correlation operations for feature fusion between template and search region. The former can establish a similar relationship between the target and the search region better than the latter for robust visual object tracking. But existing trackers using cross-attention only focus on rich semantic information of high-level features, while ignoring the appearance information contained in low-level features, which makes trackers vulnerable to interference from similar objects. In this paper, we propose a Multi-level Cross-attention Siamese network(MCSiam) to aggregate the semantic information and appearance information at the same time. Specifically, a multi-level cross-attention module is designed to fuse the multi-layer features extracted from the backbone, which integrate different levels of the template and search region features, so that the rich appearance information and semantic information can be used to carry out the tracking task simultaneously. In addition, before cross-attention, a target-aware module is introduced to enhance the target feature and alleviate interference, which makes the multi-level cross-attention module more efficient to fuse the information of the target and the search region. We test the MCSiam on four tracking benchmarks and the result show that the proposed tracker achieves comparable performance to the state-of-the-art trackers.

Human Activity Recognition Based on 3D Residual Dense Network

  • Park, Jin-Ho;Lee, Eung-Joo
    • 한국멀티미디어학회논문지
    • /
    • 제23권12호
    • /
    • pp.1540-1551
    • /
    • 2020
  • Aiming at the problem that the existing human behavior recognition algorithm cannot fully utilize the multi-level spatio-temporal information of the network, a human behavior recognition algorithm based on a dense three-dimensional residual network is proposed. First, the proposed algorithm uses a dense block of three-dimensional residuals as the basic module of the network. The module extracts the hierarchical features of human behavior through densely connected convolutional layers; Secondly, the local feature aggregation adaptive method is used to learn the local dense features of human behavior; Then, the residual connection module is applied to promote the flow of feature information and reduced the difficulty of training; Finally, the multi-layer local feature extraction of the network is realized by cascading multiple three-dimensional residual dense blocks, and use the global feature aggregation adaptive method to learn the features of all network layers to realize human behavior recognition. A large number of experimental results on benchmark datasets KTH show that the recognition rate (top-l accuracy) of the proposed algorithm reaches 93.52%. Compared with the three-dimensional convolutional neural network (C3D) algorithm, it has improved by 3.93 percentage points. The proposed algorithm framework has good robustness and transfer learning ability, and can effectively handle a variety of video behavior recognition tasks.

Specialized Product-Line Development Methodology for Developing the Embedded System

  • Hong Ki-Sam;Yoon Hee-Byung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제5권3호
    • /
    • pp.268-273
    • /
    • 2005
  • We propose the specialized product-line development methodology for developing the embedded system of an MSDFS (Multi Sensor Data Fusion System : called MSDFS). The product-line methodology provides a simultaneous design between software and hardware, high level reusability. However this is insufficient in requirement analysis stage due to be focused on software architecture, detailed design and code. Thus we apply the business model based on IDEF0 technique to traditional methodology. In this paper, we describe the processes of developing Core-Asset, which are requirement analysis, feature modeling, validation. The proposed model gives the efficient result for eliciting features, and ensures the high level reusability of modules performing on embedded system.

GOCI와 Landsat OLI 영상 융합을 통한 적조 탐지 (Red Tide Detection through Image Fusion of GOCI and Landsat OLI)

  • 신지선;김근용;민지은;유주형
    • 대한원격탐사학회지
    • /
    • 제34권2_2호
    • /
    • pp.377-391
    • /
    • 2018
  • 광역범위에 대한 적조의 효율적인 모니터링을 위하여 원격탐사의 필요성이 점차 증가하고 있다. 하지만 기존 연구에서는 다양한 센서 중 해색 센서만을 위한 적조 탐지 알고리즘 개발에만 집중되어 있는 실정이다. 본 연구에서는 위성 기반 적조 모니터링의 한계로 지적되고 있는 탁도가 높은 연안역의 적조 탐지와 원격탐사 자료의 부정확성을 개선하고자 다중센서의 활용을 제시하고자 한다. 국립수산과학원 적조속보 정보를 바탕으로 적조 발생해역을 선정하였고, 해색 센서인 GOCI 영상과 육상 센서인 Landsat OLI 영상을 이용하여 공간적인 융합과 분광기반 융합을 시도하였다. 두 영상의 공간 융합을 통하여, GOCI 영상에서 관측 불가능하였던 연안지역의 적조와 Landsat OLI 영상의 품질이 낮았던 외해역의 적조 모두 개선된 탐지결과 획득 가능하였다. Feature-level과 rawdata-level로 나누어 진행된 분광 융합 결과, 두 방법에서 도출된 적조 분포 양상은 큰 차이를 보이지 않았다. 하지만 feature-level 방법에서는 영상의 공간해상도가 낮을수록 적조 면적이 과대추정되는 경향이 나타났다. Linear spectral unmixing 방법으로 픽셀을 세분화한 결과, 적조 비율이 낮은 픽셀의 수가 많을수록 적조 면적의 차이는 심화되는 것으로 나타났다. Rawdata-level의 경우Gram-Schmidt가 PC spectral sharpening 기법보다 다소 넓은 면적이 추정되었지만, 큰 차이는 나타나지 않았다. 본 연구에서는 해색 센서와 육상 센서의 공간 융합을 통해 외해뿐만 아니라 탁도가 높은 연안의 적조 역시 탐지가 가능함을 보여주었고, 다양한 분광 융합 방법을 제시함으로써 더욱 정확한 적조 면적 추정 방법을 제시하였다. 이 결과는 한반도 주변의 적조를 더욱 정확하게 탐지하고, 적조를 효과적으로 제어하기 위한 대응대책 수립을 결정하는데 필요한 정확한 적조 면적 정보를 제공할 수 있을 것으로 기대된다.

Gabor, MDLC, Co-Occurrence 특징의 융합에 의한 언어 인식 (Language Identification by Fusion of Gabor, MDLC, and Co-Occurrence Features)

  • 장익훈;김지홍
    • 한국멀티미디어학회논문지
    • /
    • 제17권3호
    • /
    • pp.277-286
    • /
    • 2014
  • 본 논문에서는 Gabor 특징과 MDLC 특징, 그리고 co-occurrence 특징의 융합에 의한 질감 특징 기반언어 인식 방법을 제안한다. 제안된 방법에서는 먼저 시험 영상에 Gabor 변환에 이은 크기 연산자를 적용하여 Gabor 크기 영상을 얻고 그 통계치를 계산하여 결과를 벡터화한다. 이어서 MDLC 연산자를 이용하여 MDLC 영상을 얻고 역시 그 통계치를 계산하여 벡터화한다. 다음으로 시험 영상으로부터 GLCM을 계산하고 이를 이용하여 co-occurrence 특징을 계산한 다음 벡터화한다. 이들 Gabor, MDLC, co-occurrence 특징에 의한 벡터들은 벡터 융합에 의하여 특징 벡터로 사용된다. 분류 단계에서는 얼굴 인식에 주로 사용되는 WPCA를 분류기로 하여 시험 특징 벡터와 가장 유사한 학습 특징 벡터를 찾는다. 제안된 방법의 성능은 15개국 언어의 문서를 스캔하여 얻은 시험 문서 영상 DB에 대한 평균 인식률을 조사하여 알아본다. 실험 결과 제안된 방법은 시험 DB에 대하여 비교적 낮은 특징 벡터 차원으로 매우 우수한 언어 인식 성능을 보여준다.

DA-Res2Net: a novel Densely connected residual Attention network for image semantic segmentation

  • Zhao, Xiaopin;Liu, Weibin;Xing, Weiwei;Wei, Xiang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권11호
    • /
    • pp.4426-4442
    • /
    • 2020
  • Since scene segmentation is becoming a hot topic in the field of autonomous driving and medical image analysis, researchers are actively trying new methods to improve segmentation accuracy. At present, the main issues in image semantic segmentation are intra-class inconsistency and inter-class indistinction. From our analysis, the lack of global information as well as macroscopic discrimination on the object are the two main reasons. In this paper, we propose a Densely connected residual Attention network (DA-Res2Net) which consists of a dense residual network and channel attention guidance module to deal with these problems and improve the accuracy of image segmentation. Specifically, in order to make the extracted features equipped with stronger multi-scale characteristics, a densely connected residual network is proposed as a feature extractor. Furthermore, to improve the representativeness of each channel feature, we design a Channel-Attention-Guide module to make the model focusing on the high-level semantic features and low-level location features simultaneously. Experimental results show that the method achieves significant performance on various datasets. Compared to other state-of-the-art methods, the proposed method reaches the mean IOU accuracy of 83.2% on PASCAL VOC 2012 and 79.7% on Cityscapes dataset, respectively.

텍스처 기술자들을 이용한 이질적 얼굴 인식 시스템 (Heterogeneous Face Recognition Using Texture feature descriptors)

  • 배한별;이상윤
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권3호
    • /
    • pp.208-214
    • /
    • 2021
  • 최근 많은 지능형 보안 시나리오 및 범죄수사에서는 사진이 아닌 얼굴 영상과 다수의 정면 사진과의 매칭을 요구한다. 기존의 얼굴 인식 시스템은 이러한 요구를 충분히 충족시킬 수 없다. 본 논문에서는 동일 인물의 스케치와 사진 간의 양식 차이를 줄임으로써, 이질적 얼굴 인식 시스템의 성능을 향상시키는 알고리즘을 제안한다. 제안하는 알고리즘은 텍스처 기술자들(그레이 레벨 동시 발생 행렬, 멀티스케일 지역 이진 패턴)을 통하여 영상의 텍스처 특징들을 각각 추출하고, 이를 바탕으로 고유특징 정규화 및 추출기법을 통해 변환 행렬을 생성하게 된다. 이렇게 생성된 벡터들 간 계산된 스코어 값은 스코어 정규화 방식들을 통하여 최종적으로 스케치 영상의 신원을 인식하게 된다.

3차원 객체 탐지를 위한 어텐션 기반 특징 융합 네트워크 (Attention based Feature-Fusion Network for 3D Object Detection)

  • 유상현;강대열;황승준;박성준;백중환
    • 한국항행학회논문지
    • /
    • 제27권2호
    • /
    • pp.190-196
    • /
    • 2023
  • 최근 들어, 라이다 기술의 발전에 따라 정확한 거리 측정이 가능해지면서 라이다 기반의 3차원 객체 탐지 네트워크에 대한 관심이 증가하고 있다. 기존의 네트워크는 복셀화 및 다운샘플링 과정에서 공간적인 정보 손실이 발생해 부정확한 위치 추정 결과를 발생시킨다. 본 연구에서는 고수준 특징과 높은 위치 정확도를 동시에 획득하기 위해 어텐션 기반 융합 방식과 카메라-라이다 융합 시스템을 제안한다. 먼저, 그리드 기반의 3차원 객체 탐지 네트워크인 Voxel-RCNN 구조에 어텐션 방식을 도입함으로써, 다중 스케일의 희소 3차원 합성곱 특징을 효과적으로 융합하여 3차원 객체 탐지의 성능을 높인다. 다음으로, 거짓 양성을 제거하기 위해 3차원 객체 탐지 네트워크의 탐지 결과와 이미지상의 2차원 객체 탐지 결과를 결합하는 카메라-라이다 융합 시스템을 제안한다. 제안 알고리즘의 성능평가를 위해 자율주행 분야의 KITTI 데이터 세트를 이용하여 기존 알고리즘과의 비교 실험을 수행한다. 결과적으로, 차량 클래스에 대해 BEV 상의 2차원 객체 탐지와 3차원 객체 탐지 부분에서 성능 향상을 보였으며 특히 Voxel-RCNN보다 차량 Moderate 클래스에 대하여 정확도가 약 0.47% 향상되었다.