• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권1호
• /
• pp.180-194
• /
• 2021

For small image registration, feature-based approaches are likely to fail as feature detectors cannot detect enough feature points from low-resolution images. The classic FFT approach's prediction accuracy is high, but the registration time can be relatively long, about several seconds to register one image pair. To achieve real-time and high-precision rigid registration for small images, we apply deep neural networks for supervised rigid transformation prediction, which directly predicts the transformation parameters. We train deep registration models with rigidly transformed CIFAR-10 images and STL-10 images, and evaluate the generalization ability of deep registration models with transformed CIFAR-10 images, STL-10 images, and randomly generated images. Experimental results show that the deep registration models we propose can achieve comparable accuracy to the classic FFT approach for small CIFAR-10 images (32×32) and our LSTM registration model takes less than 1ms to register one pair of images. For moderate size STL-10 images (96×96), FFT significantly outperforms deep registration models in terms of accuracy but is also considerably slower. Our results suggest that deep registration models have competitive advantages over conventional approaches, at least for small images.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권8호
• /
• pp.2787-2800
• /
• 2022

The aging society increases emergency situations of the elderly living alone and a variety of social crimes. In order to prevent them, techniques to detect emergency situations through voice are actively researched. This study proposes CutPaste-based anomaly detection model using multi-scale feature extraction in time series streaming data. In the proposed method, an audio file is converted into a spectrogram. In this way, it is possible to use an algorithm for image data, such as CNN. After that, mutli-scale feature extraction is applied. Three images drawn from Adaptive Pooling layer that has different-sized kernels are merged. In consideration of various types of anomaly, including point anomaly, contextual anomaly, and collective anomaly, the limitations of a conventional anomaly model are improved. Finally, CutPaste-based anomaly detection is conducted. Since the model is trained through self-supervised learning, it is possible to detect a diversity of emergency situations as anomaly without labeling. Therefore, the proposed model overcomes the limitations of a conventional model that classifies only labelled emergency situations. Also, the proposed model is evaluated to have better performance than a conventional anomaly detection model.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권3호
• /
• pp.670-684
• /
• 2024

3D Cross-Modal Retrieval (3DCMR) is a task that retrieves 3D objects regardless of modalities, such as images, meshes, and point clouds. One of the most prominent methods used for 3DCMR is the Cross-Modal Center Loss Function (CLF) which applies the conventional center loss strategy for 3D cross-modal search and retrieval. Since CLF is based on center loss, the center features in CLF are also susceptible to subtle changes in hyperparameters and external inferences. For instance, performance degradation is observed when the batch size is too small. Furthermore, the Mean Squared Error (MSE) used in CLF is unable to adapt to changes in batch size and is vulnerable to data variations that occur during actual inference due to the use of simple Euclidean distance between multi-modal features. To address the problems that arise from small batch training, we propose a Noisy Center Loss (NCL) method to estimate the optimal center features. In addition, we apply the simple Siamese representation learning method (SimSiam) during optimal center feature estimation to compare projected features, making the proposed method robust to changes in batch size and variations in data. As a result, the proposed approach demonstrates improved performance in ModelNet40 dataset compared to the conventional methods.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.519-524
• /
• 2023

해싱 기반 이미지 검색에서는 조작된 이미지의 해시코드가 원본 이미지와 달라 동일한 이미지 검색이 어렵다. 본 논문은 이미지의 질감, 모양, 색상 등 특징 정보로부터 지각적 해시코드를 생성하는 자기 감독 기반 딥해싱 모델을 제안하고 평가한다. 비교 모델은 오토인코더 기반 변분 추론 모델들이며, 인코더는 완전 연결 계층, 합성곱 신경망과 트랜스포머 모듈 등으로 설계된다. 제안된 모델은 기하학적 패턴을 추출하고 이미지 내 위치 관계를 활용하는 SimAM 모듈을 포함하는 변형 추론 모델이다. SimAM은 뉴런과 주변 뉴런의 활성화 값을 이용한 에너지 함수를 통해 객체 또는 로컬 영역이 강조된 잠재 벡터를 학습할 수 있다. 제안 방법은 표현 학습 모델로 고차원 입력 이미지의 저차원 잠재 벡터를 생성할 수 있으며, 잠재 벡터는 구분 가능한 해시코드로 이진화 된다. CIFAR-10, ImageNet, NUS-WIDE 등 공개 데이터셋의 실험 결과로부터 제안 모델은 비교 모델보다 우수하며, 지도학습 기반 딥해싱 모델과 동등한 성능이 분석되었다.

• 방송과미디어
• /
• 제27권2호
• /
• pp.19-25
• /
• 2022

본 고에서는 최근 컴퓨터 비전 분야에서 가장 활발히 연구되고 있는 분야 중에 하나인 자가 학습(Self-supervised Learning) 기술의 동향과 향후 방향성에 대해서 논의한다. 컴퓨터 비전 분야에서의 자가 학습 기술은 최근에 Contrastive Learning 기법을 활용하여 활발하게 연구되고 있는데, 이를 위한 좋은 Positive와 Negative를 어떻게 추출할까에 대한 고민으로 수많은 연구들이 진행되어 왔다. 본 고에서는 이러한 방향성에서 대표적인 몇 가지의 방법론에 대해서 논의하고 이의 한계점을 언급하며 컴퓨터 비전 분야에서 자가 학습 기법이 가야 할 방향성에 대해서 논의하고자 한다.

• 비파괴검사학회지
• /
• 제31권4호
• /
• pp.351-359
• /
• 2011

최근 토목, 기계 및 항공 분야에서 구조물의 안전성 및 적정 성능 수준 확보를 위하여 구조물의 결함 및 노후화에 의한 성능저하 등을 상시적으로 모니터링하기 위한 관심이 높아지고 있다. 실제 구조물에서는 내부 미세 균열에서부터 국부 좌굴, 볼트 풀림, 피로 균열 등과 같이 다양한 형태의 손상이 복합적으로 발생 가능한데, 복합 손상을 단일 모드 계측 시스템으로부터 진단하기는 매우 어렵다. 따라서 본 연구에서는 이러한 복합 손상을 효율적으로 진단하기 위하여 선행 연구에서 제안된 압전센서를 이용한 자가 계측 회로 기반의 다중 모드 계측 시스템을 적용하였다. 자가 계측 회로 기반 다중 모드 계측 시스템은 크게 두 가지 형태의 신호를 계측한다. 첫 번째 모드는 임피던스 계측으로부터 특정 주파수 대역의 구조 응답을 계측하며, 두 번째 모드는 유도 초음파 계측으로부터 단일 중심 주파수에 해당하는 구조 응답을 계측한다. 복합 손상을 손상 유형별로 분류하기 위하여 E/M 임피던스와 유도 초음파의 계측으로부터 추출한 특성을 이용하여 2차원 손상지수를 계산하고 이를 지도학습 기반 패턴인식 기법 중 확률론적 신경망 기법에 적용한다. 제안된 기법의 적용성 검토를 배관 구조물에 인위적으로 다중 손상을 생성시켜 실험을 수행하였다.

• 토지주택연구
• /
• 제2권4호
• /
• pp.407-413
• /
• 2011

본 논문에서는 콘크리트 보의 표면에 부착된 CFRP (Carbon Fiber Reinforced Plastic) 보강재의 박리 손상 진단을 위한 구조 건전성 모니터링 기법을 소개한다. 이를 위해 압전 능동 센서를 이용한 셀프센싱 회로 기반의 다중 스케일 계측 기법이 적용되었다. 다중 스케일 계측 시스템으로부터 셀프센싱 임피던스 계측을 통한 주파수 영역 구조 응답 및 셀프센싱 유도 초음파 계측을 통한 특정 주파수에서의 구조 응답을 획득할 수 있다. 박리 손상의 정량화를 위하여 임피던스 및 유도 초음파 신호로부터 추출된 손상 특성을 이용하여 2차원 손상 지수를 도출하고 이를 지도학습 기반 확률론적 패턴인식 기법에 적용하였다.

• 한국통신학회논문지
• /
• 제42권2호
• /
• pp.536-544
• /
• 2017

무선 RSSI fingerprinting 방식은 기존 무선 인프라를 이용하면서 적정수준의 정확도를 얻을 수 있는 실내위치인식 방법 중의 하나이다. 하지만 라디오 맵 구성( fingerprint calibration) 과정에서 목표 환경의 다양한 위치에서 정확한 물리적 좌표와 무선 신호를 측정해야 하므로 시간과 노력이 많이 소요된다. 이 논문은 이러한 방식으로 위치 정보를 수집하지 않고 반지도식 자기조직화지도 학습 알고리즘을 사용하여 labeled RSSI를 얻고 RSSI 조합으로부터 맵을 구성하는 방법을 제안한다. 모의 데이터에 대한 실험을 통해 제안 방법이 fingerprint 데이터베이스로 부터 1%의 RSSI 샘플을 가지고 효과적인 전체 맵을 얻을 수 있다는 결론을 얻었다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제14권3호
• /
• pp.149-154
• /
• 2022

In recent years, the application of deep learning method to computer vision has shown to achieve great performances. Thus, many research projects have also applied deep learning technology to railroad defect detection. In this paper, we have reviewed the researches that applied computer vision based deep learning method to railroad defect detection and inspection, and have discussed the current trend and the direction of those researches. Many research projects were targeted to operate automatically without visual inspection of human and to work in real-time. Therefore, methods to speed up the computation were also investigated. The reduction of the number of learning parameters was considered important to improve computation efficiency. In addition to computation speed issue, the problem of annotation was also discussed in some research projects. To alleviate the problem of time consuming annotation, some kinds of automatic segmentation of the railroad defect or self-supervised methods have been suggested.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권10호
• /
• pp.3955-3971
• /
• 2020

Due to the significant increase in the use of autonomous car technology, it is essential to integrate this technology with high-precision digital map data containing more precise and accurate roadway information, as compared to existing conventional map resources, to ensure the safety of self-driving operations. While existing map technologies may assist vehicles in identifying their locations via Global Positioning System, it is however difficult to update the environmental changes of roadways in these maps. Roadway vision algorithms can be useful for building autonomous vehicles that can avoid accidents and detect real-time location changes. We incorporate a hybrid architectural design that combines unsupervised classification of vision data with supervised joint fusion classification to achieve a better noise-resistant algorithm. We identify, via a deep learning approach, an intelligent hybrid fusion algorithm for fusing multimodal vision feature data for roadway classifications and characterize its improvement in accuracy over unsupervised identifications using image processing and supervised vision classifiers. We analyzed over 93,000 vision frame data collected from a test vehicle in real roadways. The performance indicators of the proposed hybrid fusion algorithm are successfully evaluated for the generation of roadway digital maps for autonomous vehicles, with a recall of 0.94, precision of 0.96, and accuracy of 0.92.