• Korean Journal of Radiology
• /
• 제25권4호
• /
• pp.403-406
• /
• 2024

• 전자통신동향분석
• /
• 제38권5호
• /
• pp.12-22
• /
• 2023

The development of neural networks is evolving towards the adoption of transformer structures with attention modules. Hence, active research focused on extending the concept of lightweight neural network algorithms and hardware acceleration is being conducted for the transition from conventional convolutional neural networks to transformer-based networks. We present a survey of state-of-the-art research on lightweight neural network algorithms and hardware architectures to reduce memory usage and accelerate both inference and training. To describe the corresponding trends, we review recent studies on token pruning, quantization, and architecture tuning for the vision transformer. In addition, we present a hardware architecture that incorporates lightweight algorithms into artificial intelligence processors to accelerate processing.

• 반도체디스플레이기술학회지
• /
• 제22권2호
• /
• pp.77-80
• /
• 2023

Since fires in uncontrolled environments pose serious risks to society and individuals, many researchers have been investigating technologies for early detection of fires that occur in everyday life. Recently, with the development of deep learning vision technology, research on fire detection models using neural network backbones such as Transformer and Convolution Natural Network has been actively conducted. Vision-based fire detection systems can solve many problems with physical sensor-based fire detection systems. This paper proposes a fire detection method using the latest YOLOv8, which improves the existing fire detection method. The proposed method develops a system that detects sparks and smoke from input images by training the Yolov8 model using a universal fire detection dataset. We also demonstrate the superiority of the proposed method through experiments by comparing it with existing methods.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.396-398
• /
• 2022

위장관의 내시경적 병리학적 소견은 대장암의 조기 진단에 중요하다. 최근 CNN 기반 딥 러닝의 활용은 주관적 분석의 정확도와 조기 진단의 성능을 높이는 결과를 보였으나, 계산 복잡도가 높고 임상에 즉시 활용하기에는 상대적으로 낮은 정확도로 사용에 제한적이다. 이러한 문제를 해결하기 위해 본 논문에서는 대장암의 조기 발견을 위한 비전 트랜스포머 기반 내시경 병리 소견 분류법을 제안한다. 식도염, 폴립, 궤양성 대장염을 포함한 병리학적 소견이 있는 내시경 이미지를 각각 1,000개씩 사용하였으며, 제안된 접근 방식을 사용하여 세 가지 병리학적 소견을 분류할 때 98%의 분류 정확도를 보였다.

• 스마트미디어저널
• /
• 제13권8호
• /
• pp.39-48
• /
• 2024

최근 초분광 영상을 활용하여 작물의 생육 분석 및 질병을 조기에 진단하는 다양한 연구들이 등장하였지만, 수많은 스팩트럼 밴드를 사용하거나 최적의 밴드를 탐색하는 것은 어려운 문제로 남아 있다. 본 논문에서는 초분광 영상을 이용한 딥러닝 기반의 최적화된 작물 영역 스펙트럼 밴드를 탐색하는 방법을 제안한다. 제안한 방법은 초분광 영상 내 RGB 영상을 추출하여 Vision Transformer 기반 Segformer을 통해 배경과 전경 영역을 분할한다. 분할된 결과는 그레이스케일 전환한 초분광 영상 각 밴드에 투영 후 전경과 배경 영역의 평균 픽셀 비교를 통해 작물 영역의 최적화된 스펙트럼 밴드를 탐색한다. 제안된 방법을 통해 전경과 배경 분할 성능은 평균 정확도 98.47%와 mIoU 96.48%의 성능을 나타내었다. 또한, mRMR 방법에 비해 제안 방법이 작물 영역 밀접하게 연관된 NIR 영역에 수렴하는 것을 확인하였다.

• Wind and Structures
• /
• 제20권2호
• /
• pp.315-326
• /
• 2015

To overcome the drawbacks of the traditional contact-type sensor for structural displacement measurement, the vision-based technology with the aid of the digital image processing algorithm has received increasing concerns from the community of structural health monitoring (SHM). The advanced vision-based system has been widely used to measure the structural displacement of civil engineering structures due to its overwhelming merits of non-contact, long-distance, and high-resolution. However, seldom currently-available vision-based systems are capable of realizing the synchronous structural displacement measurement for multiple points on the investigated structure. In this paper, the method for vision-based multi-point structural displacement measurement is presented. A series of moving loading experiments on a scale arch bridge model are carried out to validate the accuracy and reliability of the vision-based system for multi-point structural displacement measurement. The structural displacements of five points on the bridge deck are measured by the vision-based system and compared with those obtained by the linear variable differential transformer (LVDT). The comparative study demonstrates that the vision-based system is deemed to be an effective and reliable means for multi-point structural displacement measurement.

• 지능정보연구
• /
• 제28권3호
• /
• pp.119-137
• /
• 2022

최근 추천 시스템 연구에서는 사용자와 아이템 간 상호 작용을 보다 잘 표현하고자 다양한 딥 러닝 모델을 적용하고 있다. ONCF(Outer product-based Neural Collaborative Filtering)는 사용자와 아이템의 행렬을 외적하고 합성곱 신경망을 거치는 구조로 2차원 상호작용 맵을 제작해 사용자와 아이템 간의 상호 작용을 더욱 잘 포착하고자 한 대표적인 딥러닝 기반 추천시스템이다. 하지만 합성곱 신경망을 이용하는 ONCF는 학습 데이터에 나타나지 않은 분포를 갖는 데이터의 경우 예측성능이 떨어지는 귀납적 편향을 가지는 한계가 있다. 본 연구에서는 먼저 NCF구조에 Transformer에 기반한 ViT(Vision Transformer)를 도입한 방법론을 제안한다. ViT는 NLP분야에서 주로 사용되던 트랜스포머를 이미지 분류에 적용하여 좋은 성과를 거둔 방법으로 귀납적 편향이 합성곱 신경망보다 약해 처음 보는 분포에도 robust한 특징이 있다. 다음으로, ONCF는 사용자와 아이템에 대한 단일 잠재 벡터를 사용하였지만 본 연구에서는 모델이 더욱 다채로운 표현을 학습하고 앙상블 효과도 얻기 위해 잠재 벡터를 여러 개 사용하여 채널을 구성한다. 마지막으로 ONCF와 달리 부가 정보(side information)를 추천에 반영할 수 있는 아키텍처를 제시한다. 단순한 입력 결합 방식을 활용하여 신경망에 부가 정보를 반영하는 기존 연구와 달리 본 연구에서는 독립적인 보조 분류기(auxiliary classifier)를 도입하여 추천 시스템에 부가정보를 보다 효율적으로 반영할 수 있도록 하였다. 결론적으로 본 논문에서는 ViT 의 적용, 임베딩 벡터의 채널화, 부가정보 분류기의 도입을 적용한 새로운 딥러닝 모델을 제안하였으며 실험 결과 ONCF보다 높은 성능을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.646-647
• /
• 2022

Multiview stereo (MVS) 3D reconstruction of a scene from images is a fundamental computer vision problem that has been thoroughly researched in recent times. Traditionally, MVS approaches create dense correspondences by constructing regularizations and hand-crafted similarity metrics. Although these techniques have achieved excellent results in the best Lambertian conditions, traditional MVS algorithms still contain a lot of artifacts. Therefore, in this study, we suggest using a transformer network to accelerate the MVS reconstruction. The network is based on a transformer model and can extract dense features with 3D consistency and global context, which are necessary to provide accurate matching for MVS.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.648-651
• /
• 2023

Video anomaly detection aims to detect abnormal events. Motivated by the power of transformers recently shown in vision tasks, we propose a novel transformer-based network for video anomaly detection. To capture long-range information in video, we employ a multi-scale transformer as an encoder. A convolutional decoder is utilized to predict the future frame from the extracted multi-scale feature maps. The proposed method is evaluated on three benchmark datasets: USCD Ped2, CUHK Avenue, and ShanghaiTech. The results show that the proposed method achieves better performance compared to recent methods.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.9-12
• /
• 2023

최근 영상 콘텐츠를 통해 영상물의 메시지뿐 아니라 메시지의 형식을 통해 전달된 감정이 시청하는 사람의 심리 상태에 영향을 주고 있다. 이에 따라, 영상 콘텐츠의 감정을 분류하는 연구가 활발히 진행되고 있고 본 논문에서는 대중적인 영상 스트리밍 플랫폼 중 하나인 유튜브 영상을 7가지의 감정 카테고리로 분류하는 여러 개의 영상 데이터 중 각 영상 데이터에서 오디오와 이미지 데이터를 각각 추출하여 학습에 이용하는 멀티 모달 방식 기반의 영상 감정 분류 모델을 제안한다. 사전 학습된 VGG(Visual Geometry Group)모델과 ViT(Vision Transformer) 모델을 오디오 분류 모델과 이미지 분류 모델에 이용하여 학습하고 본 논문에서 제안하는 병합 방법을 이용하여 병합 후 비교하였다. 본 논문에서는 기존 영상 데이터 감정 분류 방식과 다르게 영상 속에서 화자를 인식하지 않고 감정을 분류하여 최고 48%의 정확도를 얻었다.