• 대한임베디드공학회논문지
• /
• 제18권3호
• /
• pp.89-100
• /
• 2023

Recently, on-device artificial intelligence (AI) solutions using mobile devices and embedded edge devices have emerged in various fields, such as computer vision, to address network traffic burdens, low-energy operations, and security problems. Although vision transformer deep learning models have outperformed conventional convolutional neural network (CNN) models in computer vision, they require more computations and parameters than CNN models. Thus, they are not directly applicable to embedded edge devices with limited hardware resources. Many researchers have proposed various model compression methods or lightweight architectures for vision transformers; however, there are only a few studies evaluating the effects of model compression techniques of vision transformers on performance. Regarding this problem, this paper presents a performance evaluation of vision transformers on embedded platforms. We investigated the behaviors of three vision transformers: DeiT, LeViT, and MobileViT. Each model performance was evaluated by accuracy and inference time on edge devices using the ImageNet dataset. We assessed the effects of the quantization method applied to the models on latency enhancement and accuracy degradation by profiling the proportion of response time occupied by major operations. In addition, we evaluated the performance of each model on GPU and EdgeTPU-based edge devices. In our experimental results, LeViT showed the best performance in CPU-based edge devices, and DeiT-small showed the highest performance improvement in GPU-based edge devices. In addition, only MobileViT models showed performance improvement on EdgeTPU. Summarizing the analysis results through profiling, the degree of performance improvement of each vision transformer model was highly dependent on the proportion of parts that could be optimized in the target edge device. In summary, to apply vision transformers to on-device AI solutions, either proper operation composition and optimizations specific to target edge devices must be considered.

• Nuclear Engineering and Technology
• /
• 제55권8호
• /
• pp.3030-3038
• /
• 2023

Nowadays, mobile robots have been used to search for uncontrolled radioactive source in indoor environments to avoid radiation exposure for technicians. However, in the indoor environments, especially in the presence of obstacles, how to make the robots with limited sensing capabilities automatically search for the radioactive source remains a major challenge. Also, the source search efficiency of robots needs to be further improved to meet practical scenarios such as limited exploration time. This paper proposes an automatic source search strategy, abbreviated as ACA: the location of source is estimated by a convolutional neural network (CNN), and the path is planned by the A-star algorithm. First, the search area is represented as an occupancy grid map. Then, the radiation dose distribution of the radioactive source in the occupancy grid map is obtained by Monte Carlo (MC) method simulation, and multiple sets of radiation data are collected through the eight neighborhood self-avoiding random walk (ENSAW) algorithm as the radiation data set. Further, the radiation data set is fed into the designed CNN architecture to train the network model in advance. When the searcher enters the search area where the radioactive source exists, the location of source is estimated by the network model and the search path is planned by the A-star algorithm, and this process is iterated continuously until the searcher reaches the location of radioactive source. The experimental results show that the average number of radiometric measurements and the average number of moving steps of the ACA algorithm are only 2.1% and 33.2% of those of the gradient search (GS) algorithm in the indoor environment without obstacles. In the indoor environment shielded by concrete walls, the GS algorithm fails to search for the source, while the ACA algorithm successfully searches for the source with fewer moving steps and sparse radiometric data.

• 대한원격탐사학회지
• /
• 제39권6_1호
• /
• pp.1413-1425
• /
• 2023

기후변화로 인한 대형 산불의 빈도가 증가함에 따라 극심한 인명 및 재산상의 피해를 초래하고 있다. 이로 인해 많은 식생이 소실되며, 그 강도와 발생 형태에 따라 생태계 변화에 영향을 끼친다. 생태계 변화는 다시 산불 발생을 유발하여 2차 피해를 야기한다. 따라서 산불 피해지에 대한 정확한 탐지 및 면적 산정의 중요성이 지속적으로 제기되고 있다. 효율적인 산불 피해지 모니터링을 위해 산불 발생 후 실시간 지형 및 기상정보는 물론 피해지역의 영상을 대규모로 취득할 수 있는 위성영상이 주로 활용되고 있다. 최근, 합성곱 신경망(convolution neural network, CNN) 기반 모델부터 고성능 트랜스포머(Transformer) 기반 모델에 이르기까지 딥러닝 알고리즘이 빠르게 발전하면서 산림원격탐사에서 이를 적용한 연구가 활발히 이루어지고 있다. 하지만 현재까지 적용된 딥러닝 모델은 제한적이며 현업에서의 합리적인 활용을 위한 정량적 성능평가에 대한 보고가 부족한 상황이다. 따라서 본 연구에서는 모델에 따른 성능향상과 데이터 설계에 따른 성능향상을 중점적으로 비교 분석하였다. 미국 캘리포니아 지역을 대상으로 CNN 기반 모델의 U-Net, High Resolution Network-Object Contextual Representation (HRNet-OCR)을 활용하여 산불 피해지 모델을 구축하였다. 또한, 기본 파장대역과 함께 식생활력도 및 지표의 수분함량 정도를 고려하고자 normalized difference vegetation index (NDVI), normalized burn ratio (NBR)와 같은 산불 관련 분광지수를 산출하여 입력 이미지로 사용하였다. U-Net의 mean intersection over union (mIoU)이 0.831, HRNet-OCR이 0.848을 기록하여 두 모델 모두 우수한 영상분할 성능을 보였다. 또한, 밴드 반사도뿐 아니라 분광지수를 추가한 결과 모든 조합에서 평가지표 값이 상승하여 분광지수를 활용한 입력 데이터 확장이 픽셀 세분화에 기여함을 확인하였다. 이와 같은 딥러닝 방법론을 발전시킨다면 우리나라의 산불 피해지에 대한 신속한 파악 및 복구 계획 수립의 기초자료로 활용될 수 있을 것으로 기대된다.

• 한국시뮬레이션학회논문지
• /
• 제30권2호
• /
• pp.41-48
• /
• 2021

농촌 인구의 감소와 고령화가 지속되면서 농업 생상성 향상의 중요성이 높아지고 있는 가운데, 농작물 품질에 대한 조기 예측은 농업 생산성 및 수익성 향상에 중요한 역할을 할 수 있다. 최근 CNN 기반의 딥러닝 기술 및 전이 학습을 활용하여 농작물의 질병을 분류하거나 수확량을 예측하는 연구가 활발하게 진행되고 있지만, 수확 후 농작물의 품질을 식재단계에서 조기에 예측하는 연구는 찾아보기 힘들다. 본 연구에서는 건강 기능성 식품으로 주목받고 있는 새싹삼을 대상으로, 수확 후 새싹삼의 품질을 식재단계에서 조기에 예측하는 모델을 제안한다. 이를 위하여 묘삼의 이미지를 촬영한 후 수경재배를 통해 새싹삼을 재배하였고, 수확 후 새싹삼의 품질을 분류하여 실험 데이터를 수집하였다. 다수의 CNN 기반의 사전 학습된 모델을 활용하여 새싹삼 조기 품질 예측 모델을 구축하고, 수집된 데이터를 이용하여 각 모델의 학습 및 예측 성능을 비교 분석하였다. 분석 결과 모든 예측 모델에서 80% 이상의 예측 정확도를 보였으며, 특히 ResNet152V2 기반의 예측 모델에서 가장 높은 정확도를 보였다. 본 연구를 통해 인력에 의존하던 기존의 묘삼 선별 작업을 자동화하여 새싹삼의 품질을 높이고 생산량을 증대시켜 농가의 수익창출에 기여할 수 있을 것으로 기대된다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.519-524
• /
• 2023

해싱 기반 이미지 검색에서는 조작된 이미지의 해시코드가 원본 이미지와 달라 동일한 이미지 검색이 어렵다. 본 논문은 이미지의 질감, 모양, 색상 등 특징 정보로부터 지각적 해시코드를 생성하는 자기 감독 기반 딥해싱 모델을 제안하고 평가한다. 비교 모델은 오토인코더 기반 변분 추론 모델들이며, 인코더는 완전 연결 계층, 합성곱 신경망과 트랜스포머 모듈 등으로 설계된다. 제안된 모델은 기하학적 패턴을 추출하고 이미지 내 위치 관계를 활용하는 SimAM 모듈을 포함하는 변형 추론 모델이다. SimAM은 뉴런과 주변 뉴런의 활성화 값을 이용한 에너지 함수를 통해 객체 또는 로컬 영역이 강조된 잠재 벡터를 학습할 수 있다. 제안 방법은 표현 학습 모델로 고차원 입력 이미지의 저차원 잠재 벡터를 생성할 수 있으며, 잠재 벡터는 구분 가능한 해시코드로 이진화 된다. CIFAR-10, ImageNet, NUS-WIDE 등 공개 데이터셋의 실험 결과로부터 제안 모델은 비교 모델보다 우수하며, 지도학습 기반 딥해싱 모델과 동등한 성능이 분석되었다.

• Korean Journal of Radiology
• /
• 제21권10호
• /
• pp.1165-1177
• /
• 2020

Objective: To assess the feasibility of applying a deep learning-based denoising technique to coronary CT angiography (CCTA) along with iterative reconstruction for additional noise reduction. Materials and Methods: We retrospectively enrolled 82 consecutive patients (male:female = 60:22; mean age, 67.0 ± 10.8 years) who had undergone both CCTA and invasive coronary artery angiography from March 2017 to June 2018. All included patients underwent CCTA with iterative reconstruction (ADMIRE level 3, Siemens Healthineers). We developed a deep learning based denoising technique (ClariCT.AI, ClariPI), which was based on a modified U-net type convolutional neural net model designed to predict the possible occurrence of low-dose noise in the originals. Denoised images were obtained by subtracting the predicted noise from the originals. Image noise, CT attenuation, signal-to-noise ratio (SNR), and contrast-to-noise ratio (CNR) were objectively calculated. The edge rise distance (ERD) was measured as an indicator of image sharpness. Two blinded readers subjectively graded the image quality using a 5-point scale. Diagnostic performance of the CCTA was evaluated based on the presence or absence of significant stenosis (≥ 50% lumen reduction). Results: Objective image qualities (original vs. denoised: image noise, 67.22 ± 25.74 vs. 52.64 ± 27.40; SNR [left main], 21.91 ± 6.38 vs. 30.35 ± 10.46; CNR [left main], 23.24 ± 6.52 vs. 31.93 ± 10.72; all p < 0.001) and subjective image quality (2.45 ± 0.62 vs. 3.65 ± 0.60, p < 0.001) improved significantly in the denoised images. The average ERDs of the denoised images were significantly smaller than those of originals (0.98 ± 0.08 vs. 0.09 ± 0.08, p < 0.001). With regard to diagnostic accuracy, no significant differences were observed among paired comparisons. Conclusion: Application of the deep learning technique along with iterative reconstruction can enhance the noise reduction performance with a significant improvement in objective and subjective image qualities of CCTA images.

• 방송공학회논문지
• /
• 제23권6호
• /
• pp.855-865
• /
• 2018

음향 이벤트 인식은 다수의 음향 이벤트가 발생하는 환경에서 이를 인식하고 각각의 발생과 소멸 시점을 판단하는 기술로써 인간의 청각적 인지 특성을 모델화하는 연구다. 음향 장면 및 이벤트 인식 연구 그룹인 DCASE는 연구자들의 참여 유도와 더불어 음향 인식 연구의 활성화를 위해 챌린지를 진행하고 있다. 그러나 DCASE 챌린지에서 제공하는 데이터 세트는 이미지 인식 분야의 대표적인 데이터 세트인 이미지넷에 비해 상대적으로 작은 규모이며, 이 외에 공개된 음향 데이터 세트는 많지 않아 알고리즘 개발에 어려움이 있다. 본 연구에서는 음향 이벤트 인식 기술 개발을 위해 실내외에서 발생할 수 있는 이벤트를 정의하고 수집을 진행하였으며, 보다 큰 규모의 데이터 세트를 확보하였다. 또한, 인식 성능 개선을 위해 음향 이벤트 존재 여부를 판단하는 보조 신경망을 추가한 이중 CNN 구조의 알고리즘을 개발하였고, 2016년과 2017년의 DCASE 챌린지 기준 시스템과 성능 비교 실험을 진행하였다.

• 인터넷정보학회논문지
• /
• 제21권4호
• /
• pp.17-23
• /
• 2020

인간의 특성과 관련된 측정 항목을 나타내는 생체정보는 도난이나 분실의 염려가 없으므로 높은 신뢰성을 가진 보안 기술로서 큰 주목을 받고 있다. 이러한 생체정보 중 지문은 본인 인증, 신원 파악 등의 분야에 주로 사용된다. 신원을 파악할 때 지문 이미지에 인증을 수행하기 어려운 상처, 주름, 습기 등의 문제가 있을 경우, 지문 전문가가 전처리단계를 통해 직접 지문에 어떠한 문제가 있는지 파악하고 문제에 맞는 영상처리 알고리즘을 적용해 문제를 해결한다. 이때 지문에 상처와 주름이 있는 지문 영상을 판별해주는 인공지능 소프트웨어를 구현하면 손쉽게 상처나 주름의 여부를 확인할 수 있고, 알맞은 알고리즘을 선정해 쉽게 지문 이미지를 개선할 수 있다. 본 연구에서는 이러한 인공지능 소프트웨어의 개발을 위해 캄보디아 왕립대학교의 학생 1,010명, Sokoto 오픈 데이터셋 600명, 국내 학생 98명의 모든 손가락 지문을 취득해 총 17,080개의 지문 데이터베이스를 구축했다. 구축한 데이터베이스에서 상처나 주름이 있는 경우를 판별하기 위해 기준을 확립하고 전문가의 검증을 거쳐 데이터 어노테이션을 진행했다. 트레이닝 데이터셋과 테스트 데이터셋은 캄보디아의 데이터, Sokoto 데이터로 구성하였으며 비율을 8:2로 설정했다. 그리고 국내 학생 98명의 데이터를 검증 데이터 셋으로 설정했다, 구성된 데이터셋을 사용해 Classic CNN, AlexNet, VGG-16, Resnet50, Yolo v3 등의 다섯 가지 CNN 기반 아키텍처를 구현해 학습을 진행했으며 지문의 상처와 주름 판독에서 가장 좋은 성능을 보이는 모델을 찾는 연구를 수행했다. 다섯가지 아키텍처 중 지문 영상에서 상처와 주름 여부를 가장 잘 판별할 수 있는 아키텍처는 ResNet50으로 검증 결과 81.51%로 가장 좋은 성능을 보였다.

• Imaging Science in Dentistry
• /
• 제54권1호
• /
• pp.81-91
• /
• 2024

Purpose: The objective of this study was to propose a deep-learning model for the detection of the mandibular canal on dental panoramic radiographs. Materials and Methods: A total of 2,100 panoramic radiographs (PANs) were collected from 3 different machines: RAYSCAN Alpha (n=700, PAN A), OP-100 (n=700, PAN B), and CS8100 (n=700, PAN C). Initially, an oral and maxillofacial radiologist coarsely annotated the mandibular canals. For deep learning analysis, convolutional neural networks (CNNs) utilizing U-Net architecture were employed for automated canal segmentation. Seven independent networks were trained using training sets representing all possible combinations of the 3 groups. These networks were then assessed using a hold-out test dataset. Results: Among the 7 networks evaluated, the network trained with all 3 available groups achieved an average precision of 90.6%, a recall of 87.4%, and a Dice similarity coefficient (DSC) of 88.9%. The 3 networks trained using each of the 3 possible 2-group combinations also demonstrated reliable performance for mandibular canal segmentation, as follows: 1) PAN A and B exhibited a mean DSC of 87.9%, 2) PAN A and C displayed a mean DSC of 87.8%, and 3) PAN B and C demonstrated a mean DSC of 88.4%. Conclusion: This multi-device study indicated that the examined CNN-based deep learning approach can achieve excellent canal segmentation performance, with a DSC exceeding 88%. Furthermore, the study highlighted the importance of considering the characteristics of panoramic radiographs when developing a robust deep-learning network, rather than depending solely on the size of the dataset.