• 한국측량학회지
• /
• 제39권3호
• /
• pp.141-148
• /
• 2021

본 논문은 SegNet과 ResNet을 조합한 딥러닝을 이용하여 횡단보도를 검출하는 방법을 제안한다. 시각 장애인의 경우 횡단보도가 어디에 있는지 정확히 아는 게 안전한 교통 시스템에서 중요하다. 딥러닝에 의한 횡단보도 검출은 이 문제에 대한 좋은 해결책이 될 수 있다. 로봇 시각 기반 보조 기술은 지난 몇년 동안 카메라를 사용하는 특정 장면에 초점을 두고 제안되어 왔다. 이러한 전통적인 방법은 비교적 긴 처리 시간으로 의미있는 결과를 얻었으며 횡단보도 인식을 크게 향상시켰다. 그러나 전통적인 방법은 지연 시간이 길고 웨어러블 장비에서 실시간을 만족시킬 수 없다. 본 연구에서 제안하는 방법은 취득한 영상에서 횡단보도를 빠르고 안정적으로 검출하기 위한 모델을 제안한다. 모델은 SegNet과 ResNet을 기반으로 개선되었으며 3단계로 구성된다. 첫째, 입력 영상을 서브샘플링하여 이미지 특징을 추출하고 ResNet의 컨벌루션 신경망을 수정하여 새로운 인코더로 만든다. 둘째, 디코딩 과정에서 업샘플링 네트워크를 통해 특징맵을 원영상 크기로 복원한다. 셋째, 모든 픽셀을 분류하고 각 픽셀의 정확도를 계산한다. 이 실험의 결과를 통하여 수정된 시맨틱 분할 알고리즘의 적격한 정확성을 검증하는 동시에 결과 출력 속도가 비교적 빠른 것으로 파악되었다.

• 한국측량학회지
• /
• 제40권2호
• /
• pp.91-108
• /
• 2022

대부분의 경우 광학 RGB 영상을 딥러닝(DL: Deep learning)의 학습 데이터로 사용하여 객체탐지, 인식, 식별, 분류, 의미적 분할 및 객체 분할 등을 수행하지만, 실세계의 3차원 객체들을 2차원 영상으로 완전하게 파악하는 것은 한계가 있다. 그러므로 대표적인 3차원 지형 공간정보인 수치표면모델(DSM: Digital Surface Model)과 더불어 DSM에 내재된 특성정보를 이용하여 3차원 지형지물을 분석하는 것이 효과적이다. 건물과 같이 기하학적으로 정형화된 형태의 인공구조물은 3차원 공간데이터로부터 얻을 수 있는 기하학적 요소와 특성을 이용하여 객체의 분류와 형상 묘사가 가능하다. 이 연구는 고차원 시각정보(high-level visual information) 시스템에서 중요한 역할을 하는 내재된 고유의 특성정보(intrinsic information)를 기반으로 하며, 이를 위하여 객체의 기하학적 요소인 경사와 주향을 DSM으로부터 도출하고, 다방향에서 생성한 음영기복영상(SRI: Shaded Relief Image)과 함께 DL 모델의 학습 수행에 사용하였다. 실험은 ISPRS (International Society for Photogrammetry and Remote Sensing)에서 제공하는 데이터 셋 중에서 DSM과 레이블 데이터를 객체의 의미적 분류를 위해 개발된 합성곱 기반의 SegNet 학습에 사용하였다. 지형지물을 분류하고 분류 결과를 이용하여 건물을 추출하였다. 특히 DL 모델의 학습 성능 향상을 위해 학습 데이터의 여러 조합에 따른 시너지 효과를 분석하는 것에 핵심이다. 제안한 방법은 건물 분류와 추출에 효과적임을 보여주고 있다.

• 대한방사선기술학회지:방사선기술과학
• /
• 제45권2호
• /
• pp.151-158
• /
• 2022

The Cardiac Gated Blood Pool (GBP) scintigram, a nuclear medicine imaging, calculates the left ventricular Ejection Fraction (EF) by segmenting the left ventricle from the heart. However, in order to accurately segment the substructure of the heart, specialized knowledge of cardiac anatomy is required, and depending on the expert's processing, there may be a problem in which the left ventricular EF is calculated differently. In this study, using the DeepLabV3 architecture, GBP images were trained on 93 training data with a ResNet-50 backbone. Afterwards, the trained model was applied to 23 separate test sets of GBP to evaluate the reproducibility of the region of interest and left ventricular EF. Pixel accuracy, dice coefficient, and IoU for the region of interest were 99.32±0.20, 94.65±1.45, 89.89±2.62(%) at the diastolic phase, and 99.26±0.34, 90.16±4.19, and 82.33±6.69(%) at the systolic phase, respectively. Left ventricular EF was calculated to be an average of 60.37±7.32% in the ROI set by humans and 58.68±7.22% in the ROI set by the deep learning segmentation model. (p<0.05) The automated segmentation method using deep learning presented in this study similarly predicts the average human-set ROI and left ventricular EF when a random GBP image is an input. If the automatic segmentation method is developed and applied to the functional examination method that needs to set ROI in the field of cardiac scintigram in nuclear medicine in the future, it is expected to greatly contribute to improving the efficiency and accuracy of processing and analysis by nuclear medicine specialists.

• Smart Structures and Systems
• /
• 제31권4호
• /
• pp.365-381
• /
• 2023

The existing vision-based techniques for inspection and condition assessment of civil infrastructure are mostly manual and consequently time-consuming, expensive, subjective, and risky. As a viable alternative, researchers in the past resorted to deep learning-based autonomous damage detection algorithms for expedited post-disaster reconnaissance of structures. Although a number of automatic damage detection algorithms have been proposed, the scarcity of labeled training data remains a major concern. To address this issue, this study proposed a semi-supervised learning (SSL) framework based on consistency regularization and cross-supervision. Image data from post-earthquake reconnaissance, that contains cracks, spalling, and exposed rebars are used to evaluate the proposed solution. Experiments are carried out under different data partition protocols, and it is shown that the proposed SSL method can make use of unlabeled images to enhance the segmentation performance when limited amount of ground truth labels are provided. This study also proposes DeepLab-AASPP and modified versions of U-Net++ based on channel-wise attention mechanism to better segment the components and damage areas from images of reinforced concrete buildings. The channel-wise attention mechanism can effectively improve the performance of the network by dynamically scaling the feature maps so that the networks can focus on more informative feature maps in the concatenation layer. The proposed DeepLab-AASPP achieves the best performance on component segmentation and damage state segmentation tasks with mIoU scores of 0.9850 and 0.7032, respectively. For crack, spalling, and rebar segmentation tasks, modified U-Net++ obtains the best performance with Igou scores (excluding the background pixels) of 0.5449, 0.9375, and 0.5018, respectively. The proposed architectures win the second place in IC-SHM2021 competition in all five tasks of Project 2.

• 대한의용생체공학회:의공학회지
• /
• 제45권2호
• /
• pp.95-100
• /
• 2024

Vitiligo is a condition characterized by the destruction or dysfunction of melanin-producing cells in the skin, resulting in a loss of skin pigmentation. Facial vitiligo, specifically affecting the face, significantly impacts patients' appearance, thereby diminishing their quality of life. Evaluating the efficacy of facial vitiligo treatment typically relies on subjective assessments, such as the Facial Vitiligo Area Scoring Index (F-VASI), which can be time-consuming and subjective due to its reliance on clinical observations like lesion shape and distribution. Various machine learning and deep learning methods have been proposed for segmenting vitiligo areas in facial images, showing promising results. However, these methods often struggle to accurately segment vitiligo lesions irregularly distributed across the face. Therefore, our study introduces a framework aimed at improving the segmentation of vitiligo lesions on the face and providing an evaluation of vitiligo lesions. Our framework for facial vitiligo segmentation and lesion evaluation consists of three main steps. Firstly, we perform face detection to minimize background areas and identify the face area of interest using high-quality ultraviolet photographs. Secondly, we extract facial area masks and vitiligo lesion masks using a semantic segmentation network-based approach with the generated dataset. Thirdly, we automatically calculate the vitiligo area relative to the facial area. We evaluated the performance of facial and vitiligo lesion segmentation using an independent test dataset that was not included in the training and validation, showing excellent results. The framework proposed in this study can serve as a useful tool for evaluating the diagnosis and treatment efficacy of vitiligo.

• 한국측량학회지
• /
• 제25권6_1호
• /
• pp.507-516
• /
• 2007

Segmentation and organization of the LiDAR (Light Detection and Ranging) data of the Earth's surface are difficult tasks because the captured LiDAR data are composed of irregularly distributed point clouds with lack of semantic information. The reason for this difficulty in processing LiDAR data is that the data provide huge amount of the spatial coordinates without topological and/or relational information among the points. This study introduces LiDAR data segmentation technique by utilizing histograms of the LiDAR height image data and analyzing roof shape for 3D reconstruction and visualization of the buildings. One of the advantages in utilizing LiDAR height image data is no registration required because the LiDAR data are geo-referenced and ortho-projected data. In consequence, measurements on the image provide absolute reference coordinates. The LiDAR image allows measurement of the initial building boundaries to estimate locations of the side walls and to form the planar surfaces which represent approximate building footprints. LiDAR points close to each side wall were grouped together then the least-square planar surface fitting with the segmented point clouds was performed to determine precise location of each wall of an building. Finally, roof shape analysis was performed by accumulated slopes along the profiles of the roof top. However, simulated LiDAR data were used for analyzing roof shape because buildings with various shapes of the roof do not exist in the test area. The proposed approach has been tested on the heavily built-up urban residential area. 3D digital vector map produced by digitizing complied aerial photographs was used to evaluate accuracy of the results. Experimental results show efficiency of the proposed methodology for 3D building reconstruction and large scale digital mapping especially for the urban area.

• 대한원격탐사학회지
• /
• 제39권2호
• /
• pp.143-156
• /
• 2023

인공위성이 촬영한 영상의 내용을 정확하게 분석하기 위해서는 영상에 존재하는 구름 영역을 정확하게 인지하는 것이 필요하다. 최근 다양한 분야에서 딥러닝(deep learning) 모델이 뛰어난 성능을 보여줌에 따라 구름 영역 검출을 위해 딥러닝 모델을 적용한 방법들이 많이 제안되고 있다. 하지만 현재 구름 영역 검출 방법들은 의미 영역 분할 방법의 네트워크 구조를 그대로 사용하여 구름 검출 성능을 향상하는 데는 한계가 있다. 따라서 본 논문에서는 구름 검출 데이터 세트에 다중 브랜치 네트워크 구조 탐색을 적용하여 구름 영역 검출에 최적화된 네트워크 모델을 생성함으로써 구름 검출 성능을 향상하는 방법을 제안한다. 또한 구름 검출 성능을 향상하기 위하여 의미 영역 분할 모델의 학습 단계와 평가 단계의 평가 기준 불일치를 해소하기 위해 제안된 soft intersection over union (IoU) 손실 함수를 사용하고, 다양한 데이터 증강 방법을 적용하여 학습 데이터를 증가시켰다. 본 논문에서 제안된 방법의 성능을 검증하기 위하여 아리랑위성 3/3A호에서 촬영한 영상으로 구성된 구름 검출 데이터 세트를 사용하였다. 먼저 제안 방법과 의미 영역 분할 데이터 세트에서 탐색된 기존 네트워크 모델의 성능을 비교하였다. 실험 결과, 제안 방법의 mean IoU는 68.5%이며, 기존 모델보다 mIoU 측면에서 4%의 높은 성능을 보여주었다. 또한 soft IoU 손실 함수를 포함한 다섯 개의 손실 함수를 적용하여 손실 함수에 따른 구름 검출 성능을 분석하였으며, 실험 결과 본 연구에서 사용한 soft IoU 함수가 가장 좋은 성능을 보여주었다. 마지막으로 의미 영역 분할 분야에서 활용되는 최신 네트워크 모델과 제안 방법의 구름 검출 성능을 비교하였다. 실험 결과, 제안 모델이 의미 영역 분할 분야의 최신 모델들보다 mIoU와 정확도 측면에서 더 나은 성능을 보여주는 것을 확인하였다.

• 한국구조물진단유지관리공학회 논문집
• /
• 제27권5호
• /
• pp.113-119
• /
• 2023

인프라 구조물은 대부분 경제 성장기에 완공되었다. 이러한 인프라 구조물은 최근 들어 공용연수가 점차 증가하고 있어 노후 구조물의 비중이 점차 증가하고 있다. 이러한 노후 구조물은 설계 당시의 기능과 성능이 저하될 수 있고 안전사고로까지 이어질 수 있다. 이를 예방하기 위해서는 정확한 점검과 적절한 보수가 필수적이다. 이를 위해서는 우선 미세한 균열까지 정확히 탐지할 수 있도록 컴퓨터 비전과 딥러닝 기술에 수요가 증가하고 있다. 하지만 딥러닝 알고리즘은 다수의 학습 데이터가 있어야 한다. 특히 영상 내 균열의 위치를 표시한 라벨 영상은 필수적이다. 이러한 라벨 영상을 다수 확보하기 위해서는 많은 노동력과 시간이 필요한 실정이다. 이러한 비용을 절감하고 탐지 정확도를 높이기 위해서 본 연구에서는 mean teacher 방식의 학습 구조를 제안하였다. 이 학습 구조는 900장의 라벨 영상 데이터 세트와 3000장의 비라벨 영상 데이터 세트로 훈련되었다. 학습된 균열 탐지 신경망 모델은 300여장의 실험용 데이터 세트를 통해 평가되었고 탐지 정확도는 89.23%의 mean intersection over union과 89.12%의 F1 score를 기록하였다. 이 설험을 통해 지도학습과 비교하여 탐지 성능이 향상된 것을 확인하였다. 향후에 이러한 방법은 라벨 영상을 확보하는데 필요한 비용을 절감하는데 활용될 것으로 기대한다.

• 한국ITS학회 논문지
• /
• 제17권5호
• /
• pp.55-64
• /
• 2018

운전자의 안전사고에 직접적인 원인이 되고, 차량 파손을 유발시켜 재산상의 피해를 발생시키고 있는 포트홀을 완전 합성곱 신경망 기반의 자동으로 탐지하는 기법을 본 논문에서는 제안한다. 먼저, 실제 국내 도로를 주행하면서 차량에 설치된 카메라를 통하여 학습 데이터셋을 수집하고, 완전 합성곱 신경망 구조를 활용하여 의미론적 분할 형태로 신경망을 학습하였다. 어두운 환경에서 강건한 성능을 보이기 위하여 학습 데이터셋을 밝기에 따라서 증강하여 총 30,000장의 이미지를 학습하였다. 또한, 제안된 자동 포트홀 탐지 기술의 성능을 검증하기 위하여 총 450장의 평가 DB를 생성하였고, 총 네 명의 전문가가 각각의 이미지를 평가하였다. 평가 결과, 제안된 포트홀 탐지 기술은 높은 민감도 수치를 나타나는 것으로 평가 되었으며, 이는 정탐에서 강건한 성능을 보이는 것으로 해석 가능하다.

• 대한토목학회논문집
• /
• 제42권1호
• /
• pp.107-116
• /
• 2022

최근 안전점검자가 접근성 문제로 점검이 어려운 교량 부재의 상태평가를 위해 영상분석 기반의 시설물 점검 기법연구가 활발히 진행 중이다. 본 논문은 교량을 대상으로 딥러닝 기반 영상정보에 대해서 상태평가 연구를 진행하였고 이에 대한 평가 프로그램(프로토타입)을 개발하였다. 딥러닝 기반 교량 손상탐지 프로토타입을 개발하기 위해 딥러닝 모델 중 손상 검출 및 정량화가 가능한 의미론적 분할 모델인 Mask-RCNN를 적용하였고 학습데이터 6,540장(오픈 데이터 포함)과 손상유형에 적합한 레이블링을 구성하였다. 모델링에 대한 성능검증한 결과, 콘크리트 균열, 박리/박락, 철근노출과 도장 박리에 대한 정밀도(precision)는 95.2 %, 재현율(recall)은 93.8 % 나타내었다. 또한, 교량 콘크리트 부재 손상율을 이용하여 콘크리트 균열 실 데이터를 2차 성능검증 하였다.