• 대한임베디드공학회논문지
• /
• 제15권5호
• /
• pp.227-234
• /
• 2020

In this paper, we propose wav-U-Net to improve speech enhancement in heavy noisy environments, and it has implemented three principal techniques. First, as input data, we use 128 modified Mel-scale filter banks which can reduce computational burden instead of 512 frequency bins. Mel-scale aims to mimic the non-linear human ear perception of sound by being more discriminative at lower frequencies and less discriminative at higher frequencies. Therefore, Mel-scale is the suitable feature considering both performance and computing power because our proposed network focuses on speech signals. Second, we add a simple ResNet as pre-processing that helps our proposed network make estimated speech signals clear and suppress high-frequency noises. Finally, the proposed U-Net model shows significant performance regardless of the kinds of noise. Especially, despite using a single channel, we confirmed that it can well deal with non-stationary noises whose frequency properties are dynamically changed, and it is possible to estimate speech signals from noisy speech signals even in extremely noisy environments where noises are much lauder than speech (less than SNR 0dB). The performance on our proposed wav-U-Net was improved by about 200% on SDR and 460% on NSDR compared to the conventional Jansson's wav-U-Net. Also, it was confirmed that the processing time of out wav-U-Net with 128 modified Mel-scale filter banks was about 2.7 times faster than the common wav-U-Net with 512 frequency bins as input values.

• Smart Structures and Systems
• /
• 제29권1호
• /
• pp.1-16
• /
• 2022

Despite recent breakthroughs in deep learning and computer vision fields, the pixel-wise identification of tiny objects in high-resolution images with complex disturbances remains challenging. This study proposes a modified U-net for tiny crack segmentation in real-world steel-box-girder bridges. The modified U-net adopts the common U-net framework and a novel Self-Attention-Self-Adaption (SASA) neuron as the fundamental computing element. The Self-Attention module applies softmax and gate operations to obtain the attention vector. It enables the neuron to focus on the most significant receptive fields when processing large-scale feature maps. The Self-Adaption module consists of a multiplayer perceptron subnet and achieves deeper feature extraction inside a single neuron. For data augmentation, a grid-based crack random elastic deformation (CRED) algorithm is designed to enrich the diversities and irregular shapes of distributed cracks. Grid-based uniform control nodes are first set on both input images and binary labels, random offsets are then employed on these control nodes, and bilinear interpolation is performed for the rest pixels. The proposed SASA neuron and CRED algorithm are simultaneously deployed to train the modified U-net. 200 raw images with a high resolution of 4928 × 3264 are collected, 160 for training and the rest 40 for the test. 512 × 512 patches are generated from the original images by a sliding window with an overlap of 256 as inputs. Results show that the average IoU between the recognized and ground-truth cracks reaches 0.409, which is 29.8% higher than the regular U-net. A five-fold cross-validation study is performed to verify that the proposed method is robust to different training and test images. Ablation experiments further demonstrate the effectiveness of the proposed SASA neuron and CRED algorithm. Promotions of the average IoU individually utilizing the SASA and CRED module add up to the final promotion of the full model, indicating that the SASA and CRED modules contribute to the different stages of model and data in the training process.

• 한국방사선학회논문지
• /
• 제17권5호
• /
• pp.663-670
• /
• 2023

본 연구에서는 기존의 노이즈 제거 알고리즘을 적용한 영역 확장 기반의 분할 방법과 U-Net을 이용한 분할 방법의 성능을 정량적 평가인자를 이용하여 비교평가 하고자 하였다. 먼저, 전산화단층검사 영상에 median filter, median modified Wiener filter, fast non-local means algorithm을 모델링하여 적용한 뒤 영역 확장 기반의 분할을 수행하였다. 그리고 U-Net 기반의 분할 모델로 훈련을 진행하여 분할을 수행하였다. 그 후, 노이즈 제거 알고리즘을 사용한 경우와 U-Net을 사용한 경우의 분할 성능을 비교 평가하기 위해 평균 제곱근 편차 (root mean square error, RMSE), 최대 신호 대 잡음비 (peak signal to noise ratio, PSNR), universal quality image index (UQI), 그리고 dice similarity coefficient (DSC)를 측정하였다. 실험 결과, U-Net을 이용하여 분할을 수행했을 때 분할 성능이 가장 향상되었다. RMSE, PSNR, UQI, 그리고 DSC 값은 각각 약 0.063, 72.11, 0.864, 그리고 0.982로 noisy한 영상에 비해 각각 1.97배, 1.09배, 5.30배, 그리고 1.99배 개선된 것을 확인할 수 있었다. 결론적으로, 전산화단층검사영상에서 U-Net이 노이즈 제거 알고리즘에 비해 분할 성능 향상에 효과적임을 입증하였다.

• 방송공학회논문지
• /
• 제27권6호
• /
• pp.840-847
• /
• 2022

심층 신경망(Deep Neural Network) 기반 음성 향상에서 입력 음성의 글로벌 정보와 로컬 정보를 활용하는 것은 모델의 성능과 밀접한 연관성을 갖는다. 최근에는 다중 스케일을 사용하여 입력 데이터의 글로벌 정보와 로컬 정보를 활용하는 중첩 U-Net 구조가 제안되었으며, 이러한 중첩 U-Net은 음성 향상 분야에도 적용되어 매우 우수한 성능을 보였다. 그러나 중첩 U-Net에서 사용되는 단일 skip connection은 중첩된 구조에 알맞게 변형되어야 할 필요성이 있다. 본 논문은 중첩 U-Net 기반 음성 향상 알고리즘의 성능을 최적화하기 위하여 다중 레벨 skip connection(multi-level skip connection, MLS)을 제안하였다. 실험 결과, 제안된 MLS는 기존의 skip connection과 비교하여 다양한 객관적 평가 지표에서 큰 성능 향상을 보이며 이를 통해 MLS가 중첩 U-Net 기반 음성 향상 알고리즘의 성능을 최적화시킬 수 있음을 확인하였다. 또한, 최종 제안 모델은 다른 심층 신경망 기반 음성 향상 모델과 비교하여서도 매우 우수한 성능을 보인다.

• 대한원격탐사학회지
• /
• 제38권6_2호
• /
• pp.1709-1722
• /
• 2022

지구온난화로 인해 발생한 기온 상승은 엘니뇨, 라니냐 현상을 초래하였고, 해수의 온도를 비정상적으로 변화시켰다. 해수 온도의 비정상적인 변화는 특정 지역에 강우가 집중되는 현상을 발생시켜 이상 홍수를 빈번하게 일으킨다. 홍수로 인한 인명 및 재산 피해를 복구하고 방지하기 위해서는 침수피해 지역을 신속하게 파악하는 것이 중요한데 이는 합성개구레이더(synthetic aperture radar, SAR)를 통해 가능하다. 본 연구에서는 멀티 커널(kernel) 기반의 수정된 U-NET과 TerraSAR-X 영상을 활용하여 다양한 특성 맵 추출을 통해 반전 잡음(speckle noise)의 효과를 저감하고, 홍수 전, 후의 두 장의 영상을 입력자료로 활용해 홍수 발생 지역을 직접적으로 도출해내는 모델을 제작하고자 한다. 이를 위해 두 장의 SAR 영상을 전처리하여 모델의 입력자료를 제작하였고, 이를 수정된 U-NET 구조에 적용하여 홍수 탐지 딥러닝 모델을 학습시켰다. 해당 방법을 통해 평균 F1 score 값이 0.966으로 높은 수준으로 홍수 발생 지역을 탐지할 수 있었다. 이 결과는 수해 지역에 대한 신속한 복구 및 수해 예방책 도출에 기여할 것으로 기대된다.

• 대한의용생체공학회:의공학회지
• /
• 제44권2호
• /
• pp.139-146
• /
• 2023

Osteoporosis is a disease in which the risk of bone fractures increases due to a decrease in bone density caused by aging. Osteoporosis is diagnosed by measuring bone density in the total hip, femoral neck, and lumbar spine. To accurately measure bone density in the lumbar spine, the vertebral region must be segmented from the lumbar X-ray image. Deep learning-based automatic spinal segmentation methods can provide fast and precise information about the vertebral region. In this study, we used 695 lumbar spine images as training and test datasets for a deep learning segmentation model. We proposed a lumbar automatic segmentation model, CM-Net, which combines the center point of the spine and the modified U-Net network. As a result, the average Dice Similarity Coefficient(DSC) was 0.974, precision was 0.916, recall was 0.906, accuracy was 0.998, and Area under the Precision-Recall Curve (AUPRC) was 0.912. This study demonstrates a high-performance automatic segmentation model for lumbar X-ray images, which overcomes noise such as spinal fractures and implants. Furthermore, we can perform accurate measurement of bone density on lumbar X-ray images using an automatic segmentation methodology for the spine, which can prevent the risk of compression fractures at an early stage and improve the accuracy and efficiency of osteoporosis diagnosis.

• Smart Structures and Systems
• /
• 제29권1호
• /
• pp.221-235
• /
• 2022

Manual inspection of steel box girders on long span bridges is time-consuming and labor-intensive. The quality of inspection relies on the subjective judgements of the inspectors. This study proposes an automated approach to detect and segment cracks in high-resolution images. An end-to-end cascaded framework is proposed to first detect the existence of cracks using a deep convolutional neural network (CNN) and then segment the crack using a modified U-Net encoder-decoder architecture. A Naïve Bayes data fusion scheme is proposed to reduce the false positives and false negatives effectively. To generate the binary crack mask, first, the original images are divided into 448 × 448 overlapping image patches where these image patches are classified as cracks versus non-cracks using a deep CNN. Next, a modified U-Net is trained from scratch using only the crack patches for segmentation. A customized loss function that consists of binary cross entropy loss and the Dice loss is introduced to enhance the segmentation performance. Additionally, a Naïve Bayes fusion strategy is employed to integrate the crack score maps from different overlapping crack patches and to decide whether a pixel is crack or not. Comprehensive experiments have demonstrated that the proposed approach achieves an 81.71% mean intersection over union (mIoU) score across 5 different training/test splits, which is 7.29% higher than the baseline reference implemented with the original U-Net.

• 대한원격탐사학회지
• /
• 제38권6_2호
• /
• pp.1691-1707
• /
• 2022

한반도와 중국 경계에 위치한 백두산의 칼데라호인 천지호는 계절에 따라 해빙과 결빙을 반복한다. 천지 아래에는 마그마 챔버가 존재하며 마그마 챔버의 변화에 의해 온천수의 온도 및 수압 변화와 같은 화산 전조현상이 발생한다. 이에 따라, 천지호 내에서 다른 부분보다 해빙이 빠르며 결빙기에도 늦게 얼며 물표면 온도가 높은 이상지역이 존재하게 된다. 해당 이상지역은 온천수 방출 지역으로, 이상지역의 얼음변화도 값을 통해 화산활동을 모니터링 할 수 있다. 그러나 지리적, 정치적 그리고 공간적 문제로 천지의 이상지역을 주기적으로 관측하기에는 한계가 존재한다. 따라서 본 연구에서는 Landsat -5/-7/-8 광학위성영상으로부터 Modified U-Net 회귀모델을 이용하여 이상지역내의 얼음변화도를 정량적으로 관측하였다. 1985년 1월 22일부터 2020년 12월 8일까지 이상지역을 갖는 83장의 Landsat 영상의 Visible and Near Infrared (VNIR)대역을 활용하였다. 얼음 변화도를 정량적으로 관측을 위해 VNIR대역에서 수체와 얼음과의 상대적인 분광반사도를 활용하여 새로운 데이터를 만들었다. 가시광선대역과 근적외선 대역이 가지고 있는 정보를 최대한 유지하기 위해 2개의 인코더를 가진 U-Net에 적용하여 얼음변화도를 관측하였으며 Root Mean Square Error (RMSE) 140, 상관계수 0.9968의 높은 예측 성능을 보여주었다. 따라서 Modified U-Net을 활용하면 추후 Landsat 영상으로부터 얼음변화도 값을 높은 정확도로 관측하므로 백두산 화산활동을 모니터링하는 방법 중 하나로 사용될 수 있으며, 다른 화산 모니터링 기법과 더불어 활용한다면 더욱 정밀한 화산감시체계 구축이 가능할 것이다.

• 대한원격탐사학회지
• /
• 제38권5_2호
• /
• pp.685-694
• /
• 2022

건물 정보는 다양한 도시 공간 분석에 활용되는 필수 정보 중 하나이기에 지속적인 모니터링이 필요하지만 현실적으로 어려움이 존재하고 있다. 이를 위해 광범위한 지역에 대해서도 지속적인 관찰이 가능한 위성영상으로부터 건물을 추출하기 위한 연구가 진행되고 있으며, 최근에는 딥러닝 기반의 시맨틱 세그멘테이션 기법들이 활용되고 있다. 본 연구에서는 SpaceNet의 건물 v2 무료 오픈 데이터를 이용하여 30 cm 급 Worldview-3 RGB 영상으로부터 건물을 자동으로 추출하기 위해, context-based ResU-Net의 일부 구조를 변경하여 학습을 진행하였다. 분류 정확도 평가 결과, f1-score가 2회차 SpaceNet 대회 수상작의 분류 정확도보다 높은 것으로 나타났다. 앞으로 지속적으로 Worldview-3 위성 영상을 확보할 수 있다면 본 연구의 성과를 활용하여 전세계 건물 자동 추출 모델을 제작하는 것도 가능할 것으로 판단된다.

• Korean Chemical Engineering Research
• /
• 제57권2호
• /
• pp.274-282
• /
• 2019

최근 빅데이터 과학은 사회현상 모델링을 통한 예측은 물론 강화학습과 결합하여 산업분야 자동제어까지 응용범위가 확대되고 있다. 이러한 추세 가운데 이미지 영상 데이터 활용연구는 화학, 제조, 농업, 바이오산업 등 다양한 산업분야에서 활발히 진행되고 있다. 본 논문은 신경망 기술을 활용하여 영상 데이터의 시맨틱 분할 성능을 개선하고자, U-Net의 계산효율성을 개선한 DeepU-Net 신경망에 AutoML 강화학습 알고리즘을 구현한 NASNet을 결합하였다. BRATS2015 MRI 데이터을 활용해 성능 검증을 수행하였다. 학습을 수행한 결과 DeepU-Net은 U-Net 신경망 구조보다 계산속도 향상 뿐 아니라 예측 정확도도 동등 이상의 성능이 있음을 확인하였다. 또한 이미지 시맨틱 분할 성능을 개선하기 위해서는 일반적으로 적용하는 드롭아웃 층을 빼고, DeepU-Net에 강화학습을 통해 구한 커널과 필터 수를 신경망의 하이퍼 파라미터로 선정했을 때 DeepU-Net보다 학습정확도는 0.5%, 검증정확도는 0.3% 시맨틱 분할 성능을 개선할 수 있었다. 향후 본 논문에서 시도한 자동화된 신경망을 활용해 MRI 뇌 영상진단은 물론, 열화상 카메라를 통한 이상진단, 비파괴 검사 진단, 화학물질 누출감시, CCTV를 통한 산불감시 등 다양한 분야에 응용될 수 있을 것으로 판단된다.