• Geomechanics and Engineering
• /
• 제33권2호
• /
• pp.203-209
• /
• 2023

One major advantage of ground penetrating radar (GPR) over other field test methods is its ability to obtain subsurface images of roads in an efficient and non-intrusive manner. Not only can the strata of pavement structure be retrieved from the GPR scan images, but also various irregularities, such as cracks and internal cavities. This article introduces a deep learning-based approach, focusing on detecting subsurface cracks by recognizing their distinctive hyperbolic signatures in the GPR scan images. Given the limited road sections that contain target features, two data augmentation methods, i.e., feature insertion and generation, are implemented, resulting in 9,174 GPR scan images. One of the most popular real-time object detection models, You Only Learn One Representation (YOLOR), is trained for detecting the target features for two types of subsurface cracks: bottom cracks and full cracks from the GPR scan images. The former represents partial cracks initiated from the bottom of the asphalt layer or base layers, while the latter includes extended cracks that penetrate these layers. Our experiments show the test average precisions of 0.769, 0.803 and 0.735 for all cracks, bottom cracks, and full cracks, respectively. This demonstrates the practicality of deep learning-based methods in detecting subsurface cracks from GPR scan images.

• 방송공학회논문지
• /
• 제22권2호
• /
• pp.162-172
• /
• 2017

본 논문에서는 딥러닝 기술 중의 하나인 CNN(Convolutional Neural Network)을 이용한 얼굴 표정 인식 기법을 제안한다. 기존의 얼굴 표정 데이터베이스의 단점을 보완하고자 질 좋은 다양한 데이터베이스를 이용한다. 제안한 기법에서는 '무표정', '행복', '슬픔', '화남', '놀람', 그리고 '역겨움' 등의 여섯 가지 얼굴 표정 data-set을 구축한다. 효율적인 학습 및 분류 성능을 향상시키기 위해서 전처리 및 데이터 증대 기법(data augmentation)도 적용한다. 기존의 CNN 구조에서 convolutional layer의 특징지도의 수와 fully-connected layer의 node의 수를 조정하면서 여섯 가지 얼굴 표정의 특징을 가장 잘 표현하는 최적의 CNN 구조를 찾는다. 실험 결과 제안하는 구조가 다른 모델에 비해 CNN 구조를 통과하는 시간이 가장 적게 걸리면서도 96.88%의 가장 높은 분류 성능을 보이는 것을 확인하였다.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.341-350
• /
• 2022

본 논문은 온디바이스 환경에서 다중 시점 영상을 입력 받아 객체를 증강하고, 현실 공간에 의한 가려짐을 구현하는 딥러닝 기반의 증강현실 시스템을 제안한다. 이는 세부적으로 카메라 자세 추정, 깊이 추정, 객체 증강 구현의 세 기술적 단계로 나눠지며 각 기법은 온디바이스 환경에서의 최적화를 위해 다양한 모바일 프레임워크를 사용한다. 카메라 자세 추정 단계에서는 많은 계산량을 필요로 하는 특징 추출 알고리즘을 GPU 병렬처리 프레임워크인 OpenCL을 통해 가속하여 사용하며, 깊이 영상 추론 단계에서는 모바일 심층신경망 프레임워크 TensorFlow Lite를 사용하여 가속화된 단안, 다중 영상 기반의 깊이 영상 추론을 수행한다. 마지막으로 모바일 그래픽스 프레임워크 OpenGL ES를 활용해 객체 증강 및 가려짐을 구현한다. 제시하는 증강현실 시스템은 안드로이드 환경에서 GUI를 갖춘 애플리케이션으로 구현되며 모바일과 PC 환경에서의 동작 정확도 및 처리 시간을 평가한다.

• 한국건축시공학회지
• /
• 제23권2호
• /
• pp.197-207
• /
• 2023

콘크리트는 압축력에 잘 저항하고 내구성이 우수하여 널리 사용되는 재료이다. 하지만 구조물은 시공 단계에서 주변 환경, 사용되는 재료의 특성에 따라 완공된 후 표면의 균열, 구조물의 침하 등 다양한 하자가 발생하거나 시간이 지남에 따라 콘크리트 구조물 표면에 결함이 발생한다. 그대로 방치하면 구조물에 심각한 손상을 초래하기 때문에 안전 점검을 통해 검사해야 한다. 하지만 전문 검사원들이 직접 조사하기에 비용이 높고 육안으로 판단하는 외관 검사법을 사용한다. 고층 건물일수록 상세한 검사가 힘들다. 본 연구는 노후화로 인해 콘크리트 표면에 발생하는 결함 중 균열을 탐지하는 딥러닝 기반 시맨틱 세그먼테이션 모형과 해당 모형의 특징 추출과 일반화 성능을 높이기 위한 이미지 어그멘테이션 기법을 개발하였다. 이를 위해 공개 데이터셋과 자체 데이터셋을 결합하여 시맨틱 세그먼테이션용 데이터셋을 구축하고 대표적인 딥러닝 기반 시맨틱 세그먼테이션 모형들을 비교실험하였다. 콘크리트 내벽을 중점으로 학습한 모형의 균열 추출 성능은 81.4%이며, 개발한 이미지 어그멘테이션을 적용한 결과 3%의 성능향상을 확인하였다. 향후 고층 건물과 같이 접근성이 어려운 지점을 드론을 통해 콘크리트 외벽에서 균열을 검출할 수 있는 시스템을 개발함으로써 실질적으로 활용할 수 있기를 기대한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권1호
• /
• pp.147-165
• /
• 2021

In this work, we empirically evaluated the efficiency of the recent EfficientNetB0 model to identify and diagnose malaria parasite infections in blood smears. The dataset used was collected and classified by relevant experts from the Lister Hill National Centre for Biomedical Communications (LHNCBC). We prepared our samples with minimal image transformations as opposed to others, as we focused more on the feature extraction capability of the EfficientNetB0 baseline model. We applied transfer learning to increase the initial feature sets and reduced the training time to train our model. We then fine-tuned it to work with our proposed layers and re-trained the entire model to learn from our prepared dataset. The highest overall accuracy attained from our evaluated results was 94.70% from fifty epochs and followed by 94.68% within just ten. Additional visualization and analysis using the Gradient-weighted Class Activation Mapping (Grad-CAM) algorithm visualized how effectively our fine-tuned EfficientNetB0 detected infections better than other recent state-of-the-art DCNN models. This study, therefore, concludes that when fine-tuned, the recent EfficientNetB0 will generate highly accurate deep learning solutions for the identification of malaria parasites in blood smears without the need for stringent pre-processing, optimization, or data augmentation of images.

• 말소리와 음성과학
• /
• 제15권2호
• /
• pp.53-59
• /
• 2023

Detection of children with autism spectrum disorder (ASD) based on speech has relied on predefined feature sets due to their ease of use and the capabilities of speech analysis. However, clinical impressions may not be adequately captured due to the broad range and the large number of features included. This paper demonstrates that the knowledge-driven speech features (KDSFs) specifically tailored to the speech traits of ASD are more effective and efficient for detecting speech of ASD children from that of children with typical development (TD) than a predefined feature set, extended Geneva Minimalistic Acoustic Standard Parameter Set (eGeMAPS). The KDSFs encompass various speech characteristics related to frequency, voice quality, speech rate, and spectral features, that have been identified as corresponding to certain of their distinctive attributes of them. The speech dataset used for the experiments consists of 63 ASD children and 9 TD children. To alleviate the imbalance in the number of training utterances, a data augmentation technique was applied to TD children's utterances. The support vector machine (SVM) classifier trained with the KDSFs achieved an accuracy of 91.25%, surpassing the 88.08% obtained using the predefined set. This result underscores the importance of incorporating domain knowledge in the development of speech technologies for individuals with disorders.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.56-60
• /
• 2023

기존의 음성인식은 청장년 층에 초점이 맞추어져 있었으나, 최근 고령화가 가속되면서 노인 음성에 대한 연구 필요성이 증대되고 있다. 그러나 노인 음성 데이터셋은 청장년 음성 데이터셋에 비해서는 아직까지 충분히 확보되지 못하고 있다. 본 연구에서는 부족한 노인 음성 데이터셋 확보에 기여하고자 희소한 노인 데이터셋을 증강할 수 있는 방법론에 대해 연구하였다. 이를 위해 노인 음성 특징(feature)을 분석하였으며, '주파수'와 '발화 속도' 특징을 일반 성인 음성에 합성하여 데이터를 증강하였다. 이후 Whisper small 모델을 파인 튜닝한 뒤 노인 음성에 대한 CER(Character Error Rate)를 구하였고, 기존 노인 데이터셋에 증강한 데이터셋을 함께 사용하는 것이 가장 효과적임을 밝혀내었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.605-607
• /
• 2023

Recent research has highlighted the effectiveness of Deep Learning (DL) techniques in automating the detection of lung sound anomalies. However, the available lung sound datasets often suffer from limitations in both size and balance, prompting DL methods to employ data preprocessing such as augmentation and transfer learning techniques. These strategies, while valuable, contribute to the increased complexity of DL models and necessitate substantial training memory. In this study, we proposed a streamlined and lightweight DL method but effectively detects lung sound anomalies from small and imbalanced dataset. The utilization of 1D dilated convolutional neural networks enhances sensitivity to lung sound anomalies by efficiently capturing deep temporal features and small variations. We conducted a comprehensive evaluation of the ICBHI dataset and achieved a notable improvement over state-of-the-art results, increasing the average score of sensitivity and specificity metrics by 2.7%.

• 전자공학회논문지CI
• /
• 제46권2호
• /
• pp.84-91
• /
• 2009

본 논문에서는 모바일 증강 현실 시스템 및 항공사진을 이용하여 건물의 부분적 3D 모델을 생성하고, 이를 비디오 영상과 비교하여 사용자의 위치를 실시간으로 추적하는 방법을 제안한다. 제안된 시스템은 미리 생성된 모델을 사용하는 대신, 시스템 동작 중에 사용자 뷰와 항공 뷰를 결합하여 3D 모델을 생성한다. 우선 GPS의 위치에 따라 데이터베이스로부터 검색된 항공사진과, 피치를 추정하는 관성 센서를 이용하여 사용자의 초기 자세를 계산한다. 그리고 그래프 컷을 이용하여 건물의 상단의 에지를 검출하고, 제안된 비용 함수를 최소화함으로써 하단의 에지와 모퉁이 위치를 찾는다. 실시간으로 사용자의 자세를 추적하기 위해, 사용자가 관촬 중인 건물의 에지 및 벽면에서의 특이점을 이용하여 추적을 수행한다. 본 논문에서는 최소 자승 추정법과 언센티트 칼만 필터를 사용하여 카메라 자세 추정 방법을 구현하고 비교하였다. 또한 두 방법에 대하 속도와 정확도를 비교하고, Anywhere Augmentation 시나리오에 대한 중요한 기본 구성 요소들로서 실험결과의 유용성을 보였다.

• Journal of Platform Technology
• /
• 제10권4호
• /
• pp.47-55
• /
• 2022

사물인터넷 환경에서는 다양한 무선 통신 기술을 사용하는 기기들이 점점 증가하고 있다. 특히, 다양한 무선 신호 변조 유형을 정확하게 식별하기 위해 효율적인 특성 추출 기법을 설계하고 무선 신호의 종류를 분류하는 것이 필수적이다. 하지만, 실제 환경에서 레이블이 지정된 무선 신호 데이터를 수집하는 것은 쉬운 문제가 아니다. 최근 무선 신호 분류를 위해 딥러닝 기반의 다양한 학습 기법들이 제안되어졌다. 딥러닝의 경우 훈련 데이터셋이 적을 경우 과대적합에 빠질 가능성이 높으며, 이는 딥러닝 모델을 활용한 무선 신호 분류 기법의 성능 저하를 유발한다. 본 연구에서는 다양한 무선 신호들이 존재할 때 분류 성능을 높이기 위해 생성적 적대 신경망 기반 데이터 증대 기법을 제안한다. 분류해야 하는 무선 신호의 종류가 다양할 때 특정 무선 신호를 나타내는 데이터의 양이 적거나 균형이 맞지 않는 경우 제안한 기법을 활용하여 필요한 무선 신호와 관련된 데이터의 양을 증가시킨다. 제안한 데이터 증강 알고리즘의 유효성을 검증하기 위해 무선 신호의 데이터양을 증가시키고 균형을 맞춘 결과를 바탕으로 CNN 및 LSTM 기반 무선 신호 분류기를 구현하여 실험해본 결과 데이터 균형을 맞추지 않았을 때보다 분류 정확도가 높아지는 것을 확인하였다.