• 제목/요약/키워드: residual learning

검색결과 198건 처리시간 0.022초

음향 장면 분류를 위한 경량화 모형 연구 (Light weight architecture for acoustic scene classification)

  • 임소영;곽일엽
    • 응용통계연구
    • /
    • 제34권6호
    • /
    • pp.979-993
    • /
    • 2021
  • 음향 장면 분류는 오디오 파일이 녹음된 환경이 어디인지 분류하는 문제이다. 이는 음향 장면 분류와 관련한 대회인 DCASE 대회에서 꾸준하게 연구되었던 분야이다. 실제 응용 분야에 음향 장면 분류 문제를 적용할 때, 모델의 복잡도를 고려하여야 한다. 특히 경량 기기에 적용하기 위해서는 경량 딥러닝 모델이 필요하다. 우리는 경량 기술이 적용된 여러 모델을 비교하였다. 먼저 log mel-spectrogram, deltas, delta-deltas 피쳐를 사용한 합성곱 신경망(CNN) 기반의 기본 모델을 제안하였다. 그리고 원래의 합성곱 층을 depthwise separable convolution block, linear bottleneck inverted residual block과 같은 효율적인 합성곱 블록으로 대체하고, 각 모델에 대하여 Quantization를 적용하여 경량 모델을 제안하였다. 경량화 기술을 고려한 모델은 기본 모델에 대비하여 성능이 비슷하거나 조금 낮은 성능을 보였지만, 모델 사이즈는 503KB에서 42.76KB로 작아진 것을 확인하였다.

잔차 신경망과 팽창 합성곱 신경망을 이용한 라이트 필드 각 초해상도 기법 (Light Field Angular Super-Resolution Algorithm Using Dilated Convolutional Neural Network with Residual Network)

  • 김동명;서재원
    • 한국정보통신학회논문지
    • /
    • 제24권12호
    • /
    • pp.1604-1611
    • /
    • 2020
  • 마이크로렌즈 어레이 기반의 카메라로 촬영된 라이트필드 영상은 낮은 공간해상도 및 각해상도로 인하여 실제 사용하기에는 많은 제약이 따른다. 고해상도의 공간해상도 영상은 최근 많이 연구되고 있는 단일 영상 초해상도 기법으로 쉽게 얻을 수 있으나 고해상도의 각해상도 영상은 영상사이에 내재된 시점차 정보를 이용하는 과정에서 왜곡이 발생하여 좋은 품질의 각해상도 영상을 얻기 힘든 문제가 있다. 본 논문에서는 영상 사이에 내재된 시점차 정보를 효과적으로 추출하기 위해서 팽창 합성곱 신경망을 이용하여 초기 특징맵을 추출하고 잔차 신경망으로 새로운 시점 영상을 생성하는 라이트 필드 각 초해상도 영상 기법을 제안한다. 제안하는 네트워크는 기존의 각 초해상도 네트워크와 비교하여 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.

Multiple Binarization Quadtree Framework for Optimizing Deep Learning-Based Smoke Synthesis Method

  • Kim, Jong-Hyun
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권4호
    • /
    • pp.47-53
    • /
    • 2021
  • 본 논문에서는 초해상도(Super-Resolution, SR)을 계산하는데 필요한 물리 기반 시뮬레이션 데이터를 효율적으로 분류하고 분할하여 빠르게 SR연산을 가능하게 하는 쿼드트리 기반 최적화 기법을 제안한다. 제안하는 방법은 입력 데이터로 사용하는 연기 시뮬레이션 데이터를 다운스케일링(Downscaling)하여 쿼드트리 연산 소요 시간을 대폭 감소시킨다. 이 과정에서 연기의 밀도를 이진화함으로써, 다운스케일링 과정에서 밀도가 수치 손실되는 문제를 완화하며 쿼드트리를 구축한다. 학습에 사용된 데이터는 COCO 2017 데이터 셋이며, 인공신경망은 VGG19 기반 네트워크를 사용한다. 컨볼루션 계층을 거칠 때 데이터의 손실을 막기 위해 잔차(Residual) 보완 방식과 유사하게 이전 계층의 출력 값을 더해주며 학습을 진행한다. 실험결과가 연기의 경우 제안된 방법은 이전 접근법에 비해 약 15~18배 정도의 속도향상을 얻었다.

전처리 방법과 인공지능 모델 차이에 따른 대전과 부산의 태양광 발전량 예측성능 비교: 기상관측자료와 예보자료를 이용하여 (Comparison of Solar Power Generation Forecasting Performance in Daejeon and Busan Based on Preprocessing Methods and Artificial Intelligence Techniques: Using Meteorological Observation and Forecast Data)

  • 심채연;백경민;박현수;박종연
    • 대기
    • /
    • 제34권2호
    • /
    • pp.177-185
    • /
    • 2024
  • As increasing global interest in renewable energy due to the ongoing climate crisis, there is a growing need for efficient technologies to manage such resources. This study focuses on the predictive skill of daily solar power generation using weather observation and forecast data. Meteorological data from the Korea Meteorological Administration and solar power generation data from the Korea Power Exchange were utilized for the period from January 2017 to May 2023, considering both inland (Daejeon) and coastal (Busan) regions. Temperature, wind speed, relative humidity, and precipitation were selected as relevant meteorological variables for solar power prediction. All data was preprocessed by removing their systematic components to use only their residuals and the residual of solar data were further processed with weighted adjustments for homoscedasticity. Four models, MLR (Multiple Linear Regression), RF (Random Forest), DNN (Deep Neural Network), and RNN (Recurrent Neural Network), were employed for solar power prediction and their performances were evaluated based on predicted values utilizing observed meteorological data (used as a reference), 1-day-ahead forecast data (referred to as fore1), and 2-day-ahead forecast data (fore2). DNN-based prediction model exhibits superior performance in both regions, with RNN performing the least effectively. However, MLR and RF demonstrate competitive performance comparable to DNN. The disparities in the performance of the four different models are less pronounced than anticipated, underscoring the pivotal role of fitting models using residuals. This emphasizes that the utilized preprocessing approach, specifically leveraging residuals, is poised to play a crucial role in the future of solar power generation forecasting.

QAM 신호에서 mSE-MMA 적응 등화 알고리즘의 성능 평가 (A Performance Evaluation of mSE-MMA Adaptive Equalization Algorithm in QAM Signal)

  • 임승각
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권1호
    • /
    • pp.95-100
    • /
    • 2020
  • 본 논문은 부가 잡음, 부호간 간섭 및 페이딩등 비선형 통신 채널에서 발생되는 찌그러짐을 줄일 수 있는 mSE-MMA (modified Signed Error-Multiple Modulus Algorithm) 적응 등화 알고리즘의 성능 평가에 관한 것이다. SE-MMA 적응 등화 알고리즘은 기존 MMA의 연산량을 줄이기 위하여 등장하였으며, 이로 인하여 등화 성능의 열화되는 문제점이 있다. 이와 같은 SE-MMA의 성능 열화를 개선하기 위하여 mSE-MMA는 적응을 위한 스텝 크기를 등화기의 출력이 송신 신호점을 중심으로 임의 반경내의 존재 여부에 따라 조절하게 된다. 제안 mSE-MMA 알고리즘의 성능을 기존의 SE-MMA 알고리즘과 비교하기 위하여 동일한 채널과 잡음 환경하에서 컴퓨터 시뮬레이션을 수행하였으며, 이를 위한 지수로는 수신측에서의 등화기 출력 신호인 복원된 신호 성상도, 수렴 성능을 나타내는 잔류 isi, MD 및 MSE learning 곡선과 잡음에 대한 강인성을 확인하기 위하여 SER을 사용하였다. 시뮬레이션 결과 모든 성능 지수에서 mSE-MMA가 SE-MMA 보다 우월하며, 특히 SER 성능에서 잡음에 대한 roburstness가 매우 강함을 확인하였다.

QAM 신호에서 Constellation Reduction을 이용한 MMA 적응 등화 알고리즘의 성능 개선 (Performance Improvement of MMA Adaptive Equalization Algorithm by using the Constellation Reduction in QAM Signal)

  • 임승각
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권5호
    • /
    • pp.103-109
    • /
    • 2014
  • 본 논문은 비선형 통신 채널에서 발생되는 부호간 간섭을 줄일 수 있는 MMA (Multiple Modulus Algorithm) 적응 등화 알고리즘에서 constellation reduction 개념을 적용하여 등화 성능을 개선하는 CR-MMA (Constellation Reduction-MMA) 에 관한 것이다. MMA 적응 등화기의 탭 계수 갱신시에는 등화기 출력를 이용하여 오차 신호를 얻게 되는데, 이때 송신 신호의 order가 높아질수록 오차 성분이 크게 되어 성능이 저하된다. 그러나 constellation reduction을 이용하면, 고차의 QAM 신호도 4-QAM 신호 성상도로 reduction시켜 오차 신호를 얻으므로 이의 크기가 감소되어 개선된 성능으로 등화가 가능하게 된다. 제안하는 CR-MMA 알고리즘의 성능을 기존의 MMA 알고리즘과 비교하기 위하여 동일한 채널과 잡음 환경하에서 컴퓨터 시뮬레이션을 수행하였으며, 이를 위해 수신측에서의 등화기 출력 신호인 복원된 신호 성상도, 수렴 성능을 나타내는 잔류 isi, MD learning 곡선과 잡음에 대한 강인성을 확인하기 위하여 SER을 사용하였다. 시뮬레이션 결과 모든 성능 지수에서 CR-MMA가 MMA 보다 우월하였으며, SER 성능에서 잡음에 대한 roburstness가 매우 강함을 확인하였다.

신경망 내 잔여 블록을 활용한 콕스 모델 개선: 자궁경부암 사망률 예측모형 연구 (Cox Model Improvement Using Residual Blocks in Neural Networks: A Study on the Predictive Model of Cervical Cancer Mortality)

  • 이낭경;김주영;탁지수;이형록;전현지;양지명;이승원
    • 정보처리학회 논문지
    • /
    • 제13권6호
    • /
    • pp.260-268
    • /
    • 2024
  • 자궁경부암은 전 세계적으로 여성에게 발생하는 암 중 네 번째로 흔한 암이며, 2020년 한 해 동안 60만 4천 건 이상의 신규 케이스가 보고되었고 이로 인한 사망자 수는 약 34만 1천 831명에 달했다. 콕스 회귀 모델은 암 연구에서 널리 채택되고 있는 주요 모델이지만, 비선형 연관성의 존재를 고려하면 선형 가정으로 인해 한계에 부딪힌다. 이러한 문제를 해결하기 위해, 본 논문에서는 ResNet의 잔여 학습 프레임워크를 활용하여 자궁경부암 사망률 예측의 정확성을 개선한 새로운 모델인 ResSurvNet을 제안한다. 이 모델은 본 연구에서 비교한 DNN, CPH, CoxLasso, Cox Gradient Boost, RSF 모델들을 능가하는 정확도를 보여주었기에 이러한 우수한 예측 성능은 자궁경부암 환자 관리에 있어 조기 진단 및 치료 전략 수립에 기여할 수 있고 임상적으로 적용할 때 큰 가치가 있음을 입증하며, 생존 분석 분야에서도 의미 있는 진전을 나타낸다.

딥 러닝 기반 실시간 센서 고장 검출 기법 (Timely Sensor Fault Detection Scheme based on Deep Learning)

  • 양재완;이영두;구인수
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권1호
    • /
    • pp.163-169
    • /
    • 2020
  • 최근 4차 산업혁명의 핵심기술인 인공지능, 빅데이터, 사물인터넷의 발전으로 산업 현장에서 가동되는 기계의 자동화 및 무인화에 대한 연구가 활발히 진행되고 있다. 이러한 공정 기계들은 부착된 다양한 센서들로부터 수집된 데이터를 기반으로 제어되고 이를 통해 공정이 관리된다. 만약 센서에 고장이 발생한다면 센서 데이터 이상으로 인해 자동화 기계들이 오작동함으로써 공정 손실 발생뿐만 아니라 인명피해로도 이어질 수 있다. 전문가가 센서의 이상 여부를 주기적으로 확인하여 관리하고 있으나 산업 현장의 여러 가지 환경요인 및 상황으로 인하여 고장점검 시기를 놓치거나 고장을 발견하지 못하여 센서 고장으로 인한 피해를 막지 못하는 경우가 발생하고 있다. 또한 고장이 발생하여도 즉각 감지하지 못함으로써 공정 손실을 더욱 악화시키고 있는 실정이다. 따라서 이러한 돌발적인 센서 고장으로 인한 피해를 막기 위해 자체적으로 임베디드 시스템에서 센서의 고장 유무를 실시간으로 파악하고 빠른 대응을 위해 고장 진단 및 유형을 판별하는 것이 필요하다. 본 논문에서는 대표적인 센서 고장 유형인 erratic fault, hard-over fault, spike fault, stuck fault를 분류하기 위해 딥 뉴럴 네트워크 기반의 고장 진단 시스템을 설계하고 라즈베리 파이를 활용하여 구현하였다. 센서 고장 진단을 위해 구글이 제안한 MobilieNetV2의 Inverted residual block 구조를 사용하여 네트워크를 구성하였다. 본 논문에서 제안하는 방식은 기존 CNN 기법을 사용한 경우보다 메모리 사용량이 줄고 성능이 향상되며, 입력 신호에 대해 구간별로 센서 고장을 분류하여 산업 현장에서 효과적으로 사용될 것으로 기대된다.

디지털 영상의 픽셀값 경사도에 의한 미디언 필터링 포렌식 판정 (Forensic Decision of Median Filtering by Pixel Value's Gradients of Digital Image)

  • 이강현
    • 전자공학회논문지
    • /
    • 제52권6호
    • /
    • pp.79-84
    • /
    • 2015
  • 디지털 영상의 배포에서, 위 변조자에 의해 영상이 변조되는 심각한 문제가 있다. 이러한 문제를 해결하기 위하여, 본 논문에서는 영상의 픽셀값 경사도에 따른 특징벡터를 이용한 미디언 필터링 영상 포렌식 판정 알고리즘을 제안한다. 제안된 알고리즘에서, 원영상의 픽셀값 경사도로부터 자기회귀 계수를 1~6차까지의 6 Dim.을 계산한다. 그리고 경사도를 Poisson 방정식의 해에 의한 재구성 영상과 원영상과의 차영상으로 부터, 4 Dim. (평균값, 최대값 그리고 최대값의 좌표 i,j)의 특징벡터를 추출한다. 2 종류의 특징벡터는 10 Dim.으로 조합되어 변조된 영상의 미디언 필터링 (Median Filtering: MF) 검출기의 SVM (Support Vector Machine) 분류를 위한 학습에 사용된다. 제안된 미디언 필터링 검출 알고리즘은 동일 10 Dim. 특징벡터의 MFR (Median Filter Residual) 스킴과 비교하여 원영상, 평균필터링 ($3{\times}3$) 영상 그리고 JPEG (QF=90) 영상에서는 성능이 우수하며, Gaussian 필터링 ($3{\times}3$) 영상에서는 성능이 다소 낮지만, 성능평가 전체항목에서 민감도 (Sensitivity; TP: True Positive rate)와 1-특이도 (1-Specificity; FP: False Positive rate)의 AUC (Area Under Curve)가 모두 1에 수렴하여 'Excellent (A)' 등급임을 확인하였다.

LSTM을 이용한 협동 로봇 동작별 전류 및 진동 데이터 잔차 패턴 기반 기어 결함진단 (Gear Fault Diagnosis Based on Residual Patterns of Current and Vibration Data by Collaborative Robot's Motions Using LSTM)

  • 백지훈;유동연;이정원
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권10호
    • /
    • pp.445-454
    • /
    • 2023
  • 최근에는 협동 로봇의 데이터를 활용한 다양한 결함진단 연구가 수행되고 있다. 협동 로봇의 결함진단을 수행하는 기존 연구들은 기존 연구의 학습 데이터는 미리 정의된 기기의 동작을 가정하고 수집한 정적 데이터를 사용한다. 따라서 결함진단 모델은 학습한 데이터 패턴에 대한 의존성이 높아지는 한계가 있다. 또한 단일 모터를 사용한 실험으로 다관절이 동작하는 협동 로봇의 특성을 반영한 진단이 이루어지지 못했다는 한계가 있다. 본 논문에서는 앞서 언급한 두 가지 한계점을 해결할 수 있는 LSTM 진단 모델을 제안한다. 제안하는 방법은 단일 축 및 다중 축 작업 환경에서의 진동 및 전류 데이터의 상관분석을 사용하여 정상 대표 패턴을 선정하고, 정상 대표 패턴과의 차이를 통해 잔차 패턴을 생성한다. 생성된 잔차 패턴을 입력으로 축별 기어 마모 진단을 수행할 수 있는 LSTM 모델을 생성한다. 해당 결함진단 모델은 동작별 대표 패턴을 통해 모델의 학습 데이터 패턴에 대한 의존성을 낮출 수 있을 뿐 아니라 다중 축 동작 수행 시 발생하는 결함을 진단할 수 있다. 마지막으로, 내부 및 외부 데이터의 특성을 모두 반영하여 결함진단 성능을 개선한 결과 98.57%의 높은 진단 성능을 보였다.