• 제목/요약/키워드: Backpropagation Neural Network

검색결과 449건 처리시간 0.032초

상황 인식 기반 해양 디지털 선박 상황 진단 시스템 구현 및 설계 (A Design and Implementation of Digital Vessel Context Diagnosis System Based on Context Aware)

  • 송병호;최명수;권장우;이성로
    • 한국통신학회논문지
    • /
    • 제35권6B호
    • /
    • pp.859-866
    • /
    • 2010
  • 예기치 못한 상황에 의한 선박 내 화재나 선체 파손 등 긴급 상황 발생 시에 대형의 해난 사고가 발생할 수 있다. 특히, 해수와 직접적으로 접촉하는 선체는 파도와 조류 등에 의해 다양한 저항과 흔들림 운동의 영향을 받게 되는 데 이를 고려한 선박 USN 미들웨어와 선박 내 상황 인식을 기반으로 한 시스템이 필요할 것이다. 이에 본 논문에서는 해양 디지털 선박의 무선 센서를 이용하여 수집된 위험 상황 정보를 분석하는 시스템을 제안하였으며, 센싱된 데이터를 분석하기 위하여 역전파 신경망을 설계하였다. 위험 상황별로 각 300개의 데이터 집합을 사용하여 역전파 신경망을 실험한 결과 화재 위험 상황에 대해서는 96%의 정확도를 가졌고 선체 위험 상황에 대해서는 약 88.7%의 정확도를 나타냈다. 제안된 시스템은 시스템의 정확도를 개선하기 위하여 전방향 에러 정정 시스템(LDPC)을 구현하였고 진단된 결과는 CDMA 방식으로 전송하여 해양 디지털선박 상황 모니터링 시스템을 구현했다.

오류 역전도 알고리즘의 학습속도 향상기법 (An Enhancement of Learning Speed of the Error - Backpropagation Algorithm)

  • 심범식;정의용;윤충화;강경식
    • 한국정보처리학회논문지
    • /
    • 제4권7호
    • /
    • pp.1759-1769
    • /
    • 1997
  • 다층신경회로망의 학습방법인 오류역전도 알고리즘은 연관기억장치, 음성인식, 패턴인식, 로보틱스등과 같은 다양한 응용분야에 널리 사용되고 있다. 그럼에도 불구하고 계속 많은 논문들이 역전도 알고리즘에 대해 발표되고 있는 실정이다. 이러한 연구 동향의 주된 이유는, 뉴런 갯수와 학습 패턴의 갯수가 큰 경우에 역전도 알고리즘의 학습속도가 상당히 느리다는 사실때문이다. 본 연구에서는 가변학습율, 가변모멘텀율, 그리고 시그모이드 함수의 가변기울기를 이용한 새로운 학습속도 가속기법을 개발하였다. 학습이 수행되는 도중에, 이러한 파라메터들은 전체 오류의 변화량에 따라 연속적으로 조정되며, 제안된 기법은 기존의 역전도 알고리즘에 비해 획기적으로 학습시간을 단축시키는 결과를 보였다. 제안된 기법의 효율성을 입증하기 위하여, 처음에는 난수발생기로 생성한 이진 데이터를 이용하여 에포크(epoch) 횟수를 비교할 때 훌륭한 속도 향상을 보였으며, 또한, 기계학습(machine learning)의 벤치마크 학습자료로 많이 사용되는 이진 Monk's data, 4, 5, 6, 7비트 패리티 검사 문제와 실수 Iris data에도 적용하였다.

  • PDF

응급상황의 신속한 감지를 위한 u-Health 시스템 개발에 관한 연구 (Development of u-Health Care System for Prompt Perception of Emergencies)

  • 장동욱;선복근;손석원;한광록
    • 정보처리학회논문지B
    • /
    • 제14B권6호
    • /
    • pp.401-406
    • /
    • 2007
  • 본 논문은 만성질환을 갖고 있으면서도 일상생활을 하고 있는 환자들의 응급상황을 신속히 감지하여 능동적으로 대처할 수 있게 하는 u-Health 시스템의 개발에 관하여 기술한다. 기울기 및 진동 센서, GPS, CDMA 통신 모듈 등으로 구성된 PHCH(Personal Health Care Host) 장치에 의해 환자의 위급상황이 신속히 감지되면 현재 환자가 위치한 위치정보를 병원과 보호자의 모바일 단말기로 문자 전송하여 상황에 즉각 대처할 수 있도록 한다. 특히, 시스템은 신경회로망을 이용하여 센서로부터 수신되는 신호 데이터를 분석하고 기절 또는 발작 증상과 같은 응급상황을 신속히 판단한다. 또한 환자의 응급 상황시에 GPS 데이터를 이용하여 환자의 위치를 지도에서 확인할 수 있다. 일상생환을 하면서 항상 주의가 필요한 만성질환자에게 이 시스템을 적용시킴으로써 응급 상황에 신속히 대처하여 귀중한 생명을 구할 수 있을 것으로 기대된다.

Visual Explanation of a Deep Learning Solar Flare Forecast Model and Its Relationship to Physical Parameters

  • Yi, Kangwoo;Moon, Yong-Jae;Lim, Daye;Park, Eunsu;Lee, Harim
    • 천문학회보
    • /
    • 제46권1호
    • /
    • pp.42.1-42.1
    • /
    • 2021
  • In this study, we present a visual explanation of a deep learning solar flare forecast model and its relationship to physical parameters of solar active regions (ARs). For this, we use full-disk magnetograms at 00:00 UT from the Solar and Heliospheric Observatory/Michelson Doppler Imager and the Solar Dynamics Observatory/Helioseismic and Magnetic Imager, physical parameters from the Space-weather HMI Active Region Patch (SHARP), and Geostationary Operational Environmental Satellite X-ray flare data. Our deep learning flare forecast model based on the Convolutional Neural Network (CNN) predicts "Yes" or "No" for the daily occurrence of C-, M-, and X-class flares. We interpret the model using two CNN attribution methods (guided backpropagation and Gradient-weighted Class Activation Mapping [Grad-CAM]) that provide quantitative information on explaining the model. We find that our deep learning flare forecasting model is intimately related to AR physical properties that have also been distinguished in previous studies as holding significant predictive ability. Major results of this study are as follows. First, we successfully apply our deep learning models to the forecast of daily solar flare occurrence with TSS = 0.65, without any preprocessing to extract features from data. Second, using the attribution methods, we find that the polarity inversion line is an important feature for the deep learning flare forecasting model. Third, the ARs with high Grad-CAM values produce more flares than those with low Grad-CAM values. Fourth, nine SHARP parameters such as total unsigned vertical current, total unsigned current helicity, total unsigned flux, and total photospheric magnetic free energy density are well correlated with Grad-CAM values.

  • PDF

전이학습 기반 다중 컨볼류션 신경망 레이어의 활성화 특징과 주성분 분석을 이용한 이미지 분류 방법 (Transfer Learning using Multiple ConvNet Layers Activation Features with Principal Component Analysis for Image Classification)

  • 바트후 ?바자브;주마벡 알리하노브;팡양;고승현;조근식
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.205-225
    • /
    • 2018
  • Convolutional Neural Network (ConvNet)은 시각적 특징의 계층 구조를 분석하고 학습할 수 있는 대표적인 심층 신경망이다. 첫 번째 신경망 모델인 Neocognitron은 80 년대에 처음 소개되었다. 당시 신경망은 대규모 데이터 집합과 계산 능력이 부족하여 학계와 산업계에서 널리 사용되지 않았다. 그러나 2012년 Krizhevsky는 ImageNet ILSVRC (Large Scale Visual Recognition Challenge) 에서 심층 신경망을 사용하여 시각적 인식 문제를 획기적으로 해결하였고 그로 인해 신경망에 대한 사람들의 관심을 다시 불러 일으켰다. 이미지넷 첼린지에서 제공하는 다양한 이미지 데이터와 병렬 컴퓨팅 하드웨어 (GPU)의 발전이 Krizhevsky의 승리의 주요 요인이었다. 그러므로 최근의 딥 컨볼루션 신경망의 성공을 병렬계산을 위한 GPU의 출현과 더불어 ImageNet과 같은 대규모 이미지 데이터의 가용성으로 정의 할 수 있다. 그러나 이러한 요소는 많은 도메인에서 병목 현상이 될 수 있다. 대부분의 도메인에서 ConvNet을 교육하기 위해 대규모 데이터를 수집하려면 많은 노력이 필요하다. 대규모 데이터를 보유하고 있어도 처음부터 ConvNet을 교육하려면 많은 자원과 시간이 소요된다. 이와 같은 문제점은 전이 학습을 사용하면 해결할 수 있다. 전이 학습은 지식을 원본 도메인에서 새 도메인으로 전이하는 방법이다. 전이학습에는 주요한 두 가지 케이스가 있다. 첫 번째는 고정된 특징점 추출기로서의 ConvNet이고, 두번째는 새 데이터에서 ConvNet을 fine-tuning 하는 것이다. 첫 번째 경우, 사전 훈련 된 ConvNet (예: ImageNet)을 사용하여 ConvNet을 통해 이미지의 피드포워드 활성화를 계산하고 특정 레이어에서 활성화 특징점을 추출한다. 두 번째 경우에는 새 데이터에서 ConvNet 분류기를 교체하고 재교육을 한 후에 사전 훈련된 네트워크의 가중치를 백프로퍼게이션으로 fine-tuning 한다. 이 논문에서는 고정된 특징점 추출기를 여러 개의 ConvNet 레이어를 사용하는 것에 중점을 두었다. 그러나 여러 ConvNet 레이어에서 직접 추출된 차원적 복잡성을 가진 특징점을 적용하는 것은 여전히 어려운 문제이다. 우리는 여러 ConvNet 레이어에서 추출한 특징점이 이미지의 다른 특성을 처리한다는 것을 발견했다. 즉, 여러 ConvNet 레이어의 최적의 조합을 찾으면 더 나은 특징점을 얻을 수 있다. 위의 발견을 토대로 이 논문에서는 단일 ConvNet 계층의 특징점 대신에 전이 학습을 위해 여러 ConvNet 계층의 특징점을 사용하도록 제안한다. 본 논문에서 제안하는 방법은 크게 세단계로 이루어져 있다. 먼저 이미지 데이터셋의 이미지를 ConvNet의 입력으로 넣으면 해당 이미지가 사전 훈련된 AlexNet으로 피드포워드 되고 3개의 fully-connected 레이어의 활성화 틀징점이 추출된다. 둘째, 3개의 ConvNet 레이어의 활성화 특징점을 연결하여 여러 개의 ConvNet 레이어의 특징점을 얻는다. 레이어의 활성화 특징점을 연결을 하는 이유는 더 많은 이미지 정보를 얻기 위해서이다. 동일한 이미지를 사용한 3개의 fully-connected 레이어의 특징점이 연결되면 결과 이미지의 특징점의 차원은 4096 + 4096 + 1000이 된다. 그러나 여러 ConvNet 레이어에서 추출 된 특징점은 동일한 ConvNet에서 추출되므로 특징점이 중복되거나 노이즈를 갖는다. 따라서 세 번째 단계로 PCA (Principal Component Analysis)를 사용하여 교육 단계 전에 주요 특징점을 선택한다. 뚜렷한 특징이 얻어지면, 분류기는 이미지를 보다 정확하게 분류 할 수 있고, 전이 학습의 성능을 향상시킬 수 있다. 제안된 방법을 평가하기 위해 특징점 선택 및 차원축소를 위해 PCA를 사용하여 여러 ConvNet 레이어의 특징점과 단일 ConvNet 레이어의 특징점을 비교하고 3개의 표준 데이터 (Caltech-256, VOC07 및 SUN397)로 실험을 수행했다. 실험결과 제안된 방법은 Caltech-256 데이터의 FC7 레이어로 73.9 %의 정확도를 얻었을 때와 비교하여 75.6 %의 정확도를 보였고 VOC07 데이터의 FC8 레이어로 얻은 69.2 %의 정확도와 비교하여 73.1 %의 정확도를 보였으며 SUN397 데이터의 FC7 레이어로 48.7%의 정확도를 얻었을 때와 비교하여 52.2%의 정확도를 보였다. 본 논문에 제안된 방법은 Caltech-256, VOC07 및 SUN397 데이터에서 각각 기존에 제안된 방법과 비교하여 2.8 %, 2.1 % 및 3.1 %의 성능 향상을 보였다.

인공신경망을 이용한 해안 조위예측 (Prediction of Shore Tide level using Artificial Neural Network)

  • 이경훈;문병석;김태경;오종양
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2005년도 학술발표회 논문집
    • /
    • pp.1068-1072
    • /
    • 2005
  • 조석이란, 해면의 완만한 주기적 승강을 말하며, 보통 그 승강은 1일 약 2회이나, 곳에 따라서는 1일 1회의 곳도 있다. 조석에 있어서는 이 밖에 수일의 주기를 갖는 약간 불규칙한 승강, 반년, 또는 1년을 주기로 하는 다소 규칙적인 승강까지 포함하여 취급한다. 그러나, 각 항만마다 갖는 특정적인 주기인 수분내지 수십분의 주기의 승강은 조석으로 취급하지 않는다. 조석은 해양의 제현상 중에서 예측가능성이 가장 큰 현장으로 이는 조석이 천체의 운행과 연관되기 때문이다. 조석이란 지구로부터 일정한 거리에서 각 고유의 속도를 가지는 적도상을 운행하는 무수의 가상천체에 기인하는 규칙적인 개개의 조석을 합성한 것이며 이 개개의 조석을 분조(Constituent)라 한다. 여기에서 사용되는 신경망 모형은 입력과 출력으로 구성되는 블랙박스 모형으로서 하나의 시스템을 병렬적으로 비선형적으로 구축할 수 있다는 장점 때문에 과거 하천유역의 강우-유출과정에서의 경우 유출현상을 해석하고 유출과정을 모형화 하기 위해 사용하였다. 본 연구에서는 기존의 조위 예측방법인 조화분석법이 아닌 인공신경망을 이용하여 조위예측을 실시하였다. 학습이라는 최적화 과정을 통해 구조와 기능이 복잡한 자연현상을 그대로 받아들여 축적시킴으로써 이를 지식으로 현상에 대한 재현능력이 뛰어나고, 또한 신경회로망의 연상기억능력에 적용하여 수학적으로 표현이 불가능한 불확실한 조위곡선에 적용하기에 유리한 장점을 가지고 있다. 본 연구의 목적은 과거 조위이론을 통해 이루었던 조위예측을 우리가 알기 쉬운 여러 기후인자(해면기압, 풍향, 풍속, 음력 등)에 따른 조위곡선을 예측하기 위해 신경망 모형을 이용하여 여수지역의 조위에 적용하여 비교 분석하고자 한다. May가 제안한 공식을 더 확장하여 적용할 수 있는 실험 공식으로 개선하였으며 다양한 조건에 대한 실험을 수행하여 보다 정밀한 공식으로 개선할 수 있었다.$10,924m^3/s$ 및 $10,075m^3/s$로서 실험 I의 $2,757m^3/s$에 비해 통수능이 많이 개선되었음을 알 수 있다.함을 알 수 있다. 상수관로 설계 기준에서는 관로내 수압을 $1.5\~4.0kg/cm^2$으로 나타내고 있는데 $6kg/cm^2$보다 과수압을 나타내는 경우가 $100\%$로 밸브를 개방하였을 때보다 $60\%,\;80\%$ 개방하였을 때가 더 빈번히 발생하고 있으므로 대상지역의 밸브 개폐는 $100\%$ 개방하는 것이 선계기준에 적합한 것으로 나타났다. 밸브 개폐에 따른 수압 변화를 모의한 결과 밸브 개폐도를 적절히 유지하여 필요수량의 확보 및 누수방지대책에 활용할 수 있을 것으로 판단된다.8R(mm)(r^2=0.84)$로 지수적으로 증가하는 경향을 나타내었다. 유거수량은 토성별로 양토를 1.0으로 기준할 때 사양토가 0.86으로 가장 작았고, 식양토 1.09, 식토 1.15로 평가되어 침투수에 비해 토성별 차이가 크게 나타났다. 이는 토성이 세립질일 수록 유거수의 저항이 작기 때문으로 생각된다. 경사에 따라서는 경사도가 증가할수록 증가하였으며 $10\% 경사일 때를 기준으로 $Ro(mm)=Ro_{10}{\times}0.797{\times}e^{-0.021s(\%)}$로 나타났다.천성 승모판 폐쇄 부전등을 초래하는 심각한 선

  • PDF

데이터마이닝 기법을 활용한 비외감기업의 부실화 유형 분석 (The Pattern Analysis of Financial Distress for Non-audited Firms using Data Mining)

  • 이수현;박정민;이형용
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.111-131
    • /
    • 2015
  • 본 연구에서는 데이터마이닝 기법의 일종인 자기조직화지도(Self-Organizing Map, SOM)를 이용하여 비외감기업의 부실화 유형을 구분하고자 한다. 자기조직화지도는 인공 신경망을 기초로 자율학습을 통해 입력된 값을 유사한 군집끼리 묶어내는 방법으로, 기존의 통계적 군집 분류 방법보다 성능이 뛰어나고, 고차원의 입력데이터를 저차원으로 시각화할 수 있다는 장점 때문에 다양한 분야에서 각광받고 있다. 본 연구에서는 기존 연구의 주요 분석대상이었던 외감기업에 비해 부실화 빈도는 높지만 데이터 수집의 어려움으로 인해 분석대상에서 다소 제외되었던 비외감기업의 부실화 유형에 대해 알아보고, 유형별 구체적인 사례도 소개하고자 한다. 재무자료수집이 가능한 100개의 비외감 부실기업에 대해 분석한 결과, 비외감기업의 부실화 유형은 다섯 가지로 구분되었다. 유형 1은 전체 집단의 약 12%를 차지하며, 수익성, 성장성 등 재무지표가 다른 유형에 비해 열등하였다. 유형 2는 전체 집단의 약 14%로, 유형 1보다는 덜 심각하지만 재무지표가 대체로 열등하였다. 유형 3은 성장성 지표가 열등한 그룹으로 기업간 경쟁이 극심한 가운데 지속적으로 성장하지 못하고 부실화된 경우로 약 30%의 기업이 포함되었다. 유형 4는 성장성은 탁월하나 부채경영 등 과감한 경영으로 인해 유동성 부족이나 현금부족 등의 이유로 부실화된 그룹으로 약 25%의 기업이 포함되었다. 유형 5는 거의 모든 재무지표가 우수한 건전기업으로, 단기적인 경영전략의 실수 또는 중소기업의 특성상 경영자의 개인적 사정으로 부실화 되었을 가능성이 큰 그룹으로 약 18%의 기업이 포함되었다. 본 연구 결과는 부실화 유형을 구분하는데 기존의 통계적 방법이 아닌 자기조직화지도를 이용하였다는 점에서 학문적 의의가 있고, 비외감기업의 재무지표만으로도 1차적인 부실화 징후를 발견할 수 있다는 점에서 실무적 의의가 있다고 할 수 있다.

감정예측모형의 성과개선을 위한 Support Vector Regression 응용 (Application of Support Vector Regression for Improving the Performance of the Emotion Prediction Model)

  • 김성진;유은정;정민규;김재경;안현철
    • 지능정보연구
    • /
    • 제18권3호
    • /
    • pp.185-202
    • /
    • 2012
  • 오늘날 정보사회에서는 정보에 대한 가치를 인식하고, 이를 위한 정보의 활용과 수집이 중요해지고 있다. 얼굴 표정은 그림 하나가 수천개의 단어를 표현할 수 있듯이 수천 개의 정보를 지니고 있다. 이에 주목하여 최근 얼굴 표정을 통해 사람의 감정을 판단하여 지능형 서비스를 제공하기 위한 시도가 MIT Media Lab을 필두로 활발하게 이루어지고 있다. 전통적으로 기존 연구에서는 인공신경망, 중회귀분석 등의 기법을 통해 사람의 감정을 판단하는 연구가 이루어져 왔다. 하지만 중회귀모형은 예측 정확도가 떨어지고, 인공신경망은 성능은 뛰어나지만 기법 자체가 지닌 과적합화 문제로 인해 한계를 지닌다. 본 연구는 사람들의 자극에 대한 반응으로서 나타나는 얼굴 표정을 통해 감정을 추론해내는 지능형 모형을 개발하는 것을 목표로 한다. 기존 얼굴 표정을 통한 지능형 감정판단모형을 개선하기 위하여, Support Vector Regression(이하 SVR) 기법을 적용하는 새로운 모형을 제시한다. SVR은 기존 Support Vector Machine이 가진 뛰어난 예측 능력을 바탕으로, 회귀문제 영역을 해결하기 위해 확장된 것이다. 본 연구의 제안 모형의 목적은 사람의 얼굴 표정으로부터 쾌/불쾌 수준 그리고 몰입도를 판단할 수 있도록 설계되는 것이다. 모형 구축을 위해 사람들에게 적절한 자극영상을 제공했을 때 나타나는 얼굴 반응들을 수집했고, 이를 기반으로 얼굴 특징점을 도출 및 보정하였다. 이후 전처리 과정을 통해 통계적 유의변수를 추출 후 학습용과 검증용 데이터로 구분하여 SVR 모형을 통해 학습시키고, 평가되도록 하였다. 다수의 일반인들을 대상으로 수집된 실제 데이터셋을 기반으로 제안모형을 적용해 본 결과, 매우 우수한 예측 정확도를 보임을 확인할 수 있었다. 아울러, 중회귀분석이나 인공신경망 기법과 비교했을 때에도 본 연구에서 제안한 SVR 모형이 쾌/불쾌 수준 및 몰입도 모두에서 더 우수한 예측성과를 보임을 확인할 수 있었다. 이는 얼굴 표정에 기반한 감정판단모형으로서 SVR이 상당히 효과적인 수단이 될 수 있다는 점을 알 수 있었다.

R&D 기술 선정을 위한 시계열 특허 분석 기반 지능형 의사결정지원시스템 (An Intelligent Decision Support System for Selecting Promising Technologies for R&D based on Time-series Patent Analysis)

  • 이충석;이석주;최병구
    • 지능정보연구
    • /
    • 제18권3호
    • /
    • pp.79-96
    • /
    • 2012
  • 기술의 발전과 융합이 빠르게 이루어지고 있는 오늘날 유망기술을 어떻게 파악하여, 다양한 후보군들 중에서 최적의 R&D 대상을 어떻게 선정할 것인가에 대한 문제는 주요한 경영의사결정문제 중 하나로 부상하고 있다. 본 연구에서는 이러한 R&D 기술 선정 의사결정을 지원할 수 있는 새로운 지능형 의사결정지원시스템을 제안한다. 본 연구의 의사결정지원시스템은 크게 3가지 모듈로 구성되는데, 우선 첫 번째 모듈인 '기술가치 평가' 모듈에서는 기업이 관심을 갖고 있는 분야의 특허들을 분석하여 유망기술 파악에 요구되는 다양한 차원의 기술가치 평가지수 값들을 산출하는 작업이 이루어진다. 이를 통해, 현재 시점에서의 각 기술의 가치가 다양한 차원에서 평가가 이루어지고 나면, 두 번째 모듈인 '미래기술가치 예측' 모듈에서 이들의 시간 흐름에 따른 변화를 학습한 인공지능 모형을 토대로 각 후보기술들이 미래 시점에 어떤 가치지수값을 갖게 될 것인지 예측값을 산출하게 된다. 마지막 세 번째 모듈인 '최적 R&D 대상기술 선정 지원' 모듈에서는 앞서 두 번째 모듈에서 산출된 각 차원별 예상 가치지수값들을 적절히 가중합하여 기술의 종합적인 미래가치 예측값을 산출하여 의사결정자에게 제공하는 기능을 수행한다. 이를 통해 의사결정자가 자사에 적합한 최적의 R&D 대상기술을 선정할 수 있도록 하였다. 본 연구에서는 제안된 시스템의 적용 가능성을 검증하기 위해, 10년치 특허데이터에 인공신경망 기법을 적용하여 실제 기술가치 예측모형을 구축해 보고, 그 효과를 살펴본다.