• 제목/요약/키워드: Sequential Neural Network

검색결과 106건 처리시간 0.034초

Kernel Relaxation과 동적 모멘트를 조합한 Support Vector Machine의 학습 성능 향상 (Improving Learning Performance of Support Vector Machine using the Kernel Relaxation and the Dynamic Momentum)

  • 김은미;이배호
    • 정보처리학회논문지B
    • /
    • 제9B권6호
    • /
    • pp.735-744
    • /
    • 2002
  • 본 논문에서는 커널완화법과 동적모멘트를 이용한 support vector machines의 학습성능 개선을 제안하였다. 제안된 학습 방법은 기존의 정적모멘트와는 달리 수렴 정도에 따라 현재의 학습에 과거의 학습 속성을 반영하는 동적모멘트 방법이다. 기존의 정적 상수로 정의된 모멘트가 전체 학습에 동등하게 영향을 주는 반면 제안된 동적모멘트를 이용한 학습방법은 학습 수행에 따라 동적으로 모멘트를 변경함으로써 수렴속도와 학습 성능을 효과적으로 제어할 수 있다. 제안된 학습법을 support vector machine의 새로운 순차 학습 방법인 커널완화법에 적용하였다. 신경망 분류기 표준 평가 데이터인 SONAR 데이터를 이용하여 실험한 곁과 동적모멘트를 이용한 방법이 수렴속도와 학습 성능면에서 기존의 커널완화법과 정적모멘트를 이용한 학습법에 비해 향상된 성능을 보이는 것을 확인하였다.

배경모델링과 CNN을 이용한 실시간 피플 카운팅 알고리즘 (A Real-time People Counting Algorithm Using Background Modeling and CNN)

  • 양훈준;장혁;정재협;이보원;정동석
    • 전자공학회논문지
    • /
    • 제54권3호
    • /
    • pp.70-77
    • /
    • 2017
  • 최근 IoT 및 딥러닝 관련 기술요소들이 영상보안감시시스템에서도 다양하게 응용되고 있다. 그 중 CCTV를 통해 촬영된 동영상에서 자동으로 특정 객체를 검출, 추적, 분류 하는 감시 기능이 점점 지능화되고 있다. 본 논문에서는 보급형 CPU만 사용하는 PC 환경에서도 실시간 처리가 가능한 알고리즘을 목표로 하였다. GMM(Gaussian Mixture Model)을 이용한 배경 모델링과 헝가리안 알고리즘, 그리고 칼만 필터를 조합한 추적 알고리즘은 전통적이며 복잡도가 비교적 적지만 검출 오류가 높다. 이를 보강하기 위해 대용량 데이터 학습에 적합한 딥러닝을 기술을 적용하였다. 특히 움직임이 있는 사람의 특징을 강조하기 위해 추적된 객체에 대해 SRGB-3 Layer CNN을 사용하였다. 성능 평가를 위해 기존의 HOG와 SVM을 이용한 시스템과 비교했을 때 Move-in은 7.6%, Move-out은 9.0%의 오류율 감소가 있었다.

딥러닝 기반 카메라 모델 판별 (Camera Model Identification Based on Deep Learning)

  • 이수현;김동현;이해연
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권10호
    • /
    • pp.411-420
    • /
    • 2019
  • 멀티미디어 포렌식 분야에서 영상을 촬영한 카메라 모델 판별을 위한 연구가 지속되어 왔다. 점점 고도화되는 범죄 중에 불법 촬영 등의 범죄는 카메라가 소형화됨에 따라 피해자가 알아차리기 어렵기 때문에 높은 범죄 발생 건수를 차지하고 있다. 따라서 특정 영상이 어느 카메라로 촬영되었는지를 특정할 수 있는 기술이 사용된다면 범죄자가 자신의 범죄 행위를 부정할 때, 범죄 혐의를 입증할 증거로 사용될 수 있을 것이다. 본 논문에서는 영상을 촬영한 카메라 모델 판별을 위한 딥러닝 모델을 제안한다. 제안하는 모델은 4개의 컨볼루션 계층과 2개의 전연결 계층으로 구성되었으며, 데이터 전처리를 위한 필터로 High Pass Filter를 사용하였다. 제안한 모델의 성능 검증을 위하여 Dresden Image Database를 활용하였고, 데이터셋은 순차분할 방식을 적용하여 생성하였다. 제안하는 모델을 3 계층 모델과 GLCM 적용 모델 등 기존 연구들과 비교 분석을 수행하여 우수성을 보였고, 최신 연구 결과에서 제시하는 수준의 98% 정확도를 달성하였다.

PLC 디지털 제어 신호를 통한 LSTM기반의 이산 생산 공정의 실시간 고장 상태 감지 (Real-Time Fault Detection in Discrete Manufacturing Systems Via LSTM Model based on PLC Digital Control Signals)

  • 송용욱;백수정
    • 산업경영시스템학회지
    • /
    • 제44권2호
    • /
    • pp.115-123
    • /
    • 2021
  • A lot of sensor and control signals is generated by an industrial controller and related internet-of-things in discrete manufacturing system. The acquired signals are such records indicating whether several process operations have been correctly conducted or not in the system, therefore they are usually composed of binary numbers. For example, once a certain sensor turns on, the corresponding value is changed from 0 to 1, and it means the process is finished the previous operation and ready to conduct next operation. If an actuator starts to move, the corresponding value is changed from 0 to 1 and it indicates the corresponding operation is been conducting. Because traditional fault detection approaches are generally conducted with analog sensor signals and the signals show stationary during normal operation states, it is not simple to identify whether the manufacturing process works properly via conventional fault detection methods. However, digital control signals collected from a programmable logic controller continuously vary during normal process operation in order to show inherent sequence information which indicates the conducting operation tasks. Therefore, in this research, it is proposed to a recurrent neural network-based fault detection approach for considering sequential patterns in normal states of the manufacturing process. Using the constructed long short-term memory based fault detection, it is possible to predict the next control signals and detect faulty states by compared the predicted and real control signals in real-time. We validated and verified the proposed fault detection methods using digital control signals which are collected from a laser marking process, and the method provide good detection performance only using binary values.

Bidirectional Convolutional LSTM을 이용한 Deepfake 탐지 방법 (A Method of Detection of Deepfake Using Bidirectional Convolutional LSTM)

  • 이대현;문종섭
    • 정보보호학회논문지
    • /
    • 제30권6호
    • /
    • pp.1053-1065
    • /
    • 2020
  • 최근 하드웨어의 성능과 인공지능 기술이 발달함에 따라 육안으로 구분하기 어려운 정교한 가짜 동영상들이 증가하고 있다. 인공지능을 이용한 얼굴 합성 기술을 딥페이크라고 하며 약간의 프로그래밍 능력과 딥러닝 지식만 있다면 누구든지 딥페이크를 이용하여 정교한 가짜 동영상을 제작할 수 있다. 이에 무분별한 가짜 동영상이 크게 증가하였으며 이는 개인 정보 침해, 가짜 뉴스, 사기 등에 문제로 이어질 수 있다. 따라서 사람의 눈으로도 진위를 가릴 수 없는 가짜 동영상을 탐지할 수 있는 방안이 필요하다. 이에 본 논문에서는 Bidirectional Convolutional LSTM과 어텐션 모듈(Attention module)을 적용한 딥페이크 탐지 모델을 제안한다. 본 논문에서 제안하는 모델은 어텐션 모듈과 신경곱 합성망 모델을 같이 사용되어 각 프레임의 특징을 추출하고 기존의 제안되어왔던 시간의 순방향만을 고려하는 LSTM과 달리 시간의 역방향도 고려하여 학습한다. 어텐션 모듈은 합성곱 신경망 모델과 같이 사용되어 각 프레임의 특징 추출에 이용한다. 실험을 통해 본 논문에서 제안하는 모델은 93.5%의 정확도를 갖고 기존 연구의 결과보다 AUC가 최대 50% 가량 높음을 보였다.

한국어 음소 단위 LSTM 언어모델을 이용한 문장 생성 (Korean Sentence Generation Using Phoneme-Level LSTM Language Model)

  • 안성만;정여진;이재준;양지헌
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.71-88
    • /
    • 2017
  • 언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.