• 제목/요약/키워드: Learning structure optimization

검색결과 148건 처리시간 0.028초

적대적 생성 모델을 활용한 사용자 행위 이상 탐지 방법 (Anomaly Detection for User Action with Generative Adversarial Networks)

  • 최남웅;김우주
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.43-62
    • /
    • 2019
  • 한때, 이상 탐지 분야는 특정 데이터로부터 도출한 기초 통계량을 기반으로 이상 유무를 판단하는 방법이 지배적이었다. 이와 같은 방법론이 가능했던 이유는 과거엔 데이터의 차원이 단순하여 고전적 통계 방법이 효과적으로 작용할 수 있었기 때문이다. 하지만 빅데이터 시대에 접어들며 데이터의 속성이 복잡하게 변화함에 따라 더는 기존의 방식으로 산업 전반에 발생하는 데이터를 정확하게 분석, 예측하기 어렵게 되었다. 따라서 기계 학습 방법을 접목한 SVM, Decision Tree와 같은 모형을 활용하게 되었다. 하지만 지도 학습 기반의 모형은 훈련 데이터의 이상과 정상의 클래스 수가 비슷할 때만 테스트 과정에서 정확한 예측을 할 수 있다는 특수성이 있고 산업에서 생성되는 데이터는 대부분 정답 클래스가 불균형하기에 지도 학습 모형을 적용할 경우, 항상 예측되는 결과의 타당성이 부족하다는 문제점이 있다. 이러한 단점을 극복하고자 현재는 클래스 분포에 영향을 받지 않는 비지도 학습 기반의 모델을 바탕으로 이상 탐지 모형을 구성하여 실제 산업에 적용하기 위해 시행착오를 거치고 있다. 본 연구는 이러한 추세에 발맞춰 적대적 생성 신경망을 활용하여 이상 탐지하는 방법을 제안하고자 한다. 시퀀스 데이터를 학습시키기 위해 적대적 생성 신경망의 구조를 LSTM으로 구성하고 생성자의 LSTM은 2개의 층으로 각각 32차원과 64차원의 은닉유닛으로 구성, 판별자의 LSTM은 64차원의 은닉유닛으로 구성된 1개의 층을 사용하였다. 기존 시퀀스 데이터의 이상 탐지 논문에서는 이상 점수를 도출하는 과정에서 판별자가 실제데이터일 확률의 엔트로피 값을 사용하지만 본 논문에서는 자질 매칭 기법을 활용한 함수로 변경하여 이상 점수를 도출하였다. 또한, 잠재 변수를 최적화하는 과정을 LSTM으로 구성하여 모델 성능을 향상시킬 수 있었다. 변형된 형태의 적대적 생성 모델은 오토인코더의 비해 모든 실험의 경우에서 정밀도가 우세하였고 정확도 측면에서는 대략 7% 정도 높음을 확인할 수 있었다.

경쟁적 공진화법에 의한 신경망의 구조와 학습패턴의 진화 (Evolution of Neural Network's Structure and Learn Patterns Based on Competitive Co-Evolutionary Method)

  • 정치선;이동욱;전효병;심귀보
    • 전자공학회논문지S
    • /
    • 제36S권1호
    • /
    • pp.29-37
    • /
    • 1999
  • 일반적으로 신경망의 정보처리 능력은 신경망의 구조와 효율적인 학습패턴에 의해 결정된다. 그러나 아직까지 체계적으로 신경망의 구조를 설계하거나 효율적인 학습패턴을 선택하는 방법은 없다. 한편 진화 알고리즘은 개체군을 이용한 탐색법으로 전역적 최적해를 구하는 데 많이 사용되고 있으며, 특히 최적의 시스템을 설계하고자 할 때 매우 유용한 방법이다. 본 논문에서는 유전자 알고리즘으로 구성된 두 개의 개체군이 서로 경쟁적으로 진화하는 공진화 방법에 의해 최적의 신경망구조를 찾는 방법을 제안한다. 이 방법은 신경망구조를 나타내는 주개체군과 학습패턴을 나타내는 부개체군으로 되어 있으며, 이 두 개체군(신경망과 학습패턴)은 서로 경쟁적으로 진화한다. 즉, 학습패턴은 신경망이 학습하기 힘든 패턴으로 진화하고 신경망은 그 패넌들을 학습할 수 있도록 진화하단. 이 방법은 부적절한 학습패턴의 선택과 임의적인 신경망의 설계로 인한 시스템의 성능이 저하되는 것을 해결한다. 또한 공진화 방법에서 각 개체군의 적합도는 동적으로 변화하기 때문에 그 진행과정을 쉽게 알 수 없다. 따라서 본 논문에서는 그 진행과정을 관찰할 수 있는 방법도 소개한다. 마지막으로 제안한 방법을 로봇 매니플레이터의 비주얼 서보임 문제에 적용하여 그 유효성을 검증한다.

  • PDF

Wavelet Thresholding Techniques to Support Multi-Scale Decomposition for Financial Forecasting Systems

  • Shin, Taeksoo;Han, Ingoo
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1999년도 춘계공동학술대회: 지식경영과 지식공학
    • /
    • pp.175-186
    • /
    • 1999
  • Detecting the features of significant patterns from their own historical data is so much crucial to good performance specially in time-series forecasting. Recently, a new data filtering method (or multi-scale decomposition) such as wavelet analysis is considered more useful for handling the time-series that contain strong quasi-cyclical components than other methods. The reason is that wavelet analysis theoretically makes much better local information according to different time intervals from the filtered data. Wavelets can process information effectively at different scales. This implies inherent support fer multiresolution analysis, which correlates with time series that exhibit self-similar behavior across different time scales. The specific local properties of wavelets can for example be particularly useful to describe signals with sharp spiky, discontinuous or fractal structure in financial markets based on chaos theory and also allows the removal of noise-dependent high frequencies, while conserving the signal bearing high frequency terms of the signal. To date, the existing studies related to wavelet analysis are increasingly being applied to many different fields. In this study, we focus on several wavelet thresholding criteria or techniques to support multi-signal decomposition methods for financial time series forecasting and apply to forecast Korean Won / U.S. Dollar currency market as a case study. One of the most important problems that has to be solved with the application of the filtering is the correct choice of the filter types and the filter parameters. If the threshold is too small or too large then the wavelet shrinkage estimator will tend to overfit or underfit the data. It is often selected arbitrarily or by adopting a certain theoretical or statistical criteria. Recently, new and versatile techniques have been introduced related to that problem. Our study is to analyze thresholding or filtering methods based on wavelet analysis that use multi-signal decomposition algorithms within the neural network architectures specially in complex financial markets. Secondly, through the comparison with different filtering techniques' results we introduce the present different filtering criteria of wavelet analysis to support the neural network learning optimization and analyze the critical issues related to the optimal filter design problems in wavelet analysis. That is, those issues include finding the optimal filter parameter to extract significant input features for the forecasting model. Finally, from existing theory or experimental viewpoint concerning the criteria of wavelets thresholding parameters we propose the design of the optimal wavelet for representing a given signal useful in forecasting models, specially a well known neural network models.

  • PDF

Wavelet Thresholding Techniques to Support Multi-Scale Decomposition for Financial Forecasting Systems

  • Shin, Taek-Soo;Han, In-Goo
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 1999년도 춘계공동학술대회-지식경영과 지식공학
    • /
    • pp.175-186
    • /
    • 1999
  • Detecting the features of significant patterns from their own historical data is so much crucial to good performance specially in time-series forecasting. Recently, a new data filtering method (or multi-scale decomposition) such as wavelet analysis is considered more useful for handling the time-series that contain strong quasi-cyclical components than other methods. The reason is that wavelet analysis theoretically makes much better local information according to different time intervals from the filtered data. Wavelets can process information effectively at different scales. This implies inherent support for multiresolution analysis, which correlates with time series that exhibit self-similar behavior across different time scales. The specific local properties of wavelets can for example be particularly useful to describe signals with sharp spiky, discontinuous or fractal structure in financial markets based on chaos theory and also allows the removal of noise-dependent high frequencies, while conserving the signal bearing high frequency terms of the signal. To data, the existing studies related to wavelet analysis are increasingly being applied to many different fields. In this study, we focus on several wavelet thresholding criteria or techniques to support multi-signal decomposition methods for financial time series forecasting and apply to forecast Korean Won / U.S. Dollar currency market as a case study. One of the most important problems that has to be solved with the application of the filtering is the correct choice of the filter types and the filter parameters. If the threshold is too small or too large then the wavelet shrinkage estimator will tend to overfit or underfit the data. It is often selected arbitrarily or by adopting a certain theoretical or statistical criteria. Recently, new and versatile techniques have been introduced related to that problem. Our study is to analyze thresholding or filtering methods based on wavelet analysis that use multi-signal decomposition algorithms within the neural network architectures specially in complex financial markets. Secondly, through the comparison with different filtering techniques results we introduce the present different filtering criteria of wavelet analysis to support the neural network learning optimization and analyze the critical issues related to the optimal filter design problems in wavelet analysis. That is, those issues include finding the optimal filter parameter to extract significant input features for the forecasting model. Finally, from existing theory or experimental viewpoint concerning the criteria of wavelets thresholding parameters we propose the design of the optimal wavelet for representing a given signal useful in forecasting models, specially a well known neural network models.

  • PDF

자연 프루닝과 베이시안 선택에 의한 신경회로망 일반화 성능 향상 (Improving Generalization Performance of Neural Networks using Natural Pruning and Bayesian Selection)

  • 이현진;박혜영;이일병
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권3_4호
    • /
    • pp.326-338
    • /
    • 2003
  • 신경회로망 설계 및 모델선택의 목표는 최적의 구조를 가지는 일반화 성능이 우수한 네트워크를 구성하는 것이다. 하지만 학습데이타에는 노이즈(noise)가 존재하고, 그 수도 충분하지 않기 때문에 최종적으로 표현하고자 하는 진확률 분포와 학습 데이타에 의해 표현되는 경험확률분포(empirical probability density) 사이에는 차이가 발생한다. 이러한 차이 때문에 신경회로망을 학습데이타에 대하여 과다하게 적합(fitting)시키면, 학습데이타만의 확률분포를 잘 추정하도록 매개변수들이 조정되어 버리고, 진확률 분포로부터 멀어지게 된다. 이러한 현상을 과다학습이라고 하며, 과다학습된 신경회로망은 학습데이타에 대한 근사는 우수하지만, 새로운 데이타에 대한 예측은 떨어지게 된다. 또한 신경회로망의 복잡도가 증가 할수록 더 많은 매개변수들이 노이즈에 쉽게 적합되어 과다학습 현상은 더욱 심화된다. 본 논문에서는 통계적인 관점을 바탕으로 신경회로망의 일반화 성능을 향상시키는 신경회로 망의 설계 및 모델 선택의 통합적인 프로세스를 제안하고자 한다. 먼저 학습의 과정에서 적응적 정규화가 있는 자연기울기 학습을 통해 수렴속도의 향상과 동시에 과다학습을 방지하여 진확률 분포에 가까운 신경회로망을 얻는다. 이렇게 얻어진 신경회로망에 자연 프루닝(natural pruning) 방법을 적용하여 서로 다른 크기의 후보 신경회로망 모델을 얻는다. 이러한 학습과 복잡도 최적화의 통합 프로세스를 통하여 얻은 후보 모델들 중에서 최적의 모델을 베이시안 정보기준에 의해 선택함으로써 일반화 성능이 우수한 최적의 모델을 구성하는 방법을 제안한다. 또한 벤치마크 문제를 이용한 컴퓨터 시뮬레이션을 통하여, 제안하는 학습 및 모델 선택의 통합프로세스의 일반화 성능과 구조 최적화 성능의 우수성을 검증한다.

냉동시스템 고장 진단 및 고장유형 분석을 위한 3단계 분류 알고리즘에 관한 연구 (A study on the 3-step classification algorithm for the diagnosis and classification of refrigeration system failures and their types)

  • 이강배;박성호;이희원;이승재;이승현
    • 한국융합학회논문지
    • /
    • 제12권8호
    • /
    • pp.31-37
    • /
    • 2021
  • 산업의 발전으로 도시화로 인해 건물의 규모가 커지면서, 건물의 공기 정화 및 쾌적한 실내 환경을 유지의 필요성 또한 증가하고 있다. 냉동 시스템의 모니터링 기술의 발전으로 건물 내에 발생하는 전력 소모량을 관리할 수 있게 되었다. 특히 상업용 건물에서 발생하는 전력 소모량 중 약 40%가 냉동 시스템에서 일어난다. 따라서 본 연구 냉동시스템 고장진단 알고리즘을 개발하기 위해서 냉동시스템의 구조를 이해하고, 냉동 시스템의 운영과정에서 발생하는 데이터를 수집 분석하여 다양한 유형과 심각도를 가지는 고장 상황을 조기에 신속하게 탐지 분류하고자 하였다. 특히 분류가 어려운 고장 유형들의 분류 정확도를 향상시키기 위하여 3단계 진단 및 분류 알고리즘을 개발하여 제안하였다. 다수의 실험과 초모수 (hyper parameter) 최적화 과정을 거쳐 각 단계에 적합한 분류 모형으로 SVM과 LGBM에 기반 한 모형을 제시하였다. 본 연구에서는 고장에 영향을 미치는 특성을 최대한 보존하면서, 선행연구에서 어려움을 겪었던 냉매 관련 고장을 포함한 모든 고장 유형을 우수한 결과로 도출하였다.

후기 구조주의 교육과정과 새 과학과 교육과정의 주제 중심 내용 구성 (Poststructural Curriculum and Topic-centered Framework of The New Science Curriculum)

  • 곽영순;이양락
    • 한국지구과학회지
    • /
    • 제28권2호
    • /
    • pp.169-178
    • /
    • 2007
  • 본 연구에서는 과학과 선택과목 교육과정 개정안 개발의 일환으로 제7차 과학과 선택과목 교육과정의 운영 실태를 진단하고, 이를 토대로 과학과 선택과목 교육과정의 내용 구성 방안을 제안하였다. 제1차 과학교육 개혁은 학문의 구조라는 특정 범주가 다른 범주보다 중요하고 부각되는 구조주의에 뿌리를 두고 있었다. 반면에 후기 구조주의라는 패러다임의 영향을 받은 제2차 과학교육 개혁에서는 이러한 구조주의적 사고에 제동을 걸면서, 학생들이 갖는 학습 기회에 대한 대안적인 해석을 내놓기 시작하였다. 제7차 과학과 고교 선택과목 교육과정 8개 교과목에 대한 현장 실태 조사 결과를 살펴보면, 대부분의 교과목에서 개정이 필요하다는 의견이 필요하지 않다는 의견보다 우세하게 나타났다. 특히 학생들의 이수 비율과 대수능 응시 비율이 가장 낮은 두 과목인 지구과학 II와 물리 II는 '학습량이 많으며, 학생의 수준에 비하여 내용이 어렵고, 학생의 흥미와 관심을 유발하지 못하는 등'의 문제점이 심각한 것으로 나타났다. 새 교육과정에서는 학습량과 수준을 적정화하려는 노력에 추가하여 보다 근본적인 대책 마련이 요구되었다. 본 연구에서는 예체능계, 인문사회계 및 자연계 진학에 관계없이 모든 학생들이 이수해야 하는 각 과목Ⅰ의 내용을 구성함에 있어서 후기 구조주의적 관점에서 시사점을 얻어 '주제 중심 내용 구성'을 제안하였다. 교육과정은 학습자가 갖는 학습 기회라고 볼 때, 교육과정 연구는 학습자가 가져야 할 학습기회가 무엇이어야 하는가에 대한 대답을 추구해 가야 한다. 이러한 맥락에서 연구 결과를 종합하여 과학과 고교 선택과목 교육과정의 내용 선정과 조직 방향을 제안하였다. 전기비저항 탐사를 대신할 수 있는 것으로 평가 된다.입을 통하여 발현 관계를 명확히 확인해야 하는 추가실험이 진행되어야 할 것이다.하게 된다.토끼 면역항체를 선모충유충 조직항원에 반응시켰을 때 충체의 표피와 기저층 그리고 EIM 및 stichocyte의 ${\alpha}_0\;{\alpha}_1$ 과립에 황금입자가 표지되었다. 따라서 1일 동안 배설되는 분비배설항원은 선모충 유충의 표피와 stichocyte의 ${\alpha}_0\;{\alpha}_1$ 과립에서 유도되는 반면에 3일 동안 배설되는 분비배설항원은 표피와 stichocyte의 ${\alpha}_0$ 과립에서 유도되고, 선모충유충 감염후 1주, 4주에 실험쥐에서 형성되는 감염항체는 선모충의 표피와 기저층 그리고 EIM에서 분비되는 항원에 의하여 생성된다. 이상의 결과로 선모충의 분비배설항원과 감염항원은 선모충 유충의 표피와 EIM및 stichocyte의 ${\alpha}_0\;{\alpha}_1$ 과립에서 유도되며 이들은 45 kDa 단백을 포함하고 있는 것으로 생각된다.성하고 있는 세포들에는 세포질이 어두운 세포와 밝은 세포가 있었으며, 세포질내에는 전자밀도가 높은 분비과립이 관찰되었다. 전체적인 특징은 눈물샘분비세포 중 장액세포의 것과 비슷하였으나, 과립의 크기는 작았다. 분비관을 구성하는 세포들 사이에도 연접복합체가 매우 잘 발달되어 있었다. 샘포에서 사이관으로 이행되는 곳에서도 샘포세포와 사이관세포 사이에서도 연접복합체가 관찰되었다. 분비관세포의 분비과립 가운데는 중심부분에 전자밀도가 더 높은 중심을 가진

환경요인을 이용한 다층 퍼셉트론 기반 온실 내 기온 및 상대습도 예측 (Prediction of Air Temperature and Relative Humidity in Greenhouse via a Multilayer Perceptron Using Environmental Factors)

  • 최하영;문태원;정대호;손정익
    • 생물환경조절학회지
    • /
    • 제28권2호
    • /
    • pp.95-103
    • /
    • 2019
  • 온도와 상대습도는 작물 재배에 있어서 중요한 요소로써, 수량과 품질의 증대를 위해서는 적절히 제어 되어야 한다. 그리고 정확한 환경 제어를 위해서는 환경이 어떻게 변화할지 예측할 필요가 있다. 본 연구의 목적은 현시점의 환경 데이터를 이용한 다층 퍼셉트론(multilayer perceptrons, MLP)을 기반으로 미래 시점의 기온 및 상대습도를 예측하는 것이다. MLP 학습에 필요한 데이터는 어윈 망고(Mangifera indica cv. Irwin)을 재배하는 8연동 온실($1,032m^2$)에서 2016년 10월 1일부터 2018년 2월 28일까지 10분 간격으로 수집되었다. MLP는 온실내부 환경 데이터, 온실 외 기상 데이터, 온실 내 장치의 설정 및 작동 값을 사용하여 10~120분 후 기온 및 상대습도를 예측하기 위한 학습을 진행하였다. 사계절이 뚜렷한 우리나라의 계절에 따른 예측 정확도를 분석하기 위해서 테스트 데이터로 계절별로 3일간의 데이터를 사용했다. MLP는 기온의 경우 은닉층이 4개, 노드 수가 128개일 때($R^2=0.988$), 상대습도는 은닉층 4개, 노드 수 64개에서 가장 높은 정확도를 보였다($R^2=0.990$). MLP 특성상 예측 시점이 멀어질수록 정확도는 감소하였지만, 계절에 따른 환경 변화에 무관하게 기온과 상대습도를 적절히 예측하였다. 그러나 온실 내 환경 제어 요소 중 분무 관수처럼 특이적인 데이터의 경우, 학습 데이터 수가 적기 때문에 예측 정확도가 낮았다. 본 연구에서는 MLP의 최적화를 통해서 기온 및 상대습도를 적절히 예측하였지만 실험에 사용된 온실에만 국한되었다. 따라서 보다 일반화를 위해서 다양한 장소의 온실 데이터 이용과 이에 따른 신경망 구조의 변형이 필요하다.