• International Journal of Contents
• /
• 제15권4호
• /
• pp.8-15
• /
• 2019

This paper presents a solution of the 'Quick, Draw! Doodle Recognition Challenge' hosted by Google. Doodles are drawings comprised of concrete representational meaning or abstract lines creatively expressed by individuals. In this challenge, a doodle is presented as a sequence of sketches. From the view of at the sketch level, to learn the pattern of strokes representing a doodle, we propose a sequential model stacked with multiple convolution layers and Long Short-Term Memory (LSTM) cells following the attention mechanism [15]. From the view at the image level, we use multiple models pre-trained on ImageNet to recognize the doodle. Finally, an ensemble and a post-processing method using the minimum cost flow algorithm are introduced to combine multiple models in achieving better results. In this challenge, our solutions garnered 11th place among 1,316 teams. Our performance was 0.95037 MAP@3, only 0.4% lower than the winner. It demonstrates that our method is very competitive. The source code for this competition is published at: https://github.com/ngxbac/Kaggle-QuickDraw.

• 대한전자공학회논문지SP
• /
• 제43권4호
• /
• pp.37-45
• /
• 2006

본 논문에서는 인지학에서 연구되고 있는 동질 연상 기억 현상과 장기 및 단기 기억 강화 조절 기능을 담당하는 해마의 두뇌 원리를 공학적으로 모델링한 MHLA(Modulatory Hippocampus Learning Algorithm)의 개발을 제안한다. 해마에서 중요시 하는 연관된 3단계 조직(DG, CA3, CAl)에 기반한 동질 연상 메모리를 구성하도록 하였으며, 장기 기억 학습에 모듈레이터(modulator)를 추가하여 학습 수렴 속도를 향상시켰다. 해마 구조에서 정보는 3단계 순서에 따라 치아 이랑 영역에서 통계적인 편차를 적용하여 호감도 조정에 따라서 반응 패턴으로 이진화 되고, CA3 영역에서 자기 연상 메모리를 하여 패턴이 재구성이 된다. CA3의 정보를 받는 CAI영역에서는 모듈레이터가 적용되는 신경망에 의해 장기기억 인식에 이용되는 연결n강도의 수렴이 빠르게 학습된다. MHLA의 성능을 측정하기 위하여 포즈 및 표정과 화질 상태에 따라 분류된 얼굴 영상에 PCA(Principal Component Analysis)를 적용하여 특정 벡터들을 계산하 MHLA로 학습한 후, 인식률을 확인 하였다. 실험 결과, 제안한 학습 방법을 다른 방법들과 비교하였을 때, 학습시간비용과 인식률에서 우수함을 확인하였다.

• 디지털콘텐츠학회 논문지
• /
• 제19권4호
• /
• pp.789-799
• /
• 2018

이 논문에서는 이러한 산업 단지 시스템에서의 비정상적인 동작이 일어날 때, 시간 계열의 데이터를 분석하기 위하여 Big 데이터를 이용한 접근을 기반으로 하는 머신 러닝을 보여줍니다. Long Short-Term Memory (LSTM) 네트워크는 향상된 RNN버전으로서 입증되었으며 많은 작업에 유용한 도움이 되었습니다. 이 LSTM 기반 모델은 시간적 패턴뿐만 아니라 더 높은 레벨의 시간적 특징을 학습 한 다음, 미래의 데이터를 예측하기 위해 예측 단계에 사용됩니다. 예측 오차는 예측 인자에 의해 예측 된 결과와 실제 예상되는 값의 차이입니다. 오차 분포 추정 모델은 가우스 분포를 사용하여 관찰 스코어의 이상을 계산합니다. 이러한 방식으로, 우리는 하나의 비정상적 데이터의 개념에서 집단적인 비정상적 데이터 개념으로 바뀌어 갑니다. 이 작업은 실패를 최소화하고 제조품질을 향상시키는 Smart Factory의 모니터링 및 관리를 지원할 수 있습니다.

• 정보과학회 논문지
• /
• 제44권6호
• /
• pp.607-612
• /
• 2017

도시에서 홍수 피해를 방지하기 위한 침수를 예측하기 위해 본 논문에서는 딥러닝(Deep Learning) 기법을 적용한다. 딥러닝 기법 중 시계열 데이터 분석에 적합한 Recurrent Neural Networks (RNNs)을 활용하여 강의 수위 관측 데이터를 학습하고 침수 가능성을 예측하였다. 예측 정확도 검증을 위해 사용한 데이터는 미국의 트리니티강의 데이터로, 학습을 위해 2013 년부터 2015 년까지 데이터를 사용하였고 평가 데이터로는 2016 년 데이터를 사용하였다. 입력은 16개의 레코드로 구성된 15분단위의 시계열 데이터를 사용하였고, 출력으로는 30분과 60분 후의 강의 수위 예측 정보이다. 실험에 사용한 딥러닝 모델들은 표준 RNN, RNN-BPTT(Back Propagation Through Time), LSTM(Long Short-Term Memory)을 사용했는데, 그 중 LSTM의 NE(Nash Efficiency)가 0.98을 넘는 정확도로 기존 연구에 비해 매우 높은 성능 향상을 보였고, 표준 RNN과 RNN-BPTT에 비해서도 좋은 성능을 보였다.

• 품질경영학회지
• /
• 제49권4호
• /
• pp.581-594
• /
• 2021

Purpose: The purpose of this study is to compare machine learning models for anomaly detection of mechanical facility equipment and suggest an anomaly detection system for mechanical facility equipment in subway stations. It helps to predict failures and plan the maintenance of facility. Ultimately it aims to improve the quality of facility equipment. Methods: The data collected from Daejeon Metropolitan Rapid Transit Corporation was used in this experiment. The experiment was performed using Python, Scikit-learn, tensorflow 2.0 for preprocessing and machine learning. Also it was conducted in two failure states of the equipment. We compared and analyzed five unsupervised machine learning models focused on model Long Short-Term Memory Variational Autoencoder(LSTM-VAE). Results: In both experiments, change in vibration and current data was observed when there is a defect. When the rotating body failure was happened, the magnitude of vibration has increased but current has decreased. In situation of axis alignment failure, both of vibration and current have increased. In addition, model LSTM-VAE showed superior accuracy than the other four base-line models. Conclusion: According to the results, model LSTM-VAE showed outstanding performance with more than 97% of accuracy in the experiments. Thus, the quality of mechanical facility equipment will be improved if the proposed anomaly detection system is established with this model used.

• 인지과학
• /
• 제20권4호
• /
• pp.535-554
• /
• 2009

모바일 장비에서 수집되는 정보는 개인의 기억을 보조하기 위한 수단으로 활용될 수 있지만, 그 양이 너무 많아 사용자가 효과적으로 검색하기에는 어려움이 있다. 데이터를 사람의 기억과 유사한 에피소드 방식으로 저장하기 위해 중요 이벤트인 랜드마크를 탐지하는 것이 필요하다. 본 논문에서는 사용자에게 새로운 서비스를 제공하기 위해서 다양한 컨텍스트 로그 정보로부터 자동으로 랜드마크를 찾아내는 속성별 베이지안 랜드마크 예측 모델을 제안한다. 랜드마크 예측 정확도를 높이기 위해 요일별, 주간별로 데이터를 나누고 다시 수집된 경로에 따른 속성으로 분류하여 학습을 통해 베이지안 네트워크를 생성하였다. 노키아의 로그데이터로 실험한 결과, 베이지안 네트워크를 사용한 방법이 SVM을 사용한 방법보다 예측성능이 높았으며, 주간별 및 요일별로 설계한 베이지안 네트워크에 비해 제안한 방법인 속성별 베이지안 네트워크의 성능이 가장 우수하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권7호
• /
• pp.558-567
• /
• 2010

데이터 스트림을 위한 효율적인 예측 방법을 개발하기 위하여 많은 연구들이 진행 되어왔다. 하지만, 이들 방법들은 대부분 고정된 시간 구간에 대한 하나의 예측 결과만을 제공하고 있기 때문에 많은 경우에 다양한 시간 간격을 기초로 얻어진 예측 결과들이 다를 수 있다. 따라서 다중-간격 예측(Multi-Interval Prediction; MIP)을 위한 새로운 방법의 개발이 요구된다. 본 논문은 계층형 시간적 메모리(HTM) 기술을 이용하여 데이터 스트림을 다중-간격 기반으로 예측할 수 있는 새로운 방안을 제시한다. 우리는 원래의 HTM 네트워크에 새로운 노드 형태인 Zeta1LastNode를 도입하여 통합된 계층형 시간적 메모리(Integrated Hierarchical Temporal Memory; IHTM) 네트워크를 제안한다. 특히, 이 IHTM 네트워크의 계층적인 통합 특성을 이용하여, 데이터 스트림에 대한 다중-간격 예측이 효과적으로 이루어질 수 있도록 하였다. 성능 분석을 통해 IHTM이 다중-간격 예측을 함에 있어서 예측 간격이 늘어날수록 원래의 HTM에 비하여 메모리와 계산 시간의 소비를 획기적으로 줄일 수 있다는 것을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권6호
• /
• pp.2444-2463
• /
• 2020

Significant detection of video can more rationally allocate computing resources and reduce the amount of computation to improve accuracy. Deep learning can extract the edge features of the image, providing technical support for video saliency. This paper proposes a new detection method. We combine the Convolutional Neural Network (CNN) and the Deep Bidirectional LSTM Network (DB-LSTM) to learn the spatio-temporal features by exploring the object motion information and object motion information to generate video. A continuous frame of significant images. We also analyzed the sample database and found that human attention and significant conversion are time-dependent, so we also considered the significance detection of video cross-frame. Finally, experiments show that our method is superior to other advanced methods.

• 영어어문교육
• /
• 제6호
• /
• pp.1-24
• /
• 2000

Listening comprehension is an integrative and creative process of interaction through which listeners receive speakers' production of linguistic or non-linguistic knowledge. Compared with reading comprehension, it may arouse difficulties and thus impose more burdens on foreign learners. The Audio-Lingual Method focused primarily on speaking. Mimicry, repetition, rote memory, and transformation drills actually interfered with listening comprehension. So learners lost interest and were not highly motivated. Improving listening comprehension requires continual attentiveness and interest. Listening skill can be extended systematically only when students are frequently exposed to a wide range of listening materials with an affective, cultural, social, and psycholinguistic approach. Therefore, teachers should help students learn how to comprehend intactly the overall meaning of intended messages. The literature on teaching listening skill suggests various useful activities: TPR, dictation, role playing, singing, picture recognition, completion, prediction, seeking specific information, summarizing, labeling, humor, jokes, cartoons, media, and so on. Practical classroom teaching necessitates a systematic procedure in which students should take part in meaningful tasks/activities. In addition to this, learners must practice listening comprehension trough a self-study process.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 춘계 학술대회 학술발표 논문집
• /
• pp.325-329
• /
• 2003

This paper discuss the method of the system's efficient control using a Intelligent hybrid algorithm in nonlinear dynamics systems. Existing neural network and genetic algorithm for the control of non-linear systems work well in static states. but it be not particularly good in changeable states and must re-learn for the control of the system in the changed state. This time spend a lot of time. For the solution of this problem we suggest the intelligent hybrid self-tuning controller. it includes neural network, genetic algorithm and immune system. it is based on neural network, and immune system and genetic algorithm are added against a changed factor. We will call a change factor an antigen. When an antigen broke out, immune system come into action and genetic algorithm search an antibody. So the system is controled more stably and rapidly. Moreover, The Genetic algorithm use the memory address of the immune bank as a genetic factor. So it brings an advantage which the realization of a hardware easy.