• Title/Summary/Keyword: Sequence-to-sequence learning

검색결과 428건 처리시간 0.028초

비지도 학습 기반의 임베딩과 오토인코더를 사용한 침입 탐지 방법 (Intrusion Detection Method Using Unsupervised Learning-Based Embedding and Autoencoder)

  • 이준우;김강석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.355-364
    • /
    • 2023
  • 최근 지능화된 사이버 위협이 지속적으로 증가함에 따라 기존의 패턴 혹은 시그니처 기반의 침입 탐지 방식은 새로운 유형의 사이버 공격을 탐지하는데 어려움이 있다. 따라서 데이터 학습 기반 인공지능 기술을 적용한 이상 징후 탐지 방법에 관한 연구가 증가하고 있다. 또한 지도학습 기반 이상 탐지 방식은 학습을 위해 레이블 된 이용 가능한 충분한 데이터를 필요로 하기 때문에 실제 환경에서 사용하기에는 어려움이 있다. 최근에는 정상 데이터로 학습하고 데이터 자체에서 패턴을 찾아 이상 징후를 탐지하는 비지도 학습 기반의 방법에 대한 연구가 활발히 진행되고 있다. 그러므로 본 연구는 시퀀스 로그 데이터로부터 유용한 시퀀스 정보를 보존하는 잠재 벡터(Latent Vector)를 추출하고, 추출된 잠재 벡터를 사용하여 이상 탐지 학습 모델을 개발하는데 있다. 각 시퀀스의 특성들에 대응하는 밀집 벡터 표현을 생성하기 위하여 Word2Vec을 사용하였으며, 밀집 벡터로 표현된 시퀀스 데이터로부터 잠재 벡터를 추출하기 위하여 비지도 방식의 오토인코더(Autoencoder)를 사용하였다. 개발된 오토인코더 모델은 시퀀스 데이터에 적합한 순환신경망 GRU(Gated Recurrent Unit) 기반의 잡음 제거 오토인코더, GRU 네트워크의 제한적인 단기 기억문제를 해결하기 위한 1차원 합성곱 신경망 기반의 오토인코더 및 GRU와 1차원 합성곱을 결합한 오토인코더를 사용하였다. 실험에 사용된 데이터는 시계열 기반의 NGIDS(Next Generation IDS Dataset) 데이터이며, 실험 결과 GRU 기반의 오토인코더나, 1차원 합성곱 기반의 오토인코더를 사용한 모델보다 GRU와 1차원 합성곱을 결합한 오토인코더가 훈련 데이터로부터 유용한 잠재 패턴을 추출하기 위한 학습 시간적 측면에서 효율적이었고 이상 탐지 성능 변동의 폭이 더 작은 안정된 성능을 보였다.

비디오 얼굴 식별 성능개선을 위한 다중 심층합성곱신경망 결합 구조 개발 (Development of Combined Architecture of Multiple Deep Convolutional Neural Networks for Improving Video Face Identification)

  • 김경태;최재영
    • 한국멀티미디어학회논문지
    • /
    • 제22권6호
    • /
    • pp.655-664
    • /
    • 2019
  • In this paper, we propose a novel way of combining multiple deep convolutional neural network (DCNN) architectures which work well for accurate video face identification by adopting a serial combination of 3D and 2D DCNNs. The proposed method first divides an input video sequence (to be recognized) into a number of sub-video sequences. The resulting sub-video sequences are used as input to the 3D DCNN so as to obtain the class-confidence scores for a given input video sequence by considering both temporal and spatial face feature characteristics of input video sequence. The class-confidence scores obtained from corresponding sub-video sequences is combined by forming our proposed class-confidence matrix. The resulting class-confidence matrix is then used as an input for learning 2D DCNN learning which is serially linked to 3D DCNN. Finally, fine-tuned, serially combined DCNN framework is applied for recognizing the identity present in a given test video sequence. To verify the effectiveness of our proposed method, extensive and comparative experiments have been conducted to evaluate our method on COX face databases with their standard face identification protocols. Experimental results showed that our method can achieve better or comparable identification rate compared to other state-of-the-art video FR methods.

아급성기 뇌졸중 환자에서 지각-운동 과제를 통한 내잠 학습의 효과 (The Effect of Implicit Motor Sequence Learning Through Perceptual-Motor Task in Patients with Subacute Stroke)

  • 이미영;박래준;남기석
    • The Journal of Korean Physical Therapy
    • /
    • 제20권3호
    • /
    • pp.1-7
    • /
    • 2008
  • Purpose: Implicit motor learning is the capacity to acquire skill through physical practice without conscious awareness of what elements of performance improved. This study investigated whether subacute stroke patients can implicitly learn a perceptual-motor task. Methods: We recruited 12 patients with subacute stroke and 12 age-matched controls. All participants performed a perceptual-motor task that involved pressing a button corresponding with colored circles (blue, green, yellow, red) on a computer screen. The task consists of 7 blocks composed of 10 repetitions for a repeating 12-element sequence (total 120 responses). Results: Both groups demonstrated significant improvement in acquisition performance. Reaction times deceased in both groups at similar rate within the sequential block trials (2-5 blocks), and reaction times increased at a similar rate when the task paradigm was transferred from the sequential block trial to the random block trial (5-6-7 blocks). Conclusion: The results of this study suggest that patients with sub-actue stroke can implicitly learn a perceptual motor skill. Although explicit instructions should be used to focus the learner's attention rather than provide information about the task, the application of implicit motor learning strategies in the rehabilitation setting may be beneficial.

  • PDF

안전하고 효과적인 자율주행을 위한 불확실성 순차 모델링 (Uncertainty Sequence Modeling Approach for Safe and Effective Autonomous Driving)

  • 윤재웅;이주홍
    • 스마트미디어저널
    • /
    • 제11권9호
    • /
    • pp.9-20
    • /
    • 2022
  • 심층강화학습은 자율주행 도메인에서 널리 사용되는 end-to-end 데이터 기반 제어 방법이다. 그러나 기존의 강화학습 접근 방식은 자율주행 과제에 적용하기에는 비효율성, 불안정성, 불확실성 등의 문제로 어려움이 존재한다. 이러한 문제들은 자율주행 도메인에서 중요하게 작용한다. 최근의 연구들은 이런 문제를 해결하고자 많은 시도가 이루어지고 있지만 계산 비용이 많고 특별한 가정에 의존한다. 본 논문에서는 자율주행 도메인에 불확실성 순차 모델링이라는 방법을 도입하여 비효율성, 불안정성, 불확실성을 모두 고려한 새로운 알고리즘 MCDT를 제안한다. 강화학습을 높은 보상을 얻기 위한 의사 결정 생성 문제로 바라보는 순차 모델링 방식은 기존 연구의 단점을 회피하고 효율성과 안정성을 보장하며, 여기에 불확실성 추정 기법을 융합해 안전성까지 고려한다. 제안 방법은 OpenAI Gym CarRacing 환경을 통해 실험하였고 실험 결과는 MCDT 알고리즘이 기존의 강화학습 방법에 비해 효율적이고 안정적이며 안전한 성능을 내는 것을 보인다.

A Python-based educational software tool for visualizing bioinformatics alignment algorithms

  • Elis Khatizah;Hee-Jo Nam;Hyun-Seok Park
    • Genomics & Informatics
    • /
    • 제21권1호
    • /
    • pp.15.1-15.4
    • /
    • 2023
  • Bioinformatics education can be defined as the teaching and learning of how to use software tools, along with mathematical and statistical analysis, to solve biological problems. Although many resources are available, most students still struggle to understand even the simplest sequence alignment algorithms. Applying visualizations to these topics benefits both lecturers and students. Unfortunately, educational software for visualizing step-by-step processes in the user experience of sequence alignment algorithms is rare. In this article, an educational visualization tool for biological sequence alignment is presented, and the source code is released in order to encourage the collaborative power of open-source software, with the expectation of further contributions from the community in the future. Two different modules are integrated to enable a student to investigate the characteristics of alignment algorithms.

An Efficient and Accurate Artificial Neural Network through Induced Learning Retardation and Pruning Training Methods Sequence

  • Bandibas, Joel;Kohyama, Kazunori;Wakita, Koji
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.429-431
    • /
    • 2003
  • The induced learning retardation method involves the temporary inhibition of the artificial neural network’s active units from participating in the error reduction process during training. This stimulates the less active units to contribute significantly to reduce the network error. However, some less active units are not sensitive to stimulation making them almost useless. The network can then be pruned by removing the less active units to make it smaller and more efficient. This study focuses on making the network more efficient and accurate by developing the induced learning retardation and pruning sequence training method. The developed procedure results to faster learning and more accurate artificial neural network for satellite image classification.

  • PDF

딥러닝과 Maximal Marginal Relevance를 이용한 2단계 문서 요약 (Two-step Document Summarization using Deep Learning and Maximal Marginal Relevance)

  • 전재원;황현선;이창기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.297-300
    • /
    • 2019
  • 문서 요약은 길이가 긴 원본 문서의 의미는 유지한 채 원본보다 짧은 문서나 문장을 생성하는 자연어 처리 태스크이다. 본 논문에서는 Maximal Marginal Relevance(MMR)를 이용한 sequence-to-sequence 문장 추출 모델을 이용하여 의미가 중복되는 문장을 최소화하는 문장을 추출하고 추출된 문장을 sequence-to-sequence 모델을 통해 요약문을 생성하는 2단계 문서 요약 모델을 제안한다. 실험 결과 MMR을 활용하지 않았던 기존의 방법론보다 Rouge 성능이 향상되었다.

  • PDF

보편적 학습 설계에 근거한 영어과 디지털 교과서 개선 방안 (Prospective Changes of English Digital Textbook Based on the Universal Design for Learning)

  • 김정렬
    • 한국콘텐츠학회논문지
    • /
    • 제15권7호
    • /
    • pp.674-683
    • /
    • 2015
  • 본 연구의 목적은 보편적 학습 설계 준거를 제시하고 이 준거를 활용하여 현재 실험학교에서 운용되고 있는 영어과 디지털교과서를 분석함에 있다. 보편적 학습 설계 준거를 기준으로 디지털 교과서가 학년과 학급급간에 의사소통기능별로 어떠한 양상을 보이고 있는지를 분석하여 디지털 교과서의 개선 방향을 모색하고자 한다. 디지털 교과서의 분석 결과를 살펴보면 우선 학습자들 중에 언어적 적성이 있는 학생들에게 친화적인 환경으로 구성되어 있고 다른 적성의 학생들은 불리하게 구성되어 있어서 이를 보완할 필요가 있다. 어휘의 계열성은 학년이 올라감에 따라서 적절하게 복잡도가 증가하고 있으나 통사적 복잡성은 중학교에서 갑자기 문장당 어휘수가 급격하게 올라가면서 보편적 학습 설계 준거를 만족시키지 못하고 있어서 이에 대한 보완이 시급하다. 서책형 교과서와 달리 디지털 교과서는 멀티미디어 자원의 통합이 용이하고 볼륨의 제한을 받지 않기 때문에 근본적으로 디지털 교과서를 구성할 때에 이를 사용하는 학습자들이 가진 언어적 적성 외에 다양한 적성을 고려할 필요가 있다.

3차원 탄성파자료의 층서구분을 위한 패치기반 기계학습 방법의 개선 (Improvements in Patch-Based Machine Learning for Analyzing Three-Dimensional Seismic Sequence Data)

  • 이동욱;문혜진;김충호;문성훈;이수환;주형태
    • 지구물리와물리탐사
    • /
    • 제25권2호
    • /
    • pp.59-70
    • /
    • 2022
  • 최근의 연구들을 통해 기계학습은 탄성파 해석 분야에 그 적용 범위를 확장하고 있으며, 탄성파 해석에서 중요한 탄성파 층서 구분을 수행하는 합성곱 신경망들의 개발도 수행되었다. 하지만 지도 학습의 경우 대량의 학습 자료가 필요하며, 비용과 시간의 한계로 탄성파 층서구분의 지도학습은 학습 자료의 부족이 문제가 될 수 있다. 이번 연구에서는 자료 부족 문제를 보완하기위해 탄성파 단면에 패치 분할과 자료증강을 적용하였다. 또한 패치 분할로 손실될 수 있는 공간정보를 제공하기 위해 깊이를 고려할 수 있는 인공 채널을 생성하여 추가하였다. 실험을 위한 학습 모델로 U-Net을 사용하였으며, 층서 구분을 위한 학습 자료가 제공되는 F3 block 자료를 이용하여 학습과 예측 결과에 대한 평가를 수행하였다. 분석 결과 자료증강과 인공 채널의 추가로 패치 기반의 층서 구분 학습 모델을 개선할 수 있음을 확인하였다.

Survey on Nucleotide Encoding Techniques and SVM Kernel Design for Human Splice Site Prediction

  • Bari, A.T.M. Golam;Reaz, Mst. Rokeya;Choi, Ho-Jin;Jeong, Byeong-Soo
    • Interdisciplinary Bio Central
    • /
    • 제4권4호
    • /
    • pp.14.1-14.6
    • /
    • 2012
  • Splice site prediction in DNA sequence is a basic search problem for finding exon/intron and intron/exon boundaries. Removing introns and then joining the exons together forms the mRNA sequence. These sequences are the input of the translation process. It is a necessary step in the central dogma of molecular biology. The main task of splice site prediction is to find out the exact GT and AG ended sequences. Then it identifies the true and false GT and AG ended sequences among those candidate sequences. In this paper, we survey research works on splice site prediction based on support vector machine (SVM). The basic difference between these research works is nucleotide encoding technique and SVM kernel selection. Some methods encode the DNA sequence in a sparse way whereas others encode in a probabilistic manner. The encoded sequences serve as input of SVM. The task of SVM is to classify them using its learning model. The accuracy of classification largely depends on the proper kernel selection for sequence data as well as a selection of kernel parameter. We observe each encoding technique and classify them according to their similarity. Then we discuss about kernel and their parameter selection. Our survey paper provides a basic understanding of encoding approaches and proper kernel selection of SVM for splice site prediction.