• 제목/요약/키워드: Auto-Encoder

검색결과 125건 처리시간 0.02초

종단 간 심층 신경망을 이용한 한국어 문장 자동 띄어쓰기 (Automatic Word Spacing of the Korean Sentences by Using End-to-End Deep Neural Network)

  • 이현영;강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권11호
    • /
    • pp.441-448
    • /
    • 2019
  • 기존의 자동 띄어쓰기 연구는 n-gram 기반의 통계적인 기법을 이용하거나 형태소 분석기를 이용하여 어절 경계면에 공백을 삽입하는 방법으로 띄어쓰기 오류를 수정한다. 본 논문에서는 심층 신경망을 이용한 종단 간(end-to-end) 한국어 문장 자동 띄어쓰기 시스템을 제안한다. 자동 띄어쓰기 문제를 어절 단위가 아닌 음절 단위 태그 분류 문제로 정의하고 음절 unigram 임베딩과 양방향 LSTM Encoder로 문장 음절간의 양방향 의존 관계 정보를 고정된 길이의 문맥 자질 벡터로 연속적인 벡터 공간에 표현한다. 그리고 새로이 표현한 문맥 자질 벡터를 자동 띄어쓰기 태그(B 또는 I)로 분류한 후 B 태그 앞에 공백을 삽입하는 방법으로 한국어 문장의 자동 띄어쓰기를 수행하였다. 자동 띄어쓰기 태그 분류를 위해 전방향 신경망, 신경망 언어 모델, 그리고 선형 체인 CRF의 세 가지 방법의 분류 망에 따라 세 가지 심층 신경망 모델을 구성하고 종단 간 한국어 자동 띄어쓰기 시스템의 성능을 비교하였다. 세 가지 심층 신경망 모델에서 분류 망으로 선형체인 CRF를 이용한 심층 신경망 모델이 더 우수함을 보였다. 학습 및 테스트 말뭉치로는 최근에 구축된 대용량 한국어 원시 말뭉치로 KCC150을 사용하였다.

A research on the possibility of restoring cultural assets of artificial intelligence through the application of artificial neural networks to roof tile(Wadang)

  • Kim, JunO;Lee, Byong-Kwon
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권1호
    • /
    • pp.19-26
    • /
    • 2021
  • 역사적 지역에서 발굴되는 문화재는 시대적 배경을 바탕으로 고유의 특징을 가지고 있으며, 역사와 전파 지역의 흐름에 따라 그 문양과 특징이 조금씩 변화하는 것을 볼 수 있다. 어떤 지역에서 발굴된 문화재는 그 당시의 문화를 대표하며 온전한 모습을 유지하는 것도 있지만, 대부분이 파손/손실되거나 일부분으로 나누어져 그 구성을 연구하고 파손된 부분을 복구하기 위해 많은 전문가가 동원된다. 이 연구의 목적은 이러한 복원연구에 인공지능 신경망을 통해 과거의 문양과 패턴들을 학습시키고, 출토된 문화재에서 손실된 부분을 복원시키는 데 있으며, 문화재를 복원하기 위해 기본적인 생성적 적대 신경망인 GAN(Generative Adversarial Network)[1]을 사용한다. 연구에서는 GAN을 기반으로 출토된 문화재 일부를 기반으로 하여 손상/손실된 나머지 부분을 복구한 연구 과정으로, 학습에 기반이 되는 온전한 문화재의 이미지로 훈련을 하고, 일부를 마음대로 손상해 복구할 수 있도록 했다. 연구는 문화재 복구에 있어, 시대적 특징을 어느 정도 복구하는지, 색상과 재질을 복구하는지에 중점을 두고 있다. 마지막으로는 실제 출토된 비슷한 문화재를 기반으로 훈련된 신경망을 사용하여 문양을 복구함으로써 인공신경망의 적용 범위를 연구한다.

오토인코더 기반의 IoT 연계 처리를 통한 IoT 데이터 신뢰 기법 (IoT data trust techniques based on auto-encoder through IoT-linked processing)

  • 연용호;정윤수
    • 디지털융복합연구
    • /
    • 제19권11호
    • /
    • pp.351-357
    • /
    • 2021
  • 분산 환경에서 다양하게 사용되고 있는 IoT 장치는 의료·환경·교통·바이오·공공장소 등 사용 분야가 다양해지면서 IoT 장치에서 송·수신되는 데이터의 중요도가 점점 증가하고 있다. 본 논문에서는 IoT 데이터의 신뢰성을 보장하기 위한 방법으로 수 많은 데이터들을 다양한 중요 속성별로 분류·처리하도록 오토인코더 기반의 IoT 연계 처리 기법을 제안한다. 제안 기법은 오토인코더 기반의 IoT 연계 처리를 위해서 IoT 데이터를 특성별로 블록체인으로 묶어 처리하도록 IoT 데이터별로 상관관계 지수를 사용한다. 제안 기법은 IoT 데이터의 신뢰성을 보장하기 위해서 상관관계 지수에 적용된 블록체인 기반의 n-계층 구조로 확장 운영한다. 또한, 제안 기법은 IoT 데이터의 상관관계 지수에 따라 IoT 수집 데이터에 가중치를 적용하여 IoT 데이터를 선택할 수 있을 뿐만 아니라 실시간으로 IoT 데이터의 무결성을 검증하는 비용을 낮출 수 있다. 제안 기법은 n-계층 구조로 IoT 데이터를 확장할 수 있도록 IoT 데이터의 처리 비용을 유지한다.

오토인코더 기반의 외부망 적대적 사이버 활동 징후 감지 (Detection of Signs of Hostile Cyber Activity against External Networks based on Autoencoder)

  • 박한솔;김국진;정재영;장지수;윤재필;신동규
    • 인터넷정보학회논문지
    • /
    • 제23권6호
    • /
    • pp.39-48
    • /
    • 2022
  • 전 세계적으로 사이버 공격은 계속 증가해 왔으며 그 피해는 정부 시설을 넘어 민간인들에게 영향을 미치고 있다. 이러한 문제로 사이버 이상징후를 조기에 식별하여 탐지할 수 있는 시스템 개발의 중요성이 강조되었다. 위와 같이, 사이버 이상징후를 효과적으로 식별하기 위해 BGP(Border Gateway Protocol) 데이터를 머신러닝 모델을 통해 학습하고, 이를 이상징후로 식별하는 여러 연구가 진행되었다. 그러나 BGP 데이터는 이상 데이터가 정상 데이터보다 적은 불균형 데이터(Imbalanced data)이다. 이는, 모델에 학습이 편향된 결과를 가지게 되어 결과에 대한 신뢰성을 감소시킨다. 또한, 실제 사이버 상황에서 보안 담당자들이 머신러닝의 정형적인 결과로 사이버 상황을 인식시킬 수 없는 한계도 존재한다. 따라서 본 논문에서는 전 세계 네트워크 기록을 보관하는 BGP(Border Gateway Protocol)를 조사하고, SMOTE(Synthetic Minority Over-sampling Technique) 활용해 불균형 데이터 문제를 해결한다. 그 후, 사이버 공방(Cyber Range) 상황을 가정하여, 오토인코더를 통해 사이버 이상징후 분류하고 분류된 데이터를 가시화한다. 머신러닝 모델인 오토인코더는 정상 데이터의 패턴을 학습시켜 이상 데이터를 분류하는 성능을 92.4%의 정확도를 도출했고 보조 지표도 90%의 성능을 보여 결과에 대한 신뢰성을 확보한다. 또한, 혼잡한 사이버 공간을 가시화하여 효율적으로 상황을 인식할 수 있기에 사이버 공격에 효과적으로 방어할 수 있다고 전망된다.

변이형 오토인코더와 어텐션 메커니즘을 결합한 차트기반 주가 예측 (Chart-based Stock Price Prediction by Combing Variation Autoencoder and Attention Mechanisms)

  • 배상현;최병구
    • 경영정보학연구
    • /
    • 제23권1호
    • /
    • pp.23-43
    • /
    • 2021
  • 최근 인공지능 기법을 활용하여 캔들스틱 차트를 분석함으로써 주식가격 예측의 정확성을 높이고자 하는 다양한 연구가 진행되어 왔다. 그러나 이러한 연구들은 주식가격 예측을 위한 학습에 있어 캔들스틱 차트의 시계열적 특성을 고려하지 못한다는 점과 시장 참여자들의 감정 상태를 고려하지 못한다는 점 등이 문제로 지적되고 있다. 본 연구에서는 시장 참여자들의 감정상태를 반영하기 위해 변동성지수(VIX: volatility index) 차트를 캔들스틱 차트와 함께 고려하여 학습시키고 이를 변이형 오토인코더(VAE: variational auto encoder)와 어텐션 메커니즘(attention mechanisms)을 결합한 새로운 방법으로 분석하여 캔들스틱 차트의 시계열적 특성을 고려함으로써 기존 연구의 한계를 극복하고자 한다. 본 연구에서 제안한 방법의 성능 비교를 위해 S&P 500 기업 가운데 50개를 임의로 추출하여 제안한 방법을 통해 이들의 주식가격을 예측하고 이를 합성곱 신경망(CNN: convolutional neural network) 또는 장단기메모리(LSTM: long-short term memory) 등과 같은 기존 방법들과 비교하였다. 비교 결과 기존 방법들에 비해 본 연구에서 제안한 방법이 더 우수한 성능을 보이는 것으로 나타났다. 본 연구는 시장 참여자들의 감정 상태와 캔들스틱 차트의 시계열적 특성을 고려함으로써 주식 가격 예측의 정확성을 높였다는 점에서 그 의의가 있다.