• Title/Summary/Keyword: 임베딩 기법

Search Result 134, Processing Time 0.022 seconds

Temporal Relationship Extraction for Natural Language Texts by Using Deep Bidirectional Language Model (양방향 언어 모델을 활용한 자연어 텍스트의 시간 관계정보 추출 기법)

  • Lim, Chae-Gyun;Choi, Ho-Jin
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.81-84
    • /
    • 2019
  • 자연어 문장으로 작성된 문서들에는 대체적으로 시간에 관련된 정보가 포함되어 있을 뿐만 아니라, 문서의 전체 내용과 문맥을 이해하기 위해서 이러한 정보를 정확하게 인식하는 것이 중요하다. 주어진 문서 내에서 시간 정보를 발견하기 위한 작업으로는 시간적인 표현(time expression) 자체를 인식하거나, 시간 표현과 연관성이 있는 사건(event)을 찾거나, 시간 표현 또는 사건 간에서 발생하는 시간적 연관 관계(temporal relationship)를 추출하는 것이 있다. 문서에 사용된 언어에 따라 고유한 언어적 특성이 다르기 때문에, 만약 시간 정보에 대한 관계성을 고려하지 않는다면 주어진 문장들로부터 모든 시간 정보를 추출해내는 것은 상당히 어려운 일이다. 본 논문에서는, 양방향 구조로 학습된 심층 신경망 기반 언어 모델을 활용하여 한국어 입력문장들로부터 시간 정보를 발견하는 작업 중 하나인 시간 관계정보를 추출하는 기법을 제안한다. 이 기법은 주어진 단일 문장을 개별 단어 토큰들로 분리하여 임베딩 벡터로 변환하며, 각 토큰들의 잠재적 정보를 고려하여 문장 내에 어떤 유형의 시간 관계정보가 존재하는지를 인식하도록 학습시킨다. 또한, 한국어 시간 정보 주석 말뭉치를 활용한 실험을 수행하여 제안 기법의 시간 관계정보 인식 정확도를 확인한다.

  • PDF

Detection of System Abnormal State by Cyber Attack (사이버 공격에 의한 시스템 이상상태 탐지 기법)

  • Yoon, Yeo-jeong;Jung, You-jin
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.29 no.5
    • /
    • pp.1027-1037
    • /
    • 2019
  • Conventional cyber-attack detection solutions are generally based on signature-based or malicious behavior analysis so that have had difficulty in detecting unknown method-based attacks. Since the various information occurring all the time reflects the state of the system, by modeling it in a steady state and detecting an abnormal state, an unknown attack can be detected. Since a variety of system information occurs in a string form, word embedding, ie, techniques for converting strings into vectors preserving their order and semantics, can be used for modeling and detection. Novelty Detection, which is a technique for detecting a small number of abnormal data in a plurality of normal data, can be performed in order to detect an abnormal condition. This paper proposes a method to detect system anomaly by cyber attack using embedding and novelty detection.

Out-of-Scope Intent Detection Method using T5-based Sentence Embedding and Temperature Scaling (T5-기반 문장임베딩과 템퍼러처 스케일링 기법을 사용한 범위 외 의도 탐지 기법)

  • Myunghoon Lee;Eunyoung Song;Hyunyoung Lee;Jihui Im
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.521-525
    • /
    • 2022
  • 사용자와 상호작용하는 대화시스템에서 사용자의 의도를 이해하기 위한 의도 분류는 중요한 역할을 한다. 하지만, 실제 대화시스템에서는 범위 내의 의도를 가진 발화 뿐만 아니라 범위 외의 의도를 가진 발화에 대한 인식도 중요하다. 본 논문에서는 기존에 사용되던 인코더 기반의 모델이 아닌 인코더-디코더 구조를 가지는 T5 모델을 활용하여 의도 분류 실험을 진행하였다. 또한, (K+1)-way 의도 탐지 방식이 아닌 Kway의 방식에 템퍼러처 스케일링 기법을 적용하여 범위 외 의도 발화 데이터 구축과 재학습이 필요 없는 확장성 있는 범위 외 의도 탐지 방법을 제안하였다. 범위 내 의도 분류 실험 결과 인코더-디코더 구조의 T5 모델이 인코더 구조의 모델에 비해 높은 성능을 보이며, 흔히 생성 태스크에서 활용되던 모델의 분류 태스크로의 확장 가능성을 확인하였다. 또한, 범위 외 의도 탐지 실험 결과에서는 T5 모델이 인코더 구조의 모델인 RoBERTa 보다 범위 외 탐지 재현율이 14.2%p 이상의 높은 성능을 기록하여 인코더-디코더 구조를 활용한 모델이 인코더 구조를 활용한 모델보다 범위 외 의도 탐지에 강건함을 확인하였다.

  • PDF

Graph Neural Network and Reinforcement Learning based Optimal VNE Method in 5G and B5G Networks (5G 및 B5G 네트워크에서 그래프 신경망 및 강화학습 기반 최적의 VNE 기법)

  • Seok-Woo Park;Kang-Hyun Moon;Kyung-Taek Chung;In-Ho Ra
    • Smart Media Journal
    • /
    • v.12 no.11
    • /
    • pp.113-124
    • /
    • 2023
  • With the advent of 5G and B5G (Beyond 5G) networks, network virtualization technology that can overcome the limitations of existing networks is attracting attention. The purpose of network virtualization is to provide solutions for efficient network resource utilization and various services. Existing heuristic-based VNE (Virtual Network Embedding) techniques have been studied, but the flexibility is limited. Therefore, in this paper, we propose a GNN-based network slicing classification scheme to meet various service requirements and a RL-based VNE scheme for optimal resource allocation. The proposed method performs optimal VNE using an Actor-Critic network. Finally, to evaluate the performance of the proposed technique, we compare it with Node Rank, MCST-VNE, and GCN-VNE techniques. Through performance analysis, it was shown that the GNN and RL-based VNE techniques are better than the existing techniques in terms of acceptance rate and resource efficiency.

Improved Sensor Filtering Method for Sensor Registry System (센서 레지스트리 시스템을 위한 개선된 센서 필터링 기법)

  • Chen, Haotian;Jung, Hyunjun;Lee, Sukhoon;On, Byung-Won;Jeong, Dongwon
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.1
    • /
    • pp.7-14
    • /
    • 2022
  • Sensor Registry System (SRS) has been devised for maintaining semantic interoperability of data on heterogeneous sensor networks. SRS measures the connectability of the mobile device to ambient sensors based on positions and only provides metadata of sensors that may be successfully connected. The step of identifying the ambient sensors which can be successfully connected is called sensor filtering. Improving the performance of sensor filtering is one of the core issues of SRS research. In reality, GPS sometimes shows the wrong position and thus leads to failed sensor filtering. Therefore, this paper proposes a new sensor filtering strategy using geographical embedding and neural network-based path prediction. This paper also evaluates the service provision rate with the Monte Carlo approach. The empirical study shows that the proposed method can compensate for position abnormalities and is an effective model for sensor filtering in SRS.

A Korean Multi-speaker Text-to-Speech System Using d-vector (d-vector를 이용한 한국어 다화자 TTS 시스템)

  • Kim, Kwang Hyeon;Kwon, Chul Hong
    • The Journal of the Convergence on Culture Technology
    • /
    • v.8 no.3
    • /
    • pp.469-475
    • /
    • 2022
  • To train the model of the deep learning-based single-speaker TTS system, a speech DB of tens of hours and a lot of training time are required. This is an inefficient method in terms of time and cost to train multi-speaker or personalized TTS models. The voice cloning method uses a speaker encoder model to make the TTS model of a new speaker. Through the trained speaker encoder model, a speaker embedding vector representing the timbre of the new speaker is created from the small speech data of the new speaker that is not used for training. In this paper, we propose a multi-speaker TTS system to which voice cloning is applied. The proposed TTS system consists of a speaker encoder, synthesizer and vocoder. The speaker encoder applies the d-vector technique used in the speaker recognition field. The timbre of the new speaker is expressed by adding the d-vector derived from the trained speaker encoder as an input to the synthesizer. It can be seen that the performance of the proposed TTS system is excellent from the experimental results derived by the MOS and timbre similarity listening tests.

Korean Sentence Classification System Using GloVe and Maximum Entropy Model (GloVe와 최대 엔트로피 모델을 이용한 한국어 문장 분류 시스템)

  • Park, IlNam;Choi, DongHyun;Shin, MyeongCheol;Kim, EungGyun
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.522-526
    • /
    • 2018
  • 본 연구는 수많은 챗봇이 생성될 수 있는 챗봇 빌더 시스템에서 저비용 컴퓨팅 파워에서도 구동 가능한 가벼운 문장 분류 시스템을 제안하며, 미등록어 처리를 위해 워드 임베딩 기법인 GloVe를 이용하여 문장 벡터를 생성하고 이를 추가 자질로 사용하는 방법을 소개한다. 제안한 방법으로 자체 구축한 테스트 말뭉치를 이용하여 성능을 평가해본 결과 최대 93.06% 성능을 보였으며, 자체 보유한 CNN 모델과의 비교 평가 결과 성능은 2.5% 낮지만, 모델 학습 속도는 25배, 학습 시 메모리 사용량은 6배, 생성된 모델 파일 크기는 302배나 효율성 있음을 보였다.

  • PDF

Hierarchical attention based CNN-RNN networks for The Korean Speech-Act Analysis (계층 구조 어텐션 매커니즘에 기반한 CNN-RNN을 이용한 한국어 화행 분석 시스템)

  • Seo, Minyeong;Hong, Taesuk;Kim, Juae;Ko, Youngjoong;Seo, Jungyun
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.243-246
    • /
    • 2018
  • 최근 사용자 발화를 이해하고 그에 맞는 피드백을 생성할 수 있는 대화 시스템의 중요성이 증가하고 있다. 따라서 사용자 의도를 파악하기 위한 화행 분석은 대화 시스템의 필수적인 요소이다. 최근 많이 연구되는 심층 학습 기법은 모델이 데이터로부터 자질들을 스스로 추출한다는 장점이 있다. 발화 자체의 연속성과 화자간 상호 작용을 포착하기 위하여 CNN에 RNN을 결합한 CNN-RNN을 제안한다. 본 논문에서 제안한 계층 구조 어텐션 매커니즘 기반 CNN-RNN을 효과적으로 적용한 결과 워드 임베딩을 추가한 조건에서 가장 높은 성능인 91.72% 정확도를 얻었다.

  • PDF

A study of text embedding technique for issuing digital Certificate (증명서의 온라인 발급을 위한 텍스트 임베딩기법에 관한 연구)

  • 최기철;최종욱
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2000.11a
    • /
    • pp.267-275
    • /
    • 2000
  • 최근 전자상거래가 활성화되면서, 거래 인증서와 같은 온라인 증명서가 광범위하게 사용되고 있다. 그리고 증명서의 위/변조기술이 발전함에 따라서 온라인 거래에 사용되는 증명서의 인증과 위조/변조를 방지하는 기술이 필요하게 되었다. 본 연구는 증명서의 인증에 필요한 기술로서, 메시지 인증함수가 가지는 성질을 포함하고 있다. 본 연구에서 개발한 알고리즘은 증명서에 포함된 텍스트문서가 위조/변조되었을 경우 그 변동 상황을 알아내며, 부정적으로 위조/변조된 부분을 검출하며, 변동상황 검출과 함께 원 증명서의 문서를 복원할 수 있는 기술이다. 만일 이 증명서에 대하여 변동이 진행된 흔적이 발견될 경우, 증명서를 인증하지 않으며, 삽입한 텍스트 데이터를 추출하고 변동을 확인하는 것과 함께 필요한 정보를 복원한다. 본 논문의 시험결과에 근거하면 256$\times$256BMP file Format 이미지에 3만2천자 정도의 텍스트문서를 삽입할 수 있었다.

  • PDF

Fake news detection using deep learning (딥러닝 기법을 이용한 가짜뉴스 탐지)

  • Lee, Dong-Ho;Lee, Jung-Hoon;Kim, Yu-Ri;Kim, Hyeong-Jun;Park, Seung-Myun;Yang, Yu-Jun;Shin, Woong-Bi
    • Annual Conference of KIPS
    • /
    • 2018.05a
    • /
    • pp.384-387
    • /
    • 2018
  • SNS가 급속도로 확산되며 거짓 정보를 언론으로 위장한 형태인 가짜뉴스는 큰 사회적 문제가 되었다. 본 논문에서는 이를 해결하기 위해 한글 가짜뉴스 탐지를 위한 딥러닝 모델을 제시한다. 기존 연구들은 영어에 적합한 모델들을 제시하고 있으나, 한글은 같은 의미라도 더 짧은 문장으로 표현 가능해 딥러닝을 하기 위한 특징수가 부족하여 깊은 신경망을 운용하기 어렵다는 점과, 형태소 중의성으로 인한 의미 분석의 어려움으로 인해 기존 오델들을 적용하기에는 한계가 있다. 이를 해결하기 위해 얕은 CNN 모델과 음절 단위로 학습된 단어 임베딩 모델인 'Fasttext'를 활용하여 시스템을 구현하고, 이를 학습시켜 검증하였다.