정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)

  • 제22권12호
  • /
  • Pages.625-631
  • /
  • 2016
  • /
  • 2383-6318(pISSN)
  • /
  • 2383-6326(eISSN)
한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지
DOI QR코드

DOI QR Code

스킵 포인팅 모델 기반 포인터 네트워크

Pointer Networks based on Skip Pointing Model

  • 박천음 (강원대학교 컴퓨터과학과) ;
  • 이창기 (강원대학교 컴퓨터과학과)
  • 투고 : 2016.07.25
  • 심사 : 2016.10.07
  • 발행 : 2016.12.15
⟨ 이전 논문 다음 논문 ⟩

초록

포인터 네트워크는 어텐션 메커니즘(Attention mechanism)을 기반으로 입력열에 대응되는 위치를 결과 리스트로 출력하는 모델이다. 포인터 네트워크를 수행할 때 입력열의 크기를 N이라고 하면, 각 입력에 대한 어텐션(attention)을 계산하기 때문에 시간복잡도는 $O(N^2)$이 되어 디코딩 시간이 길어진다. 이에 따라, 본 논문에서는 포인터 네트워크의 디코딩 시간을 줄이기 위하여 디코딩 시에 필요한 입력 정보만을 확인하는 스킵 포인팅 모델 기반 포인터 네트워크를 제안한다. 본 논문에서 제안한 방법을 이용하여 대명사 상호참조해결에 대한 실험을 수행한 결과, 일반 포인터 네트워크에 비하여 문장당 처리 시간이 약 1.15배 빠른 속도와, MUC F1 값이 약 2.17% 향상된 83.60%의 성능을 보였다.

Pointer Networks is a model which generates an output sequence with elements that correspond to an input sequence, based on the attention mechanism. A time complexity of the pointer networks is $O(N^2)$ resulting in longer decoding time of the model. This is because the model calculates attention for each input, if size of the input sequence is N. In this paper, we propose the pointer networks based on skip pointing model, which confirms the necessary input vector at decoding for reducing the decoding time of the pointer networks. Furthermore, experiments were conducted for the pronouns coreference resolution, which uses the method proposed in this paper. Our results show that the processing time per sentence was approximately 1.15 times faster, and the MUC F1 was 83.60%; this was approximately 2.17% improvement and a better performance than the original pointer networks.

키워드

과제정보

연구 과제번호 : 휴먼 지식증강 서비스를 위한 지능진화형 WiseQA 플랫폼 기술 개발

연구 과제 주관 기관 : 정보통신기술진흥센터

참고문헌

  1. G. E. Hinton, et al., "Improving neural networks by preventing co-adaptation of feature detectors," CoRR, abs/1207.0580, 2012.
  2. C. Lee, "Named Entity Recognition using Long Short-Term Memory Based Recurrent Neural Network," Proc. of the KIISE Korea Computer Congress 2015, pp. 645-647, 2015. (in Korean)
  3. J. Bae, C. Lee, and S. Lim, "Korean Semantic Role Labeling using Backward LSTM CRF," Proc. of the KIISE for HCLT (2015), pp. 194-197, 2015. (in Korean)
  4. C. Park, C. Lee, "Mention Detection using Bidirectional LSTM-CRF Model," Proc. of the KIISE for HCLT (2015), pp. 224-227, 2015. (in Korean)
  5. Z. Huang, et al., Bidirectional LSTM-CRF models for sequence tagging, arXiv preprint arXiv: 1508.01991, 2015.
  6. K. Cho, et al., Learning phrase representation using RNN encoder-decoder for statistical machine translation, Proc. of EMNLP' 14, 2014.
  7. D. Bahdanau, et al., Neural machine translation by jointly learning to align and translate, Proc. of ICLR' 15, arXiv:1409.0473, 2015.
  8. O. Vinyals, et al., Pointer Networks. Advances in Neural Information Processing Systems, pp. 2674-2682, 2015.
  9. C. Park, G. H. Choi, and C. Lee, "Korean Coreference Resolution with Guided Mention Pair Model using the Deep Learning," Proc. of the KIISE Korea Computer Congress 2015, pp. 693-695, 2015. (in Korean)
  10. C. Park, C. Lee, "Coreference Resolution for Pronouns with Pointer Networks," Proc. of the KIISE Korea Computer Congress 2016, pp. 699-701, 2016. (in Korean)
  11. M. Vilain, et al., "A model-theoretic coreference scoring scheme," Proc. of the 6th conference on Message understanding. Association for Computational Linguistics, pp. 45-52, 1995.