Journal of KIISE (정보과학회 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

A Model of Probabilistic Parsing Automata

확률파싱오토마타 모델

  • Received : 2016.08.25
  • Accepted : 2016.11.28
  • Published : 2017.03.15
⟨ Previous Next ⟩

Abstract

Probabilistic grammar is used in natural language processing, and the parse result of the grammar has to preserve the probability of the original grammar. As for the representative parsing method, LL parsing and LR parsing, the former preserves the probability information of the original grammar, but the latter does not. A characteristic of a probabilistic parsing automaton has been studied; but, currently, the generating model of probabilistic parsing automata has not been known. The paper provides a model of probabilistic parsing automata based on the single state parsing automata. The generated automaton preserves the probability of the original grammar, so it is not necessary to test whether or not the automaton is probabilistic parsing automaton; defining a probability function for the automaton is not required. Additionally, an efficient automaton can be constructed by choosing an appropriate parameter.

확률문법은 자연어처리에서 사용되며, 확률문법에 대한 구문분석의 결과인 파스는 문법의 확률을 그대로 보존해야 한다. 대표적인 구문분석방법인 LL 파싱과 LR 파싱의 확률파싱 가능성을 살펴볼 때 LL 파싱은 문법의 확률정보를 그대로 유지하는 반면에 LR 파싱은 그렇지 않다. 확률문법과 확률파싱오토마톤과의 관계에 관한 기존 연구로 확률보존조건을 충족하는 오토마톤의 특성에 관한 연구는 진행된 바 있다. 그렇지만, 현재로서는 확률보존조건을 충족하는 오토마톤 생성모델에 관해서는 알려진 바가 없다. 본 논문에서는 단일상태파싱오토마타에 기반한 확률파싱오토마타 모델을 제안한다. 제안 모델로부터 생성되는 오토마톤은 확률보존조건을 보장하기에 별도의 확률파싱 가능 여부를 테스팅하는 단계가 불필요하고, 별도의 확률 함수를 정의하지 않아도 된다. 또한 매개인자를 적절하게 선택하여 효율적인 오토마톤의 생성이 가능하다.

Keywords

Acknowledgement

Supported by : 한신대학교

References

  1. T. Briscoe, J. Carroll, "Generalized Probabilistic LR Parsing of Natural Language (corpora) with Unification-Based Grammars," Computational Linguistics, Vol. 19, No. 1, pp. 25-59, 1993.
  2. Kentaro Inui, Virach Sornlertlamvanich, Hozumi Tanaka, and Takenobu Tokunaga, "A New Formalization of Probabilistic GLR Parsing," Proc. of the 5th International Workshop on Parsing Technologies, pp. 123-134, 1997.
  3. Steven Abney, David McAllester, Fernando Pereira, "Relating Probabilistic Grammars and Automata," ACL '99 Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics on Computational Linguistics, pp. 542-549, 1999.
  4. M.-J. Nederhof and G. Satta, "Probabilistic Parsing Strategies," Proc. of the 42nd Annual Meeting of the Association for Computational Linguistics, Barcelona, Spain, pp. 543-550, Jul. 2004.
  5. M.-J. Nederhof and G. Satta, "Probabilistic Parsing Strategies," Journal of the ACM, Vol. 53, No. 3, pp. 406-436, 2006. https://doi.org/10.1145/1147954.1147959
  6. G.-O. Lee, "Constructing a Single State Parsing Automaton," Journal of KIISE: Software and Applications, Vol. 35, No. 11, pp. 701-705, 2008. (in Korean)
  7. G.-O. Lee, "Grammar Classes Generating Single State Parsing Automata," Journal of KIISE: Software and Applications, Vol. 41, No. 7, pp. 518-522, 2014. (in Korean)
  8. G.-O. Lee, "Application of Single-State Parsing Automata to LR Grammars," Journal of KIISE: Software and Applications, Vol. 43, No. 10, pp. 1079-1084, 2016. (in Korean) https://doi.org/10.5626/JOK.2016.43.10.1079
  9. A.V. Aho and J.D. Ullman, The Theory of Parsing, Translation and Compiling, Vols. 1 & 2, Prentice-Hall, Englewood Cliffs, NJ, 1972, 1973.
  10. S. Sippu and E. Soisalon-Soininen, Parsing Theory, Vols. I & II, Springer, Berlin, 1990.