Journal of the Korean Society for information Management (정보관리학회지)

Korean Society for Information Management (한국정보관리학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on the Integration of Recognition Technology for Scientific Core Entities

과학기술 핵심개체 인식기술 통합에 관한 연구

  • 최윤수 (한국과학기술정보연구원 정보기술연구실) ;
  • 정창후 (한국과학기술정보연구원 정보기술연구실) ;
  • 조현양 (경기대학교 문헌정보학과)
  • Received : 2011.02.17
  • Accepted : 2011.03.10
  • Published : 2011.03.30
Download PDF
⟨ Previous Next ⟩

Abstract

Large-scaled information extraction plays an important role in advanced information retrieval as well as question answering and summarization. Information extraction can be defined as a process of converting unstructured documents into formalized, tabular information, which consists of named-entity recognition, terminology extraction, coreference resolution and relation extraction. Since all the elementary technologies have been studied independently so far, it is not trivial to integrate all the necessary processes of information extraction due to the diversity of their input/output formation approaches and operating environments. As a result, it is difficult to handle scientific documents to extract both named-entities and technical terms at once. In order to extract these entities automatically from scientific documents at once, we developed a framework for scientific core entity extraction which embraces all the pivotal language processors, named-entity recognizer and terminology extractor.

대용량 문서에서 정보를 추출하는 작업은 정보검색 분야뿐 아니라 질의응답과 요약 분야에서 매우 유용하다. 정보추출은 비정형 데이터로부터 정형화된 정보를 자동으로 추출하는 작업으로서 개체명 인식, 전문용어 인식, 대용어 참조해소, 관계 추출 작업 등으로 구성된다. 이들 각각의 기술들은 지금까지 독립적으로 연구되어왔기 때문에, 구조적으로 상이한 입출력 방식을 가지며, 하부모듈인 언어처리 엔진들은 특성에 따라 개발 환경이 매우 다양하여 통합 활용이 어렵다. 과학기술문헌의 경우 개체명과 전문용어가 혼재되어 있는 형태로 구성된 문서가 많으므로, 기존의 연구결과를 이용하여 접근한다면 결과물 통합과정의 불편함과 처리속도에 많은 제약이 따른다. 본 연구에서는 과학기술문헌을 분석하여 개체명과 전문용어를 통합 추출할 수 있는 기반 프레임워크를 개발한다. 이를 위하여, 문장자동분리, 품사태깅, 기저구인식 등과 같은 기반 언어 분석 모듈은 물론 이를 활용한 개체명 인식기, 전문용어 인식기를 개발하고 이들을 하나의 플랫폼으로 통합한 과학기술 핵심개체 인식 체계를 제안한다.

Keywords

References

  1. 국립국어원. 2007. 전문용어 연구. 경기: 태학사.
  2. 김형철, 서형원, 김재훈, 최윤수. 2009. CRF를 이용한 대명사 참조해서 시스템. 한글 및 한국어 정보처리 학술대회 발표논문집, 21(1): 87-91.
  3. 오종훈, 최기선. 2006. 기계학습에 기반한 생의학 분야 전문용어의 자동인식. 정보과학회 논문지: 소프트웨어 및 응용, 33(8): 718-729.
  4. 이창기, 황이규, 오효정 등. 2006. Conditional Random Fields를 이용한 세부 분류 개체명 인식. 한국정보과학회 언어공학연구회 학술발표논문집, 18: 268-272.
  5. Ananiadou, S. and G. Nenadic. 2006. “Automatic terminology management in biomedicine.” Text Mining for Biology and Biomedicine, 67-97.
  6. Black, W. J. and A. Vasilakopoulos. 2002. “Language-independent named entity classification by modified transformation-based learning and by decision tree induction.” Proceedings of CoNLL 2002: 159-162.
  7. Carreras, X., L. Marques, and L. Padro. 2002. “Named entity extraction using Ada-Boost.” Proceedings of CoNLL 2002: 167-170.
  8. Chang, J. T., H. Schutze, and R. B. Altman. 2004. “GAPSCORE: Finding gene and protein names one word at a time.” Bioinformatics, 20(2): 216-225. https://doi.org/10.1093/bioinformatics/btg393
  9. Collins, M. 2002. “Ranking algorithms for named-entity extraction: boosting and the voted perceptron.” Proceedings of ACL 2002.
  10. CoNLL(Conference on Computational Natural Language Learning). [online]. [cited 2010.12.15]. ..
  11. CRF(Conditional Random Fields). [online]. [cited 2010.12.15]. .
  12. DARTS(Double-ARray Trie System). [online]. [cited 2010.12.15]. .
  13. Elsner, M. and E. Charniak. 2007. A Generative Discourse-New Model for Text Coherence. Tech Report CS-07-04.
  14. Extended Named Entity Hierarchy. [online]. [cited 2010.12.15]. .
  15. Grosz, B. J., A. K. Joshi, and S. Weinstein. 1995. “Centering: A framework for modeling the local coherence of discourse.” Computational Linguistics,12(2): 203-225.
  16. Lafferty, J., A. McCallum, and F. Pereira. 2001. “Conditional random fields: Probabilistic models for segmenting and labeling sequence data.” Proceedings of International Conference on Machine Learning, 282-289.
  17. LDC. 2008. ACE(Automatic Content Extraction) English Annotation Guidelines for Entities, ver 6.6, Linguistic Data Consortium.
  18. Marcus, M. P., B. Santorini, and M. A. Marcinkiewicz. 2004. “Building a large annotated corpus of English: The Penn Treebank.” Computational Linguistics, 19(2): 313- 330.
  19. Miller, G. A. 1995. “WordNet: A lexical database for English.” Communications of the ACM, 38(11): 39-41.
  20. MUC(Message Understanding System). [online]. [cited 2010.12.15]. .
  21. Penn Treebank(The Penn Treebank Project). [online]. [cited 2010.12.15]. .
  22. Sasaki, Y., S. Montemagni, P. Pezik, D. Rebholz-Schuhmann, J. McNaught. and S. Ananiadou. 2008. “BioLexicon: A lexical resource for the biology domain.” Proceedings of the Third International Symposium on Semantic Mining in Biomedicine.
  23. Sekine S.(2010) Personal Communications. [online]. [cited 2010.12.15]. .
  24. Tanabe, L. and W. J. Wilbur. 2002. “Tagging gene and protein names in biomedical text.” Bioinformatics, 18(8): 1124-1132. https://doi.org/10.1093/bioinformatics/18.8.1124
  25. The Gene Ontology Consortium. 2008. “The Gene ontology project in 2008.” Nucleic Acids Research, 36(Database issue): D440-D444.
  26. Tjong Kim Sang, E. F. 2002. “Memory-based shallow parsing.” Journal of Machine Learning Research, 2(March): 559-594.
  27. Watanabe, Y., M. Asahara, and Y. Matsumoto. 2007. “A Graph-based approach to named entity categorization in Wikipedia using conditional random fields.” Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 649-657.
  28. Weischedel, R., S. Pradhan, L. Ramshaw, T. Khleif, M. Palmer, N. Xue, M. Marcus, A. Taylor, C. Greenberg, E. Hovy, R. Belvin, and A. Hoston. 2007. OntoNotes Release 2.0, BBN Technologies.
  29. Zhang, J., D. Shen, G. Zhou, J. Su, and C. L. Tan. 2004. “Enhancing HMM-based biomedical named entity recognition by studying special phenomena.” Journal of Biomedical Informatics, 37(6): 411-422. https://doi.org/10.1016/j.jbi.2004.08.005
  30. Zhou, G., J. Zhang, J. Su, et al. 2004. “Recognizing names in biomedical texts: A machine learning approach.” Bioinformatics, 20(7): 1178-1190.

Cited by

  1. Trend Analysis of Technical Terms Using Term Life Cycle Modeling vol.18D, pp.6, 2011, https://doi.org/10.3745/KIPSTD.2011.18D.6.493