Journal of the Korean Society for information Management (정보관리학회지)

Korean Society for Information Management (한국정보관리학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on Automatic Classification of Record Text Using Machine Learning

기계학습을 이용한 기록 텍스트 자동분류 사례 연구

  • 김해찬솔 (아카이브랩) ;
  • 안대진 (아카이브랩, 명지대학교 기록정보과학전문대학원) ;
  • 임진희 (정보인권연구소) ;
  • 이해영 (명지대학교 기록정보과학전문대학원)
  • Received : 2017.12.08
  • Accepted : 2017.12.27
  • Published : 2017.12.30
Download PDF
⟨ Previous Next ⟩

Abstract

Research on automatic classification of records and documents has been conducted for a long time. Recently, artificial intelligence technology has been developed to combine machine learning and deep learning. In this study, we first looked at the process of automatic classification of documents and learning method of artificial intelligence. We also discussed the necessity of applying artificial intelligence technology to records management using various cases of machine learning, especially supervised methods. And we conducted a test to automatically classify the public records of the Seoul metropolitan government into BRM using ETRI's Exobrain, based on supervised machine learning method. Through this, we have drawn up issues to be considered in each step in records management agencies to automatically classify the records into various classification schemes.

기록이나 문헌의 자동분류에 관한 연구는 오래 전부터 시작되었다. 최근에는 인공지능 기술이 발전하면서 기계학습이나 딥러닝을 접목한 연구로 발전되고 있다. 이 연구에서는 우선 문헌의 자동분류와 인공지능의 학습방식이 발전해 온 과정을 살펴보았다. 또 기계학습 중 특히 지도학습 방식의 특징과 다양한 사례를 통해 기록관리 분야에 인공지능 기술을 적용해야 할 필요성에 대해 알아보았다. 그리고 실제로 지도학습 방식으로 서울시의 결재문서를 ETRI의 엑소브레인을 통해 정부기능분류체계로 자동분류해 보았다. 이를 통해 기록을 다양한 방식의 분류체계로 자동분류하기 위한 각 과정의 고려사항을 도출하였다.

Keywords

Acknowledgement

Grant : 엑소브레인-1세부) 휴먼 지식증강 서비스를 위한 지능진화형 WiseQA 플랫폼 기술 개발

Supported by : 정보통신기술진흥센터

References

  1. 국가기록원 (2017). 2017년도 국가기록원 주요업무 참고집. (National Archives of Korea (2017). 2017 National Archives of Korea' manual for major duties.)
  2. 국립문화재연구소 (2017). 국립문화재연구소 ISP 보고서. (National Research Institute of Cultural Heritage (2017). National Research Institute of Cultural Heritage ISP report.)
  3. 김다해, 이지형 (2016). 문서 주제에 따른 문장 생성을 위한 LSTM 기반 언어 학습 모델. 한국컴퓨터정보학회 학술발표논문집, 24(2), 17-20. (Kim, Dahae, & Lee, Jee-Hyong (2016). LSTM based language model for topic-focused sentence generation. Proceedings of the Korean Society of Computer Information Conference, 24(2), 17-20.)
  4. 김인택, 안대진, 이해영 (2017). 인공지능을 활용한 지능형 기록관리 방안. 한국기록관리학회지, 17(4), 225-250. http://dx.doi.org/10.14404/JKSARM.2017.17.4.225 (Kim, Intaek, An, Dae-Jin, & Rieh, Hae-young (2017). Intelligent records and archives management that applies artificial intelligence. Journal of Korean Society of Archives and Records Management, 17(4), 225-250. http://doi.org/10.14404/JKSARM.2017.17.4.225)
  5. 김현기, 허정, 임수종, 이형직, 이충희 (2017). 엑소브레인 한국어 분석 및 질의응답 기술의 개발 현황 및 고도화 계획. 정보과학회지, 35(8), 51-56. (Kim, Hyun-Ki, Hur, Jeong, Lim, Soo-Jong, Lee, Hyung-Jik, & Lee, Chung-Hee (2017). Development status and upgrade plan of Korean analysis and question answering technology in Exobrain software. Communications of the Korean Institute of Information Scientists and Engineers, 35(8), 51-56.)
  6. 나승훈, 민진우 (2016). 문자 기반 LSTM CRF를 이용한 개체명 인식. 한국정보과학회 학술발표논문집, 729-731. (Na, Seung-Hoon, & Min, Jinwoo (2016). Character-based LSTM CRFs for named entity recognition. Proceedings of Korean Institute of Information Scientists and Engineers, 729-731.)
  7. 남은경, 안혜림, 송민 (2013). 공공사이트 게시판 자료의 기록관리를 위한 자동분류 시스템. 제20회 한국정보관리학회 학술대회 논문집, 175-178. (Nam, Eunkyung, Ahn, Hye-Rim, & Song, Min (2013). Automatic classification system for record management of bulletin board on public website. Proceedings of 20th Conference of Korean Society for Information Management, 175-178.)
  8. 박찬정, 성동수, 이건배 (2012). 기계 학습을 이용한 특허 문서의 자동 IPC 분류. 한국정보기술학회논문지, 10(4), 119-128. (Park, Chanjeong, Seong, Dongsu, & Lee, Keonbae (2012). Automatic IPC classification for patent documents using machine learning. The Journal of Korean Institute of Information Technology, 10(4), 119-128.)
  9. 방재현 (2014). 기록 보유목록 관리 방법 및 장치. KR101672522B1. Retrieved from https://patents.google.com/patent/KR101672522B1/ko?assignee=%EC%A3%BC%EC%8B%9D%ED%9A%8C%EC%82%AC+%EC%8A%A4%ED%86%A0%EB%A6%AC%EC%95%88%ED%8A%B8 (Bang, Jae Hyun (2014). Method and apparatus for managing record retention lists. KR101672522B1. Retrieved from https://patents.google.com/patent/KR101672522B1/ko?assignee=%EC%A3%BC%EC%8B%9D%ED%9A%8C%EC%82%AC+%EC%8A%A4%ED%86%A0%EB%A6%AC%EC%95%88%ED%8A%B8)
  10. 방재현 (2015). 기계학습 기반 지능형 기록물 공개관리 시스템. KR101627750B1. Retrieved form https://patents.google.com/patent/KR101627550B1/ko (Bang, Jae Hyun (2015). Intelligent documentary disclosure management system based on machine learning. KR101627750B1. Retrieved form https://patents.google.com/patent/KR101627550B1/ko)
  11. 송성전, 정영미 (2012). 용어의 문맥활용을 통한 문헌 자동분류의 성능 향상에 관한 연구. 정보관리학회지, 29(2), 205-224. http://doi.org/10.3743/KOSIM.2012.29.2.205 (Song, Sung-Jeon, & Chung, Young-Mee (2012). A study on improving the performance of document classification using the context of terms. Journal of the Korean Society for Information Management, 29(2), 205-224. http://doi.org/10.3743/KOSIM.2012.29.2.205)
  12. 이용구 (2009). 기계번역을 이용한 교차언어 문서 범주화의 분류 성능 분석. 한국문헌정보학회지, 43(1), 313-332. http://doi.org/10.4275/KSLIS.2009.43.1.313 (Lee, Yong-Gu (2009). Classification performance analysis of cross-language text categorization using machine translation. Journal of the Korean Society for Library and Information Science, 43(1), 313-332. http://doi.org/10.4275/KSLIS.2009.43.1.313)
  13. 이용구 (2013). 문헌빈도와 장서빈도를 이용한 kNN 분류기의 자질선정에 관한 연구. 한국도서관.정보학회지, 44(1), 27-47. http://doi.org/10.16981/kliss.44.1.201303.27 (Lee, Yong-Gu (2013). A study on feature selection for kNN classifier using document frequency and collection frequency. Journal of Korean Library and Information Science Society, 44(1), 27-47. http://doi.org/10.16981/kliss.44.1.201303.27)
  14. 이재윤 (2005a). 문헌간 유사도를 이용한 SVM 분류기의 문헌분류성능 향상에 관한 연구. 정보관리학회지, 22(3), 261-287. (Lee, Jae-Yun (2005a). Improving the performance of SVM text categorization with inter-document similarities. Journal of the Korean Society for Information Management, 22(3), 261-287.) https://doi.org/10.3743/KOSIM.2005.22.3.261
  15. 이재윤 (2005b). 자질 선정 기준과 가중치 할당 방식간의 관계를 고려한 문서 자동분류의 개선에 대한 연구. 한국문헌정보학회지, 39(2), 123-146. (Lee, Jae-Yun (2005b). An empirical study on improving the performance of text categorization considering the relationships between feature selection criteria and weighting methods. Journal of the Korean Society for Library and Information Science, 39(2), 123-146.) https://doi.org/10.4275/KSLIS.2005.39.2.123
  16. 장지숙, 이해영. (2009). 맥락정보를 이용한 기록 자동분류시스템 설계. 한국기록관리학회지, 9(1), 151-173. (Jang, Ji-Sook, & Rieh, Hae-Young (2009). Design of automatic records classification system using contextual information. Journal of Korean Society of Archives and Records Management, 9(1), 151-173.)
  17. 최윤수, 차정원 (2016). Word Embedding 자질을 이용한 한국어 개체명 인식 및 분류. 정보과학회논문지, 43(6), 678-685. http://dx.doi.org/10.5626/JOK.2016.43.6.678 (Choi, Yunsu, & Cha, Jeongwon (2016). Korean named entity recognition and classification using Word Embedding features. Journal of KIISE, 43(6), 678-685. http://dx.doi.org/10.5626/JOK.2016.43.6.678)
  18. 한국기록전문가협회 (2017). 기록정책포럼 2017 3호. (Korea Records Expert Association (2017). Record Policy Forum 2017 Issue 3.)
  19. 한성산 (2010). 경기도 기록관의 기록관리 체계의 현황과 개선방안. 석사학위논문, 중부대학교, 기록관리 전공. (Han, Sung San (2010). The present condition of records management system and improvement plan in GyeongGi-Do archives. Master's thesis, Chungbu University, Records Management Major.)
  20. Alfresco (2017). Alfresco governance services 2.6 - Create classification guides. Retrieved from https://youtu.be/OiVRg0hgWMw
  21. ETRI (2017). 엑소브레인 한국어 언어분석 툴킷 v2.0. Retrieved form https://itec.etri.re.kr/itec/sub02/sub02_01_1.do?t_id=1210-2017-00440
  22. Foulds, J., & Frank, E. (2010). A review of multi-instance learning assumptions. The Knowledge Engineering Review, 25(1), 1-25. https://doi.org/10.1017/S026988890999035X
  23. Fridman, L. (2016). Deep learning for computer vision (Andrej Karpathy, OpenAI)(video) Retrieved from https://youtu.be/u6aEYuemt0M
  24. Graves, A. (2012). Supervised sequence labelling with recurrent neural networks. Studies in Computational Intelligence, 385. Heidelberg: Springer.
  25. Khan, A., Baharudin, B., Lee, L. H., & Khan, K. (2010). A review of machine learning algorithms for text-documents classification. Journal of Advances in Information Technology, 1(1), 4-20.
  26. Lau, R. (2015). The total economic impact$^{TM}$ of IBM Datacap. IBM.
  27. Microfocus (2017). IDOL: Text, video, image and speech data analytics. Retrieved from https://software.microfocus.com/en-us/products/information-data-analytics-idol/overview
  28. Sebastiani, F. (2002). Machine learning in automated text categorization. ACM Computing Surveys (CSUR), 34(1), 1-47. https://doi.org/10.1145/505282.505283
  29. WEF (2016). The global competitiveness report 2016-2017. Retrieved from http://www3.weforum.org/docs/GCR2016-2017/05FullReport/TheGlobalCompetitivenessReport2016-2017_FINAL.pdf
  30. White House (2016). Preparing for the future of artificial intelligence. Executive Office of the President National Science and Technology Council. Committee on Technology. Retrieved from https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf
  31. Whitefield, B. (2016). HP records manager auto classification module (demo video). Retrieved from https://www.youtube.com/watch?v=MqAPqYF9GkM