An Automatic Coding System of Korean Standard Industry/Occupation Code Using Example-based Learning

예제기반의 학습을 이용한 한국어 표준 산업/직업 자동 코딩 시스템

Standard industry and occupation code are usually assigned manually in Korean census. The manual coding is very labor intensive and expensive task. Furthermore, inconsistent coding is resulted from the ability of human experts and their working environments. This paper proposes an automatic code classification system which converts natural language responses on survey questionnaires into corresponding numeric codes by using manually constructed rule base and example-based machine learning. The system was trained with 400,000 records of which standard codes was assigned. It was evaluated with 10-fold cross validation and was tested with three code sets: population occupation set, industry set, and industry survey set. The proposed system showed 76.63%, 82.24 and 99.68% accuracy for each code set.

통계청에서 실시하는 사업체 기초 조사와 인구주택총조사 과정에 업체와 개인에 대한 정보를 기술한 자연어를 표준 산업/직업 코드를 할당하는 수동 코딩 작업이 필요하다. 수동 코딩 작업은 막대한 인건비와 비용을 초래하고 수동 코딩 전문가의 능력과 기분에 따른 작업 결과의 비일관성이 매우 큰 문제로 지적되고 있다. 본 논문은 수작업으로 구축한 규칙베이스를 사용하는 규칙 기반 방법과 수작업으로 분류한 데이터를 이용하는 자동 학습 방법을 통합한 한국어 산업/직업 표준 코드 자동 생성 시스템을 제안한다. 제안하는 시스템은 인구주택총조사 40만 레코드, 사업체기초조사 40만 레코드를 이용하여 학습되었고, 실험데이터를 이용하여 평가되었다. 10-best 성능 평가 결과 제안된 시스템은 인구주택총조사 직업분류 데이터에 대해서 76.63%, 인구주택총조사 산업분류 데이터에 대해서 82.249%의 성능을 보였으며, 사업체기초 조사 산업분류 데이터에 대해서는 99.68%의 정확도를 보였다.