• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.05a
• /
• pp.293-296
• /
• 2013

통계기반 기계번역 시스템 (SBMT system)은 기계번역시스템 중에서 최근 활발히 연구되고 있는 분야이다. 통계기반 기계번역은 대용량의 말뭉치를 사용할 수 있어 특정 언어 쌍에 제한을 덜 받아 모델을 자동으로 학습할 수 있으며 다른 언어에 일반화하여 적용이 가능하다는 장점이 있다. 그러나 영어와 한국어 간 통계기반 기계번역에 있어서는 어순의 차이로 인한 문제를 해결할 필요성이 여전히 남아 있다. 이에 본 연구에서는 영어와 한국어 간 이중언어 말뭉치를 구축하고 통계기반 기계번역 훈련 시스템인 Moses 에 기반하여 구현한 베이스 시스템을 이용하여 이중언어 간 어순처리 및 단어정렬의 최적화 방안을 연구하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.445-447
• /
• 2005

본 논문은 규칙 기반 방법과 통계 기반 방법을 동시에 사용함으로써 두 가지 방법의 장단점을 상호 보완한다. 한 문장에 대한 최적의 품사열은 HMM을 기반으로 Viterbi Algorithm을 사용하여 선택한다. 이때 파라미터 값은 규칙에 의한 가중치 값과 통계 정보를 사용한다. 최소한의 일반규칙을 사용하여 구축한 규칙의 적용에 따라 가중치 값을 구하며 규칙을 적용받지 못하는 경우는 비감독학습으로 추출한 통계정보에 기반을 둔 가중치 값을 이용하여 파라미터 값을 구한다. 이러한 기본 모델을 여러 회 반복하여 학습함으로써 최적의 통계기반 가중치를 구한다. 규칙과 비감독 학습으로 추출한 통계정보를 이용한 본 품사 태깅 시스템의 어절 기반 정확도는 $97.78\%$이다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.13 no.6
• /
• pp.417-421
• /
• 2007

Recently, many studies have focused on extracting transliteration pairs from bilingual texts. Most of these studies are based on the statistical transliteration model. The paper discusses the limitations of previous approaches and proposes novel approaches called dynamic window and tokenizer to overcome these limitations. Experimental results show that the average rates of word and character precision are 99.0% and 99.78%, respectively.

• Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
• /
• 2010.06a
• /
• pp.258-260
• /
• 2010

통계지리정보는 기존의 텍스트 기반 통계정보를 공간정보와 결합한 정보로서 공공 민간 분야의 다양한 의사결정을 위한 핵심 기반 정보로 그 활용성이 주목받고 있다. 본 논문은 통계지리 정보와 이를 이용한 서비스 구축 및 유지 관리 과정에서 발생하는 상호운용성 문제의 해결을 위한 접근방법으로 기존의 공간정보 표준 참조 모델들을 기반으로 통계지리 정보 및 서비스 참조모델을 제안하고, 각각의 정보 및 서비스 분류에 해당하는 표준화 요구사항을 제시한다.

• The Korean Journal of Applied Statistics
• /
• v.22 no.3
• /
• pp.635-651
• /
• 2009

Democratization and advancement of a society requires the Government's commitment to evidence-based policy. Though statistic is known as one of the best available evidence, there has been only a few case studies to tell real stories about using statistics for policy making. The object of this study is to suggest some real stories about using the Housing Purchase Price Survey for some property policies. By reviewing the origin and development of the survey, we evaluate the design and analysis strategies adopted in the survey. In addition, we describe how the Housing Purchase Price Indices have been used by the Government for some property policies.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.563-567
• /
• 2023

본 연구는 한국 통계청이 수행하는 가계동향조사와 생활시간조사에서 자료처리 과정 및 방법을 혁신하려는 시도로, 기존의 통계 생산 방법론의 한계를 극복하고, 대규모 데이터의 효과적인 관리와 분석을 가능하게 하는 인공지능 기반의 통계 생산을 목표로 한다. 본 연구는 데이터 과학과 통계학의 교차점에서 진행되며, 인공지능 기술, 특히 자연어 처리와 딥러닝을 활용하여 비정형 텍스트 분류 방법의 성능을 검증하며, 인공지능 기반 통계분류 방법론의 확장성과 추가적인 조사 확대 적용의 가능성을 탐구한다. 이 연구의 결과는 통계 데이터의 품질 향상과 신뢰성 증가에 기여하며, 국민의 생활 패턴과 행동에 대한 더 깊고 정확한 이해를 제공한다.

• Journal of Digital Contents Society
• /
• v.8 no.2
• /
• pp.149-156
• /
• 2007

In this paper, I discuss the development techniques and implemented type of DAVIS, a standalone JAVA-based application, by which statistics application can be downloaded from a web server, stored and installed to a client. Also I discuss both the server-based application and the client-based application that analyze statistics data. Considering the strengths and weaknesses of types discussed previously, I propose an advanced learning system of statistics that can execute an application in a client by client request. And data used in this system are loaded from a database server or input into a client by users.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10b
• /
• pp.11-15
• /
• 2006

본 논문은, 긍정적 가중치와 부정적 가중치를 통해 표현되는 규칙에 기반을 둔 품사 태깅 모델과, 형태 소 unigram 정보와 어절 내의 카테고리 패턴에 기반하여 어절 확률을 추정하는 품사 태깅 모델의 장점을 취하고 단점을 보완할 수 있는 혼합 품사 태깅 모델을 제안한다. 이 혼합 모델은 먼저, 규칙에 기반한 품사 태깅을 적용한 후, 규칙이 해결하지 못한 결과에 대해서 통계적인 기법을 사용하여 품사 태깅을 한다. 본 연구는 어절 내 카테고리 패턴정보에 따른 파라미터 set과 형태소 unigram만을 이용해 어절 확률을 계산해 내므로 다른 통계기반 접근방법에서와는 달리 작은 크기의 통계사전만을 필요로 하며, 카테고리 패턴 정보를 사용함으로써 통계기반 접근 방법의 가장 큰 문제점인 data sparseness 문제 또한 줄일 수 있다는 이점이 있다. 특히, 본 논문에서 사용할 통계 모델은 어절 확률에 기반을 두고 있기 때문에 한국어의 특성을 잘 반영할 수 있다. 본 논문에서 제안한 혼합 모델은 규칙이 적용된 후에도 후보열이 둘 이상 남아 오류로 반환되었던 어절 중 24%를 개선한다.

• Proceedings of the Korean Statistical Society Conference
• /
• 2005.11a
• /
• pp.1-3
• /
• 2005

통계 소프트웨어 R은 여러 가지 특징을 가진 도구이다. S라는 전산언어를 기반으로 하고 이에 수학함수와 통계함수, 그리고 그래픽함수들이 결합되어 편리한 계산 작업 환경을 제공하고 있다. R이 기반으로 하고 있는 S언어에는 문법적, 의미론적 특징이 잘 어울려 있다. S언어의 주요 특징 중 하나는 객체지향성이다. 본 연구에서는 R의 특징인 객체지향성과 그 의미에 대하여 살펴보게 된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.199-203
• /
• 2007

본 논문에서는 한영 통계기반 기계번역에서 한국어 문장 길이의 변화에 따른 번역 성능의 변화를 분석하고자 한다. 일반적으로 통계기반 기계번역은 정렬기법을 이용하는데 문장의 길이가 길수록 많은 변형(distortion)이 이루어진다. 특히 한국어와 영어처럼 어순이 매우 다를 경우, 문장 길이의 변화에 따라 그 변형이 더욱 심할 수 있다. 본 논문에서는 이러한 성질이 통계기반 기계번역에 어떠한 영향을 주는지를 실험적으로 살펴보고자 한다. 본 논문에서 비교적 잘 정렬된 203,310개의 문장을 학습데이터로 사용하였고, 세종 병렬 말뭉치로부터 89,309개의 문장을 추출하여 실험데이터로 사용하였다. 실험데이터는 한국어 문장의 길이에 따라 5구간($1{\sim}4,\;5{\sim}8,\;9{\sim}13,\;14{\sim}19,\;20{\sim}n$ 개)로 나뉘었다. 각 구간은 가능한 문장의 수가 비슷하도록 하였으며, 17,126, 18,507, 20,336, 17,884, 15,456개의 문장이 포함되었다. 데이터들은 모두 어절단위로 토큰을 나누었다. 본 논문에서는 한영 번역을 중심으로 평가되었다. 첫 번째 구간에서 가장 좋은 성능인 0.0621 BLEU를 보였으며, 마지막 구간에서 가장 좋지 않은 0.0251 BLEU를 보였다. 이는 문장의 길이가 길수록 변역 성능이 좋지 않음을 알 수 있었다. 문장이 길수록 구가 길어지고 구간의 수식이 복잡해지므로 번역의 성능은 점차 떨어진다. 이것을 볼 때, 구번역을 먼저 한 후, 다시 문장 번역을 한다면 좀 더 높은 기계번역의 성능을 기대할 수 있을 것이다.