• 제목/요약/키워드: 한국어의 특성

Search Result 758, Processing Time 0.021 seconds

BERT 기반 한국어 문장의 유사도 측정 방법 (Measuring Similarity of Korean Sentences based on BERT)

  • 현종환;최호진
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.383-387
    • /
    • 2019
  • 자연어 문장의 자동 평가는 생성된 문장과 정답 문장을 자동으로 비교 및 평가하여, 두 문장 사이의 의미 유사도를 측정하는 기술이다. 이러한 자연어 문장 자동 평가는 기계 번역, 자연어 요약, 패러프레이징 등의 분야에서 자연어 생성 모델의 성능을 평가하는데 활용될 수 있다. 기존 자연어 문장의 유사도 측정 방법은 n-gram 기반의 문자열 비교를 수행하여 유사도를 산출한다. 이러한 방식은 계산 과정이 매우 간단하지만, 자연어의 다양한 특성을 반영할 수 없다. 본 논문에서는 BERT를 활용한 한국어 문장의 유사도 측정 방법을 제안하며, 이를 위해 ETRI에서 한국어 말뭉치를 대상으로 사전 학습하여 공개한 어절 단위의 KorBERT를 활용한다. 그 결과, 기존 자연어 문장의 유사도 평가 방법과 비교했을 때, 약 13%의 성능 향상을 확인할 수 있었다.

  • PDF

의존관계 패턴에 기반한 한국어 명사구의 추출 (The Extraction of Korean Noun Phrases based on Dependency Patterns)

  • 강승식;이상모;이민행
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.615-617
    • /
    • 2023
  • 이 연구는 한국어 명사구를 말뭉치로부터 추출하는 방법의 하나로 의존관계 패턴에 기반한 접근방법을 제안하는 것을 목적으로 한다. 이 방법론을 활용한 경우에 명사구 추출의 정확성을 높일 수 있다. 이 논문에서는 한국어 법령 의존 말뭉치를 구축하는 단계부터 상위 명사구 목록을 생성하기 까지 거치는 5단계에 대해 상세하게 논의하는 한편, 의존구조 검색시스템을 통해 의존관계 패턴을 추출하는 절차에 대해 기술하고 이 작업을 수행하기 위한 검색식들의 특성들에 대해 검토한다.

  • PDF

일반적, 영역 의존적 특성을 반영한 감정 자질의 의미지향성 추정 방법 (A Semantic Orientation Prediction Method of Sentiment Features Based on the General and Domain-Dependent Characteristics)

  • 황재원;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.155-159
    • /
    • 2009
  • 본 논문은 한국어 문서 감정분류를 위한 중요한 어휘 자원인 감정자질(Sentiment Feature)의 의미지향성(Semantic Orientation) 추정을 위해 일반적인 특성과 영역(Domain) 의존적인 특성을 반영하여 한국어 문서 감정분류(Sentiment Classification)의 성능 향상을 얻을 수 있는 기법을 제안한다. 감정자질의 의미지 향성은 검색 엔진을 통해 추출한 각 감정 자질의 스니핏(Snippet)과 실험 말뭉치를 이용하여 추정할 수 있다. 검색 엔진을 통해 추출된 스니핏은 감정자질의 일반적인 특성을 반영하며, 실험 말뭉치는 분류하고자 하는 영역 의존적인 특성을 반영한다. 이렇게 얻어진 감정자질의 의미지향성 수치는 각 문장의 감정강도를 추정하기 위해 이용되며, 문장의 감정 강도의 값을 TF-IDF 가중치 기법에 접목하여 감정자질의 가중치를 책정한다. 최종적으로 학습 과정에서 긍정 문서에서는 긍정 감정자질, 부정 문서에서는 부정 감정자질을 대상으로 추가 가중치를 부여하여 학습하였다. 본 논문에서는 문서 분류에 뛰어난 성능을 보여주는 지지 벡터 기계(Support Vector Machine)를 사용하여 제안한 방법의 성능을 평가한다. 평가 결과, 일반적인 정보 검색에서 사용하는 내용어(Content Word) 기반의 자질을 사용한 경우보다 3.1%의 성능향상을 보였다.

  • PDF

한국어의 정보이론적 연구 방향 (On Information Theoretical Research of the Korean Language)

  • 이재홍;이재학
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.367-375
    • /
    • 1992
  • 한국어는 다른 언어와는 달리 초성, 중성, 종성의 자소가 모여서 한 음절을 이룬다. 음절을 이루는 자소는 그 발생의 확률적 성질에 따라 확률변수로 간주된다. 음절 안에서 자소간의 발생의 상관관계는 자소간 조건부 확률 및 엔트로피로 표시된다. 음절이 모여서 단어를 이루고 단어를 이루는 음절은 그 발생의 확률적 성질에 따라 확률변수로 간주된다. 한국어 단어안에서 음절간의 발생의 상관관계는 음절간 조건부 확률 및 엔트로피로 표시된다. 수 있다. 그런데 가능한 음절의 종류가 매우 많기 때문에 음절 발생의 상관관계를 표시하는 지표로서 음절간 조건부 확률 대신 초성, 중성, 종성 단위의 조건부 확률을 사용하는 것이 음절간의 발생의 상관관계를 표시하는데 효과적이다. 이러한 한국어의 정보이론적 연구를 위하여서는 기초자료로서 한국어 단어의 빈도분포가 필요하다. 한국어 단어의 빈도분포의 포괄적인 조사는 1956년의 "우리말 말수 사용의 잦기 조사"가 유일한 실정이다. 시간 경과에 따른 한국어의 정보이론적 특성 변화의 분석을 위하여서는 한국어 단어 빈도의 주기적인 조사가 필요하다. 한국어에서 초성, 중성, 종성단위의 정보이론적 연구결과는 한국어 음성인식 및 함성, 자연언어처리, 암호법, 언어학, 음성학, 한국어부호 표준화 연구등에 이용될 것으로 기대된다. 남북한의 언어는 분단이 지속됨에 따라 상호 이질화가 진행되고 있다. 이러한 이질화를 극복하려는 부분적인 노력으로 남북한 언어의 한국어 영문표기의 단일화 등이 있었다. 이러한 노력에 병행하여 남한과 북한의 언어에 대한 정보이론적 비교 연구도 있어야 할 것이다. 정보를 효과적으로 캐싱할 수 있도록 인접한 데이터를 클러스터링해서 브로드캐스팅하여 이동 호스트의 구성 시간(setup time)을 최소화하였다. 그리고, 맨하탄거리(Manhattan Distance)를 사용해서 위치 의존 질의에서 사용하는 데이타를 캐싱하고 질의를 처리하는 방법을 제안한다. 맨하탄 거리를 이용해서 캐싱하면 도로에 인접해서 위치한 데이타를 효과적으로 캐싱할 수 있다. 또한, 거리 계산 방법으로 맨하탄 거리를 사용하면 도심에서 실제 이동 거리와 비슷한 값을 알 수 있고, 직선 거리 계산식에 비해서 계산식도 간단하기 때문에 시스템 계산량도 줄일 수 있다. 기준으로 라이신 부산물은 어분 단백질을 40%까지 대체가 가능하였으며, 아울러 높은 라이신 부산물의 대체 수준에 있어서 사료효율과 단백질 전환효율을 고려한다면 아미노산 첨가(라이신과 아르지닌)와 중화 효과에 좋은 결과가 있을 것으로 사료된다.의한 적정 양성수용밀도는 각고 5~6cm 크기의 경우 10~15개체가 적합하였다. 수증별 성장은 15~20 m 수층에서 빨랐으며, 성장촉진과 폐사를 줄이기 위해서는 고수온이 지속되는 7~10월에는 20~30m수층으로 채롱을 내려 양성하고 그 외 시기에는 15 m층 내외가 좋은 것으로 나타났다. 상품으로 출하 가능한 크기 인 각고 10 cm이상, 전중량 140 g 내외로 성장시 키기까지는 채묘후 22개월이 소요되었고, 출하시기는 전중량 증가가 최대에 이르는 3월에서 4월 중순이 경제적일 것으로 판단된다.er 90 % of good relative dynamic modulus of elasticity due

  • PDF

한국어와 영어 성별어 비교연구: 공손표현과 관련하여 (A Comparative Study on the Korean and English Genderlect: Focused on Polite Expressions)

  • 김현효
    • 한국산학기술학회논문지
    • /
    • 제16권10호
    • /
    • pp.6527-6533
    • /
    • 2015
  • 본 논문은 한국어와 영어 성별어(genderlect)에 관한 비교연구이다. 성별어란 성(gender)의 차이가 언어에 반영된 현상을 말한다. 일반적으로 여성의 언어가 남성의 언어와 다르며, 이러한 차이가 성차별의 원인이나 증거가 된다는 것에 초점이 맞추어져서 연구가 이루어져 왔다. 본 논문은 성별어 중 여성발화의 특성을 영어와 한국어의 영화와 드라마 대사를 분석하여 알아보고자 하였다. 영어자료에서는 여성어가 주로 어휘 즉, 명사, 형용사, 부사의 사용과 관련하여 나타났으나, 한국어 자료에서는 어휘 뿐 아니라 한국어 경어법의 최고단계인 '합쇼체'와 관련하여 여성이 익숙치 않다는 특성이 드러났다. 일반적으로 공손발화에서는 영어나 한국어 모두 여성발화가 공손표현의 특징과 유사한데, 한국 여성들은 경어법에서 아주높임단계를 선호하지 않는 것으로 나타났다. 한국어와 영어의 성별어의 특징이 공손표현이라는 측면에서는 일반적으로 공유하는 부분이 많지만, 한국 여성들의 경우에는 공손어법 중 경어법의 최고 단계인 '합쇼체'보다는 '해요체'를 선호하는 부분을 주목하였다. 이는 성별어의 세계 보편적인 특성과 개별 문화의 차이가 드러나는 부분이라 하겠다.

상대적 가중치 자질을 반영한 CRF 기반의 개체명 인식 (Named Entity Recognition based on CRF reflecting relative weight)

  • 정진욱
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.338-339
    • /
    • 2017
  • 본 논문은 개체명 인식을 위해 CRF 모델을 이용해 분류를 수행했다. 개체명 후보를 개체명으로 식별에서 중의성 문제가 필요하다. 본 논문에서는 이러한 중의성 문제 해결을 위해 학습 셋으로부터 패턴과 형태적 특성을 고려해 개체명 후보를 최대로 선택하고 선택된 개체명 후보의 중의성과 정확도를 높이기 위해 주변의 문맥 자질과 분별 확률 모델인 CRF를 이용해 중의성 문제를 해결한다.

  • PDF

형태소 단위의 한국어 확률 의존문법 학습 (Korean Probabilistic Dependency Grammar Induction by morpheme)

  • 최선화;박혁로
    • 정보처리학회논문지B
    • /
    • 제9B권6호
    • /
    • pp.791-798
    • /
    • 2002
  • 본 논문에서는 코퍼스를 이용한 확률 의존문법 자동 생성 기술을 다룬다. 한국어의 부분 자유 어순성질과 문장의 필수적 성분의 생략과 같은 특성으로 인하여 한국어 구문분석에 관한 연구들에서는 주로 의존문법을 선호하고 있다. 본 논문에서는 기존의 어절단위학습방법에서는 학습할 수 없었던 어절 내의 의존관계를 학습할 수 있는 형태소 단위의 학습 방법을 제안한다. KAIST의 트리 부착 코퍼스 약 3만 문장에서 추출한 25,000문장의Tagged Corpus을 가지고 한국어 확률 의존문법 학습을 시도하였다. 그 결과 초기문법 2,349개의 정확한 문법을 얻을 수 있었으며, 문법의 정확성을 실험하기 위해 350개의 실험문장을 parsing한 결과 69.77%의 파싱 정확도를 보였다. 이로서 한국어 어절 특성을 고려한 형태소 단위 학습으로 얻어진 의존문법이 어절 단위 학습으로 얻어진 문법보다 더 정확하다는 사실을 알 수 있었다.

글 이해와 글의 응집성 정보처리 (Text Comprehension and Coherence Processing)

  • 이정모
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1989년도 한글날기념 학술대회 발표논문집
    • /
    • pp.252-256
    • /
    • 1989
  • 글의 이해의 핵심과정이란 글에 대한 응집성있는 의미표상의 형성과정이라고 간주하고, 참조적 응집성 처리, 상위주제적 인과성 응집성 처리, 상위주제적 대비적 응집성 처리, 글 전체 구조적 응집성 처리의 특성들을 우리말 덩이글을 사용한 실험 결과들을 근거로 논하고 이와 관련하여 한국어 이해의 일반특성에 대한 논의를 제시하였다.

  • PDF

한국어 텍스트 내 용어연관성 분석을 위한 기초 연구 (Preliminary Study on the Analysis of Term Associations in Korean Text)

  • 정영미;이재윤
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 1998년도 제5회 학술대회 논문집
    • /
    • pp.243-246
    • /
    • 1998
  • 텍스트 자동분석을 통해 얻어진 통계적인 용어연관성은 정보검색 및 언어 처리와 관련된 여러 분야에서 폭넓게 이용되고 있다. 용어연관성을 구하기 위한 연관계수는 여러 가지가 있지만 적용분야에 관계없이 유사계수 공식이나 상호정보량 공식이 주류를 차지하고 있다. 이런 공식들은 그 통계적 특성이 서로 다르기 때문에 알맞은 적용분야를 파악할 필요가 있다. 이 연구에서는 필요 연관계수 공식의 특성을 이론적으로 파악하였고, 실험으로 검증하기 위하여 240만 어절 분량의 실험용 한국어 신문기사 데이터베이스를 구축하였다.

  • PDF

NPU 선형매칭 한국어 단어 인식 (Korean Word Recognition Using Linear Matching Based on NPU)

  • 김한재;김승겸;이기영;최갑석
    • 한국음향학회지
    • /
    • 제11권6호
    • /
    • pp.41-45
    • /
    • 1992
  • 음성의 동적인 특성을 이용할 수 있으며, 간단한 알고리즘으로 음성을 인식할 수 있는 NPU 선 형매칭을 이용한 한국어 단어인식에 관하여 연구하였다. 이 인식방법은 NPU 라는 뉴럴 예측기를 적용 한 선형매칭 방법을 이용함으로써, 음성의 동적인 특성을 과거 특징벡터 시계열의 상관관계에 의한 예 측이라는 형태로 인식에 이용하였다. 이 인식방법의 유효성을 확인하기 위해 DDD 지역명을 대상으로 실험한 결과, 96.4%의 인식율을 얻었다.

  • PDF