• 제목/요약/키워드: 자연어 처리 연구

검색결과 636건 처리시간 0.031초

자연어 저장소에 기반을 둔 자연어 질의처리를 위한 데이터베이스 활용 방안에 관한 연구 (Utilization of A Data Base for Query Processing of natural language on the Repository of natural language)

  • 전익진;이병래
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1058-1061
    • /
    • 2012
  • 최근 웹을 기반으로 한 계속적인 기술 발전에 따라 의사결정에 필요한 데이터의 요구는 점점 다양해지고 있으며 다양한 요구를 효과적으로 대응하기 위해 데이터 추출 방법에 대한 연구도 지속적으로 이루어지고 있다. 이에 본 논문에서는 자연어를 통해 사용자가 쉽게 원하는 자료를 추출 할 수 있는 방법론을 연구 하였다. 자연어 처리 기술에 대한 연구는 여러 방면에서 이루어지고 있는데 그 중에서도 본 논문에서는 기존의 자연어 처리 연구를 바탕으로 크게 3가지 형태로 연구 진행 하였다. 사용자가 입력한 정보를 바탕으로 유추하여 자연어를 처리하거나 이후 진행될 검색을 선 예측 하는 방법과 사용자 별로 검색되는 자연어를 통해 연관 관계를 설정하여 사용자에게 예측검색을 유도하는 방법 그리고 의사 결정을 위해 구축된 데이터베이스 스키마 정보를 이용하여 사용자가 쉽게 질의 문을 생성할 수 있도록 하는 방법론 연구이다. 본 논문을 통해 연구된 내용은 실제 구축하여 진행 하였고, 연구결과로 생성된 질의 문이 효과적으로 시스템에서 처리 되는 과정에 대한 연구도 함께 진행하고 검증하였다.

데이터로 인해 발생하는 자연어처리 분야의 윤리적 이슈 (Ethical Issues in Natural Language Processing arising from Data)

  • 강혜린;장연지;강예지;박서윤;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.26-31
    • /
    • 2022
  • 자연어처리에서 데이터는 굉장히 많은 부분을 차지하고 중요한 역할이지만, 데이터로 인한 윤리적 이슈 또한 많이 나타난다. 본 연구는 자연어처리에서의 데이터 흐름의 과정에서 나타날 수 있는 윤리적 이슈를 단계별로 정리하였다. 이는 복잡한 자연어처리 과정의 특성과 자연어처리 분야에서 나타나는 상황을 모두 고려한 것이다. 또한 단계별로 정리한 이슈를 토대로 자연어처리가 더 나은 방향으로 나아가기 위한 데이터 관점에서의 미래 방향을 제시하였다.

  • PDF

딥러닝 중심의 자연어 처리 기술 현황 분석 (Analysis of the Status of Natural Language Processing Technology Based on Deep Learning)

  • 박상언
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.63-81
    • /
    • 2021
  • 자연어 처리는 최근 기계학습 및 딥러닝 기술의 발전과 적용으로 성능이 빠르게 향상되고 있으며, 이로 인해 활용 분야도 넓어지고 있다. 특히 비정형 텍스트 데이터에 대한 분석 요구가 증가함에 따라 자연어 처리에 대한 관심도 더욱 높아지고 있다. 그러나 자연어 전처리 과정 및 기계학습과 딥러닝 이론의 복잡함과 어려움으로 인해 아직도 자연어 처리 활용의 장벽이 높은 편이다. 본 논문에서는 자연어 처리의 전반적인 이해를 위해 현재 활발히 연구되고 있는 자연어 처리의 주요 분야와 기계학습 및 딥러닝을 중심으로 한 주요 기술의 현황에 대해 살펴봄으로써, 보다 쉽게 자연어 처리에 대해 이해하고 활용할 수 있는 기반을 제공하고자 한다. 이를 위해 인공지능 기술 분류체계의 변화를 통해 자연어 처리의 비중 및 변화 과정을 살펴보았으며, 기계학습과 딥러닝을 기반으로 한 자연어 처리 주요 분야를 언어 모델, 문서 분류, 문서 생성, 문서 요약, 질의응답, 기계번역으로 나누어 정리하고 각 분야에서 가장 뛰어난 성능을 보이는 모형들을 살펴보았다. 그리고, 자연어 처리에서 활용되고 있는 주요 딥러닝 모형들에 대해 정리하고 자연어 처리 분야에서 사용되는 데이터셋과 성능평가를 위한 평가지표에 대해 정리하였다. 본 논문을 통해, 자연어 처리를 자신의 분야에서 다양한 목적으로 활용하고자 하는 연구자들이 자연어 처리의 전반적인 기술 현황에 대해 이해하고, 자연어 처리의 주요 기술 분야와 주로 사용되는 딥러닝 모형 및 데이터셋과 평가지표에 대해 보다 쉽게 파악할 수 있기를 기대한다.

언어함수를 이용한 영문 생성기의 구현에 관한 연구 (A study on Implementation of English Sentence Generator using Lexical Functions)

  • 정희연;김희연;이웅재
    • 인터넷정보학회논문지
    • /
    • 제1권2호
    • /
    • pp.49-59
    • /
    • 2000
  • 컴퓨터의 발달과 인터넷 사용자의 증대로 자연어 처리의 연구에 관한 관심이 증대되고 있다. 그러나 대부분의 연구가 자연어 분석 및 이해에 집중되고 있어 자연어 생성에 관한 연구는 주목을 받지 못해 왔으며 자연어 생성을 자연어 분석의 역 과정으로 간단하게 생각하는 경향마저도 있다. 하지만 Web상에서의 다국어간 번역 자연어 인터페이스 자연어 검색 시스템 등 자연어처리에 관한 필요성이 증가함에 따라 자연어 생성의 필요성도 자연히 증가하고 있는 실정이며 좀 더 체계적인 자연어 생성 시스템 개발을 위해서는 자연어 생성에 관한 보다 구체적인 알고리즘에 관한 연구가 필요하다. 본 논문에서는 영문 생성에 있어서 보다 자연스러운 문장을 생성하기 위한 알고리즘을 제안하며 특히 Igor Mel'uk (Mel'uk & Zholkovsky, 1988)의 어휘 함수(LFs)를 이용한 어휘 결합을 통하여 절 길이의 설명문을 생성하는 영문 생성기의 구현에 대하여 논한다.

  • PDF

한국어 자연어 추론을 위한 다양한 프롬프트 방법 (Various Prompt Methods for Korean Natural Language Inference)

  • 최요한;이창기;배경만
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.419-422
    • /
    • 2023
  • 자연어 추론은 전제 문장과 가설 문장의 관계를 함의, 중립, 모순으로 분류하는 자연어 처리 태스크이다. 최근 여러 자연어 처리 태스크에서 딥러닝 모델을 이용하는 방법이 우수한 성능을 보이고 있지만, 이는 미세 조정과정에 드는 비용이 많다는 점과 모델 출력의 근거, 과정을 사람이 이해하기 어려운 한계가 있다. 이러한 이유로 최근에는 소량의 입력, 출력 예시를 포함한 프롬프트를 이용한 방법론과 모델 출력에 대한 근거를 생성, 활용하는 방법에 관한 많은 연구가 진행되고 있다. 본 논문에서는 퓨샷 학습 환경의 한국어 자연어 추론 태스크를 위한 세 가지 프롬프트 방법과 이들을 조합하여 적용하는 방법을 제안한다. 이를 통해 '해석 가능성'과 자연어 추론 성능을 모두 향상시킬 수 있음을 보인다.

  • PDF

자연어처리와 머신러닝을 이용한 디지털 아티팩트 분석방안에 대한 연구 (Analysis of digital artifacts based on natural language processing and machine learning)

  • 박도현;장성민;장래승;김민태;장원영;이선영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.388-390
    • /
    • 2019
  • 운영체제는 해당 시스템이 운영되면서 생기는 흔적을 남길 수 있게 설계되었다. 디지털 포렌식에서 아티팩트는 보관증거 또는 데이터의 정보를 확증하는데 사용된다. 디지털 정보는 사용자의 생활방식에 따라 사용자의 습관, 사상, 감정에 영향을 받아 저장될 수 있다. 디지털 증거의 경우, 한 저장매체에 많은 데이터가 함께 저장되어 있을 뿐만 아니라 대형 서버 시스템의 경우에는 수많은 사람들의 정보도 저장되어 특정의 데이터만을 찾아내기가 쉽지 않다. 이러한 문제를 해결하기 위해 자연어 처리와 머신러닝 기술이 활용될 수 있다. 자연어 처리기술은 인간과 컴퓨터 간 인터페이스를 쉽고 편하게 하고, 자연어로 기록되어 있는 아티팩트를 머신러닝을 이용하여 빠른 분석을 가능하게 한다. 본 논문은 자연어처리와 머신러닝을 이용한 디지털 아티팩트 분석 방안을 제안한다. 자연어 처리와 머신러닝을 이용하여 아티팩트에서 사용자의 의도를 파악할 수 있음을 실험을 통하여 확인하였다.

자연어 질의 처리를 위한 Meta Data에 관한 연구 (Study of Meta Data for Natural Language Query Processing)

  • 신세영;정은영;김승권;김수영;박순철
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2000년도 춘계학술대회논문집
    • /
    • pp.201-209
    • /
    • 2000
  • 정보산업의 발달과 함께 일반 사용자들의 데이터베이스의 사용이 증가함에 따라 부정확한 자연어 질의 처리를 할 수 있는 인공 지능적인 질의시스템이 필요하게 되었다. 이러한 질의시스템이 자연어 질의를 처리하려면 불확실한 데이터들에 대한 정보를 제공하는 MetaData가 반드시 필요하고, 데이터베이스 분야와 인공지능 분야의 이론들을 바탕으로 MetaData의 정형화 및 분류가 필요하다. 본 연구에서는 퍼지이론, 확률이론을 기초로 하여 소속척도, 근접추론, 유사관계, 데이터마이닝 기법 등을 이용하여 MetaData를 정형화하고 분류하였다.

  • PDF

앙상블 기반의 위조 탐지 알고리즘 (Ensemble-based Counterfeit Detection Algorithm)

  • 타히예프 일킨;조영복
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
    • /
    • pp.101-102
    • /
    • 2023
  • 본 연구에서는 인터넷 상에서 발생되는 부정행위를 탐지할수 있는 신뢰 모델을 생성하고 개인의 프라이버시를 보장할수 있는 모델을 제시하였다. 인터넷 상에 게시판에 올려진 부정해위를 탐지하기 위해 앙상블 접근 방식 기반의 분류 모델을 제시하고 자동화된 도구를 제안하였다. 본 연구는 데이터에 대한 탐색적 데이터 분석을 수행하고 얻은 통찰력을 사용해 자연어처리 가반 텍스트를 기반으로 앙상블 기반의 위조 탐지 알고리즘을 제안하였다. 제안 알고리즘의 정확도는 99%로 자연어 처리에 높은 탐지율을 보였다.

  • PDF

Sparse Attention 모델을 활용한 효율적인 문맥 이해 (Improving Contextual Understanding Using Sparse Attention Models)

  • 허태훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.694-697
    • /
    • 2023
  • 본 논문은 문맥 이해에서 발생할 수 있는 문제점을 개선하기 위해 Sparse Attention 모델을 적용하였다. 실험 결과, 이 방법은 문맥 손실률을 상당히 줄이며 자연어 처리에 유용하다는 것을 확인하였다. 본 연구는 기계 학습과 자연어 처리분야에서 더 나은 문맥 이해를 위한 새로운 방향을 제시하며, 향후 다양한 모델과 방법론을 탐구하여 문맥 이해를 더욱 향상시킬 계획이다.

  • PDF