• Title/Summary/Keyword: 자연어 처리 연구

Search Result 636, Processing Time 0.028 seconds

Utilization of A Data Base for Query Processing of natural language on the Repository of natural language (자연어 저장소에 기반을 둔 자연어 질의처리를 위한 데이터베이스 활용 방안에 관한 연구)

  • Jeon, Danny;LEE, Byeong Rae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.1058-1061
    • /
    • 2012
  • 최근 웹을 기반으로 한 계속적인 기술 발전에 따라 의사결정에 필요한 데이터의 요구는 점점 다양해지고 있으며 다양한 요구를 효과적으로 대응하기 위해 데이터 추출 방법에 대한 연구도 지속적으로 이루어지고 있다. 이에 본 논문에서는 자연어를 통해 사용자가 쉽게 원하는 자료를 추출 할 수 있는 방법론을 연구 하였다. 자연어 처리 기술에 대한 연구는 여러 방면에서 이루어지고 있는데 그 중에서도 본 논문에서는 기존의 자연어 처리 연구를 바탕으로 크게 3가지 형태로 연구 진행 하였다. 사용자가 입력한 정보를 바탕으로 유추하여 자연어를 처리하거나 이후 진행될 검색을 선 예측 하는 방법과 사용자 별로 검색되는 자연어를 통해 연관 관계를 설정하여 사용자에게 예측검색을 유도하는 방법 그리고 의사 결정을 위해 구축된 데이터베이스 스키마 정보를 이용하여 사용자가 쉽게 질의 문을 생성할 수 있도록 하는 방법론 연구이다. 본 논문을 통해 연구된 내용은 실제 구축하여 진행 하였고, 연구결과로 생성된 질의 문이 효과적으로 시스템에서 처리 되는 과정에 대한 연구도 함께 진행하고 검증하였다.

Ethical Issues in Natural Language Processing arising from Data (데이터로 인해 발생하는 자연어처리 분야의 윤리적 이슈 )

  • Hyerin Kang;Yeonji Jang;Yejee Kang;Seoyoon Park;Hansaem Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.26-31
    • /
    • 2022
  • 자연어처리에서 데이터는 굉장히 많은 부분을 차지하고 중요한 역할이지만, 데이터로 인한 윤리적 이슈 또한 많이 나타난다. 본 연구는 자연어처리에서의 데이터 흐름의 과정에서 나타날 수 있는 윤리적 이슈를 단계별로 정리하였다. 이는 복잡한 자연어처리 과정의 특성과 자연어처리 분야에서 나타나는 상황을 모두 고려한 것이다. 또한 단계별로 정리한 이슈를 토대로 자연어처리가 더 나은 방향으로 나아가기 위한 데이터 관점에서의 미래 방향을 제시하였다.

  • PDF

Analysis of the Status of Natural Language Processing Technology Based on Deep Learning (딥러닝 중심의 자연어 처리 기술 현황 분석)

  • Park, Sang-Un
    • The Journal of Bigdata
    • /
    • v.6 no.1
    • /
    • pp.63-81
    • /
    • 2021
  • The performance of natural language processing is rapidly improving due to the recent development and application of machine learning and deep learning technologies, and as a result, the field of application is expanding. In particular, as the demand for analysis on unstructured text data increases, interest in NLP(Natural Language Processing) is also increasing. However, due to the complexity and difficulty of the natural language preprocessing process and machine learning and deep learning theories, there are still high barriers to the use of natural language processing. In this paper, for an overall understanding of NLP, by examining the main fields of NLP that are currently being actively researched and the current state of major technologies centered on machine learning and deep learning, We want to provide a foundation to understand and utilize NLP more easily. Therefore, we investigated the change of NLP in AI(artificial intelligence) through the changes of the taxonomy of AI technology. The main areas of NLP which consists of language model, text classification, text generation, document summarization, question answering and machine translation were explained with state of the art deep learning models. In addition, major deep learning models utilized in NLP were explained, and data sets and evaluation measures for performance evaluation were summarized. We hope researchers who want to utilize NLP for various purposes in their field be able to understand the overall technical status and the main technologies of NLP through this paper.

A study on Implementation of English Sentence Generator using Lexical Functions (언어함수를 이용한 영문 생성기의 구현에 관한 연구)

  • 정희연;김희연;이웅재
    • Journal of Internet Computing and Services
    • /
    • v.1 no.2
    • /
    • pp.49-59
    • /
    • 2000
  • The majority of work done to date on natural language processing has focused on analysis and understanding of language, thus natural language generation had been relatively less attention than understanding, And people even tends to regard natural language generation CIS a simple reverse process of language understanding, However, need for natural language generation is growing rapidly as application systems, especially multi-language machine translation systems on the web, natural language interface systems, natural language query systems need more complex messages to generate, In this paper, we propose an algorithm to generate more flexible and natural sentence using lexical functions of Igor Mel'uk (Mel'uk & Zholkovsky, 1988) and systemic grammar.

  • PDF

Various Prompt Methods for Korean Natural Language Inference (한국어 자연어 추론을 위한 다양한 프롬프트 방법 )

  • Yohan Choi;Changki Lee;Kyungman Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.419-422
    • /
    • 2023
  • 자연어 추론은 전제 문장과 가설 문장의 관계를 함의, 중립, 모순으로 분류하는 자연어 처리 태스크이다. 최근 여러 자연어 처리 태스크에서 딥러닝 모델을 이용하는 방법이 우수한 성능을 보이고 있지만, 이는 미세 조정과정에 드는 비용이 많다는 점과 모델 출력의 근거, 과정을 사람이 이해하기 어려운 한계가 있다. 이러한 이유로 최근에는 소량의 입력, 출력 예시를 포함한 프롬프트를 이용한 방법론과 모델 출력에 대한 근거를 생성, 활용하는 방법에 관한 많은 연구가 진행되고 있다. 본 논문에서는 퓨샷 학습 환경의 한국어 자연어 추론 태스크를 위한 세 가지 프롬프트 방법과 이들을 조합하여 적용하는 방법을 제안한다. 이를 통해 '해석 가능성'과 자연어 추론 성능을 모두 향상시킬 수 있음을 보인다.

  • PDF

Analysis of digital artifacts based on natural language processing and machine learning (자연어처리와 머신러닝을 이용한 디지털 아티팩트 분석방안에 대한 연구)

  • Park, Dohyeon;Jang, Seongmin;Jang, Raeseung;Kim, Mintae;Jang, Wonyoung;Lee, Sun-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.388-390
    • /
    • 2019
  • 운영체제는 해당 시스템이 운영되면서 생기는 흔적을 남길 수 있게 설계되었다. 디지털 포렌식에서 아티팩트는 보관증거 또는 데이터의 정보를 확증하는데 사용된다. 디지털 정보는 사용자의 생활방식에 따라 사용자의 습관, 사상, 감정에 영향을 받아 저장될 수 있다. 디지털 증거의 경우, 한 저장매체에 많은 데이터가 함께 저장되어 있을 뿐만 아니라 대형 서버 시스템의 경우에는 수많은 사람들의 정보도 저장되어 특정의 데이터만을 찾아내기가 쉽지 않다. 이러한 문제를 해결하기 위해 자연어 처리와 머신러닝 기술이 활용될 수 있다. 자연어 처리기술은 인간과 컴퓨터 간 인터페이스를 쉽고 편하게 하고, 자연어로 기록되어 있는 아티팩트를 머신러닝을 이용하여 빠른 분석을 가능하게 한다. 본 논문은 자연어처리와 머신러닝을 이용한 디지털 아티팩트 분석 방안을 제안한다. 자연어 처리와 머신러닝을 이용하여 아티팩트에서 사용자의 의도를 파악할 수 있음을 실험을 통하여 확인하였다.

Study of Meta Data for Natural Language Query Processing (자연어 질의 처리를 위한 Meta Data에 관한 연구)

  • 신세영;정은영;김승권;김수영;박순철
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2000.05a
    • /
    • pp.201-209
    • /
    • 2000
  • 정보산업의 발달과 함께 일반 사용자들의 데이터베이스의 사용이 증가함에 따라 부정확한 자연어 질의 처리를 할 수 있는 인공 지능적인 질의시스템이 필요하게 되었다. 이러한 질의시스템이 자연어 질의를 처리하려면 불확실한 데이터들에 대한 정보를 제공하는 MetaData가 반드시 필요하고, 데이터베이스 분야와 인공지능 분야의 이론들을 바탕으로 MetaData의 정형화 및 분류가 필요하다. 본 연구에서는 퍼지이론, 확률이론을 기초로 하여 소속척도, 근접추론, 유사관계, 데이터마이닝 기법 등을 이용하여 MetaData를 정형화하고 분류하였다.

  • PDF

Ensemble-based Counterfeit Detection Algorithm (앙상블 기반의 위조 탐지 알고리즘)

  • Ilkin Taghiyev;Youngbok-Cho
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.01a
    • /
    • pp.101-102
    • /
    • 2023
  • 본 연구에서는 인터넷 상에서 발생되는 부정행위를 탐지할수 있는 신뢰 모델을 생성하고 개인의 프라이버시를 보장할수 있는 모델을 제시하였다. 인터넷 상에 게시판에 올려진 부정해위를 탐지하기 위해 앙상블 접근 방식 기반의 분류 모델을 제시하고 자동화된 도구를 제안하였다. 본 연구는 데이터에 대한 탐색적 데이터 분석을 수행하고 얻은 통찰력을 사용해 자연어처리 가반 텍스트를 기반으로 앙상블 기반의 위조 탐지 알고리즘을 제안하였다. 제안 알고리즘의 정확도는 99%로 자연어 처리에 높은 탐지율을 보였다.

  • PDF

Improving Contextual Understanding Using Sparse Attention Models (Sparse Attention 모델을 활용한 효율적인 문맥 이해)

  • Tae-Hoon Her
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.694-697
    • /
    • 2023
  • 본 논문은 문맥 이해에서 발생할 수 있는 문제점을 개선하기 위해 Sparse Attention 모델을 적용하였다. 실험 결과, 이 방법은 문맥 손실률을 상당히 줄이며 자연어 처리에 유용하다는 것을 확인하였다. 본 연구는 기계 학습과 자연어 처리분야에서 더 나은 문맥 이해를 위한 새로운 방향을 제시하며, 향후 다양한 모델과 방법론을 탐구하여 문맥 이해를 더욱 향상시킬 계획이다.

  • PDF