• Title/Summary/Keyword: 자연어분석

Search Result 562, Processing Time 0.032 seconds

Korean Morphological Analysis Method Based on BERT-Fused Transformer Model (BERT-Fused Transformer 모델에 기반한 한국어 형태소 분석 기법)

  • Lee, Changjae;Ra, Dongyul
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.11 no.4
    • /
    • pp.169-178
    • /
    • 2022
  • Morphemes are most primitive units in a language that lose their original meaning when segmented into smaller parts. In Korean, a sentence is a sequence of eojeols (words) separated by spaces. Each eojeol comprises one or more morphemes. Korean morphological analysis (KMA) is to divide eojeols in a given Korean sentence into morpheme units. It also includes assigning appropriate part-of-speech(POS) tags to the resulting morphemes. KMA is one of the most important tasks in Korean natural language processing (NLP). Improving the performance of KMA is closely related to increasing performance of Korean NLP tasks. Recent research on KMA has begun to adopt the approach of machine translation (MT) models. MT is to convert a sequence (sentence) of units of one domain into a sequence (sentence) of units of another domain. Neural machine translation (NMT) stands for the approaches of MT that exploit neural network models. From a perspective of MT, KMA is to transform an input sequence of units belonging to the eojeol domain into a sequence of units in the morpheme domain. In this paper, we propose a deep learning model for KMA. The backbone of our model is based on the BERT-fused model which was shown to achieve high performance on NMT. The BERT-fused model utilizes Transformer, a representative model employed by NMT, and BERT which is a language representation model that has enabled a significant advance in NLP. The experimental results show that our model achieves 98.24 F1-Score.

A Study on the Development of Emotional Content through Natural Language Processing Deep Learning Model Emotion Analysis (자연어 처리 딥러닝 모델 감정분석을 통한 감성 콘텐츠 개발 연구)

  • Hyun-Soo Lee;Min-Ha Kim;Ji-won Seo;Jung-Yi Kim
    • The Journal of the Convergence on Culture Technology
    • /
    • v.9 no.4
    • /
    • pp.687-692
    • /
    • 2023
  • We analyze the accuracy of emotion analysis of natural language processing deep learning model and propose to use it for emotional content development. After looking at the outline of the GPT-3 model, about 6,000 pieces of dialogue data provided by Aihub were input to 9 emotion categories: 'joy', 'sadness', 'fear', 'anger', 'disgust', and 'surprise'. ', 'interest', 'boredom', and 'pain'. Performance evaluation was conducted using the evaluation indices of accuracy, precision, recall, and F1-score, which are evaluation methods for natural language processing models. As a result of the emotion analysis, the accuracy was over 91%, and in the case of precision, 'fear' and 'pain' showed low values. In the case of reproducibility, a low value was shown in negative emotions, and in the case of 'disgust' in particular, an error appeared due to the lack of data. In the case of previous studies, emotion analysis was mainly used only for polarity analysis divided into positive, negative, and neutral, and there was a limitation in that it was used only in the feedback stage due to its nature. We expand emotion analysis into 9 categories and suggest its use in the development of emotional content considering it from the planning stage. It is expected that more accurate results can be obtained if emotion analysis is performed by additionally collecting more diverse daily conversations through follow-up research.

Multifaceted Evaluation Methodology for AI Interview Candidates - Integration of Facial Recognition, Voice Analysis, and Natural Language Processing (AI면접 대상자에 대한 다면적 평가방법론 -얼굴인식, 음성분석, 자연어처리 영역의 융합)

  • Hyunwook Ji;Sangjin Lee;Seongmin Mun;Jaeyeol Lee;Dongeun Lee;kyusang Lim
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2024.01a
    • /
    • pp.55-58
    • /
    • 2024
  • 최근 각 기업의 AI 면접시스템 도입이 증가하고 있으며, AI 면접에 대한 실효성 논란 또한 많은 상황이다. 본 논문에서는 AI 면접 과정에서 지원자를 평가하는 방식을 시각, 음성, 자연어처리 3영역에서 구현함으로써, 면접 지원자를 다방면으로 분석 방법론의 적절성에 대해 평가하고자 한다. 첫째, 시각적 측면에서, 면접 지원자의 감정을 인식하기 위해, 합성곱 신경망(CNN) 기법을 활용해, 지원자 얼굴에서 6가지 감정을 인식했으며, 지원자가 카메라를 응시하고 있는지를 시계열로 도출하였다. 이를 통해 지원자가 면접에 임하는 태도와 특히 얼굴에서 드러나는 감정을 분석하는 데 주력했다. 둘째, 시각적 효과만으로 면접자의 태도를 파악하는 데 한계가 있기 때문에, 지원자 음성을 주파수로 환산해 특성을 추출하고, Bidirectional LSTM을 활용해 훈련해 지원자 음성에 따른 6가지 감정을 추출했다. 셋째, 지원자의 발언 내용과 관련해 맥락적 의미를 파악해 지원자의 상태를 파악하기 위해, 음성을 STT(Speech-to-Text) 기법을 이용하여 텍스트로 변환하고, 사용 단어의 빈도를 분석하여 지원자의 언어 습관을 파악했다. 이와 함께, 지원자의 발언 내용에 대한 감정 분석을 위해 KoBERT 모델을 적용했으며, 지원자의 성격, 태도, 직무에 대한 이해도를 파악하기 위해 객관적인 평가지표를 제작하여 적용했다. 논문의 분석 결과 AI 면접의 다면적 평가시스템의 적절성과 관련해, 시각화 부분에서는 상당 부분 정확도가 객관적으로 입증되었다고 판단된다. 음성에서 감정분석 분야는 면접자가 제한된 시간에 모든 유형의 감정을 드러내지 않고, 또 유사한 톤의 말이 진행되다 보니 특정 감정을 나타내는 주파수가 다소 집중되는 현상이 나타났다. 마지막으로 자연어처리 영역은 면접자의 발언에서 나오는 말투, 특정 단어의 빈도수를 넘어, 전체적인 맥락과 느낌을 이해할 수 있는 자연어처리 분석모델의 필요성이 더욱 커졌음을 판단했다.

  • PDF

Syllables-based Named Entity Extraction and Automatic Corpus Construction using Bidirectional Dynamic LST (Bidirectional Dynamic LSTM 을 이용한 음절 단위 개체명 추출 및 자동화된 말뭉치 구축)

  • Oh, Sungsik;Lim, Changdae;Ahn, Keeho;Park, Weijin
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.317-320
    • /
    • 2017
  • 개체명 인식은 자연어 문장에서 장소, 제작물, 사람 등 분류를 통한 의미 부여가 가능한 단어를 파악하는 기술로서 의미 분석을 위한 핵심 기술이다. 현재 많은 개체명 분석 관련 연구들은 형태소 분석 결과에 의존적인 형태를 갖고 있어서, 형태소 분석 결과의 정확성이 개체명 분석 결과의 성능에 영향을 미치고 있다. 본 연구에서는 형태소 분석 과정을 거치지 않는 음절 기반의 개체명 분석 기술을 제안하여 형태소 분석의 정확도가 낮은 통신어, 신조어 분석 성능을 향상하였다. 또한, 자동화된 방법으로 음절 단위 개체명 말뭉치 및 개체명 사전을 구축하는 프로세스를 정의하여 개체명 분석의 정확도 향상 및 인지 범주의 확대를 도모하였다. 본 연구에서 제안한 개체명 인식 기술은 한국어 개체명 표준에 기반한 129가지의 개체명 분류가 가능하며, 이는 자연어 처리 기술이 필요한 산업계에서 상용화하는데 큰 기여를 할 것으로 판단된다.

  • PDF

A study on automation of AV(Atomic Vulnerability) ID assignment (단위 취약점 식별자 부여 자동화에 대한 연구)

  • Kim, Hyung-Jong
    • Journal of Internet Computing and Services
    • /
    • v.9 no.6
    • /
    • pp.49-62
    • /
    • 2008
  • AV (Atomic Vulnerability) is a conceptual definition representing a vulnerability in a systematic way, AVs are defined with respect to its type, location, and result. It is important information for meaning based vulnerability analysis method. Therefore the existing vulnerability can be expressed using multiple AVs, CVE (common vulnerability exposures) which is the most well-known vulnerability information describes the vulnerability exploiting mechanism using natural language. Therefore, for the AV-based analysis, it is necessary to search specific keyword from CVE's description and classify it using keyword and determination method. This paper introduces software design and implementation result, which can be used for atomic vulnerability analysis. The contribution of this work is in design and implementation of software which converts informal vulnerability description into formal AV based vulnerability definition.

  • PDF

Function Point Analysis using Goal and Scenario based Requirements (목표 및 시나리오 기반 요구사항을 이용한 기능점수 분석)

  • Choi Soon-Hwang;Kim Jin-Tae;Park Soo-Yong;Han Ji-Young
    • Journal of KIISE:Software and Applications
    • /
    • v.33 no.8
    • /
    • pp.655-667
    • /
    • 2006
  • This paper proposes a method for counting function point using goal and scenario based requirements. Function Point is a software sizing method and widely used as a basis to estimate software development cost. Requirements elicitation and analysis should be performed before function point analysis but function point analysis method doesn't deal with requirements elicitation and analysis. For that reason, Function point extraction method from existing requirements method is needed and if the requirements method has advantage for traceability and elicitation, it is suitable for managing cost. Goal and scenario method is widely used as requirements elicitation and analysis. It has also good traceability. Therefore, this paper discusses a method for extracting function point from requirements text gathered using the goal and scenario based requirements elicitation technique. The proposed method aims to establish and maintain traceability between function point and requirements text. Text based function point extraction guidance rules have been developed. The proposed methodology has been applied to Order Processing System development.

Analyzing employment trends in response to AI exposure: K-shaped labor polarization in Korea (인공지능 노출 정도에 따른 고용 추세 분석: K자형 고용 양극화)

  • Lee, Yeseul;Hwang, Hyeonjun
    • Informatization Policy
    • /
    • v.30 no.3
    • /
    • pp.69-91
    • /
    • 2023
  • The impact of technological advancements on employment is a matter of ongoing debate, with discussions on the effects of AI technology development on employment being particularly scarce. This study employs the natural language processing technique (SBERT) and patents to calculate an occupation-based AI exposure score and to analyze employment trends by group. It proposes a method for calculating the AI exposure score based on the similarity between Korean patent information and US job descriptions and linking SOC(U.S.) and KSCO(Korea). The analysis of domestic AI patent applications and regional employment data in the KOSIS Database since 2013 reveals a K-shaped polarization pattern in Korean employment trends among groups with above and below average levels of AI exposure.

퍼지 집단 선호 분석을 위한 Blin-Whinston알고리즘

  • 박대석;김희철
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2000.11a
    • /
    • pp.415-422
    • /
    • 2000
  • 퍼지라는 용어는 1962년 Zadeh가 확률이론으로 해결하기 어려운 모호한 양(Fuzzy guautity)을 다루기 위해 처음 사용하였으며, Zadeh는 1965년 처음으로 체계적인 "Fuzzy sets"이라는 논문을 발표하였다. 그 후 이론적인 발전과 더불어 여러 부분(정보이론, 시스템분석, 인공지능, 전문가시스템, 의사결정분석, 자연어 처리 등)에 걸친 응용 연구가 수행되어지고 있다.(중략)지고 있다.(중략)

  • PDF

3D Object State Representation via State Diagram based on Informal Natural Language Requirement Specifications (비정형 자연어 요구 사항 기반 상태 모델을 통한 3D 객체의 상태 표현 메커니즘)

  • Ye Jin Jin;Chae Yun Seo;R. Young Chul Kim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.494-496
    • /
    • 2024
  • 현재 소프트웨어 산업에서 자연어 요구사항의 정확한 분석 연구는 활발히 진행되고 있다. 그러나, 문법적인 분석만을 통해 해석하는 것이 일반적이다. 본 연구는 요구공학과 언어학 그리고 카툰 공학을 접목을 제안한다. 이를 위해서, 1) 언어학적 관점에는 촘스키의 구문 구조 분석 이론과 필모어의 의미역 이론을 결합하여 문법적, 의미적 분석을 수행한다. 2) 요구공학 관점에서는 요구사항 분석으로 상태 모델 속성 추출 및 접목한다. 3) 카툰 공학에서는 3D 이미지 생성한다. 또한, 해결 못했던 동사와 형용사에 대해 분석하여 범위를 확장한다. 즉 언어학적 분석을 바탕으로 UML 상태 다이어그램을 추출하고, 이를 3D 상태 이미지 생성한다. 본 연구는 AI 기술(Text to Image)에 소프트웨어 공학적 방법에서의 절차적인 공정과 재사용 적용함으로써, AI 내부 작동 원리에 대해 체계적으로 연구하고자 한다.

The Pragmatics of Automatic Query Expansion Based on Search Results of Natural Language Queries (탐색결과에 근거한 자연어질의 자동확장 및 응용에 관한 연구 고찰)

  • 노정순
    • Journal of the Korean Society for information Management
    • /
    • v.16 no.2
    • /
    • pp.49-80
    • /
    • 1999
  • This study analyses the researches on automatic query modification, expansion and combination based on search results of natural language queries and gives a conceptual framework for the factors affecting the effectiveness of the relevance feedback. The operating and experimental systems based on the vector space model, the binary independence model and the inference net model are reviewed, and it is found that the effectiveness of query expansion is affected by conceptual models, algorithms for weighting terms and documents and selecting query terms to be added, size of relevant and non-relevant documents to be used and size of terms to be added in relevance feedback, query length, type and size of DBs, etc.

  • PDF