• 제목/요약/키워드: 자연어 처리 도구

검색결과 47건 처리시간 0.025초

그래픽 언어를 이용한 임베디드 시스템의 단일 요구사항 모델링 (A Single Requirement Modeling with Graphical Language for Embedded System)

  • 오정섭;이홍석;박현상;김장복;최경희;정기현
    • 정보처리학회논문지D
    • /
    • 제15D권4호
    • /
    • pp.505-512
    • /
    • 2008
  • 임베디드 시스템에 대한 RBT(Requirement-Based Testing)를 수행하기 위하여 정확한 요구사항 명세서가 존재해야 한다. 그러나 고객이 자연어로 작성하는 요구사항은 모호성, 부정확성, 불일치성을 가지고 있다. 이를 해결하기 위해서 UML, Simulink등의 모델링 언어를 이용하여 요구사항을 다시 모델링 하지만, 이 과정에서 요구사항을 use-case단위로 조합하고 재해석하는 단점이 생겨나게 되었다. 본 논문에서는 임베디드 시스템에 대한 고객의 요구사항을 use-case단위의 조합이나 재해석이 필요 없이 곧바로 모델로 표현할 수 있는 그래픽 언어를 이용한 1:1 요구사항 모델링 기법을 소개한다. 제안한 방법은 1) 임베디드 시스템의 요구사항을 자연어가 아닌 의미가 분명한 그래픽 언어를 이용하여 표현하고, 2) 하나의 요구사항을 하나의 그래픽 모델로 표현한다. 또한 제안한 방법은 시스템의 입출력을 기반으로 "what-to-do"만을 기술하기 때문에 상위레벨의 요구사항이나 하위레벨의 요구사항 모두에 적용할 수 있는 기법이다. 이 기법이 적용된 REED라는 도구를 통하여 실제 프로젝트에 적용한 예를 살펴본다.

자연어 처리 기반 멀티 소스 이벤트 로그의 보안 심각도 다중 클래스 분류 (A Multiclass Classification of the Security Severity Level of Multi-Source Event Log Based on Natural Language Processing)

  • 서양진
    • 정보보호학회논문지
    • /
    • 제32권5호
    • /
    • pp.1009-1017
    • /
    • 2022
  • 로그 데이터는 정보 시스템의 주요 동작과 상태를 이해하고 판단하는 근거로 사용되어 왔으며, 여러 보안 분야 응용에서도 중요한 입력 데이터로 사용된다. 로그 데이터로부터 필요한 정보를 얻어 이를 근거로 의사 결정을 하고, 적절한 대응 방안을 취하는 것은 시스템을 보호하고 안정적으로 운영하는 데 있어 필수적인 요소이지만, 로그의 종류와 양이 폭발적으로 증가함에 따라 기존 도구들로는 효과적이고 효율적인 대응이 쉽지 않은 상황이다. 이에 본 연구에서는 자연어 처리 기반의 머신 러닝을 이용해 멀티 소스 이벤트 로그의 보안 심각도를 여러 단계로 분류하는 방법을 제안하였으며, 472,972건의 훈련 및 테스트 샘플을 이용하여 실험을 수행한 결과 99.59%의 정확도를 달성하였다.

기술 문헌 분석 테스트베드 툴킷 개발 (Developing a Test-Bed Toolkit for Scientific Document Analysis)

  • 최성필;송사광;정한민
    • 한국콘텐츠학회논문지
    • /
    • 제12권8호
    • /
    • pp.13-19
    • /
    • 2012
  • 본 논문은 논문, 특허, 연구보고서 등과 같은 다양한 과학 기술 문헌에 포함된 기술 지식을 효과적으로 추출하는데 필요한 텍스트 분석 엔진들의 효과적인 모니터링 및 성능 최적화를 위한 테스트베드 도구를 소개한다. 이 도구는 과학 기술 분야의 전문 용어를 비롯한 인명, 지명, 기관명 등을 자동으로 인식하는 기술 개체 인식 엔진을 위한 테스트베드와 인식된 기술 개체 간의 의미적 연관 관계를 자동으로 추출하는 기술개체 간 관계 추출 테스트베드로 구성되어 있다. 이를 활용함으로써 사용자 및 개발자들은 기술 문헌 분석 엔진의 실행 모니터링은 물론 오류 분석을 효율적으로 수행할 수 있다.

품사 분포와 Bidirectional LSTM CRFs를 이용한 음절 단위 형태소 분석기 (Syllable-based Korean POS Tagging using POS Distribution and Bidirectional LSTM CRFs)

  • 김혜민;윤정민;안재현;배경만;고영중
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.3-8
    • /
    • 2016
  • 형태소 분석기는 많은 자연어 처리 영역에서 필수적인 언어 도구로 활용되기 때문에 형태소에 대한 품사를 결정하는 것은 매우 중요하다. 최근 음절 기반으로 형태소의 품사를 태깅하는 방법에 대한 연구들이 많이 진행되고 있다. 음절 단위 형태소 분석은 음절 단위로 분리된 형태소에 대해서 기계학습을 이용하여 분리된 음절 단위로 품사를 태깅하는 단계를 가진다. 본 논문에서는 기존의 CRF를 이용한 음절 단위 품사 태깅 방법을 개선하기 위해 bi-LSTM-CRFs를 이용한 방법을 제안한다. 또한, bi-LSTM-CRFs의 입력을 음절의 품사 분포 벡터를 이용해 확장함으로써 음절 단위 품사 태깅의 성능을 향상 시켰다.

  • PDF

개념 검색어 확장을 통해 질의 형식화를 도와주는 “개념 마법사”의 설계 및 구현 (Design and Implementation of “Concept Wizard” Supporting Query Formulation with Concept Term Expansion)

  • 강현규
    • 정보처리학회논문지B
    • /
    • 제9B권4호
    • /
    • pp.437-444
    • /
    • 2002
  • 정보 검색 시스템이나 웹(Web)이 방대해지고 초보적 수준의 사용자들이 늘어남에 따라 간단한 조작만으로 원하는 정보를 얻어낼 수 있는 도구의 개발이 점점 중요해지고 있다. 일반적으로 정보 검색 시스템이나 검색 엔진을 통한 질의 입력 방법이나 연산자들이 매우 다양하며 일반 사용자들은 질의를 형식화 하는 것이 쉽지 않다. 본 논문은 일반 사용자가 정보 검색 시스템이나 검색 엔진을 통하여 정보를 검색하기 위한 검색어 형식화를 도와주는 개념 마법사를 제안한다. 본 논문에서 제시한 개념 마법사는 실세계 지식의 부족을 시소러스를 이용하여 인터렉티브(interactive) 하게 제시하고 웹을 기반으로 하는 플러그인(plug-in)으로 제공함으로써 유용성 및 확장성이 크다.

문장틀 기반 Sequence to Sequence 구어체 문장 문법 교정기 (Template Constrained Sequence to Sequence based Conversational Utterance Error Correction Method)

  • 정지수;원세연;서혜인;정상근;장두성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.553-558
    • /
    • 2022
  • 최근, 구어체 데이터에 대한 자연어처리 응용 기술이 늘어나고 있다. 구어체 문장은 소통 방식 등의 형태로 인해 정제되지 않은 형태로써, 필연적으로 띄어쓰기, 문장 왜곡 등의 다양한 문법적 오류를 포함한다. 자동 문법 교정기는 이러한 구어체 데이터의 전처리 및 일차적 정제 도구로써 활용된다. 사전학습된 트랜스포머 기반 문장 생성 연구가 활발해지며, 이를 활용한 자동 문법 교정기 역시 연구되고 있다. 트랜스포머 기반 문장 교정 시, 교정의 필요 유무를 잘못 판단하여, 오류가 생기게 된다. 이러한 오류는 대체로 문맥에 혼동을 주는 단어의 등장으로 인해 발생한다. 본 논문은 트랜스포머 기반 문법 교정기의 오류를 보강하기 위한 방식으로써, 필요하지 않은 형태소인 고유명사를 마스킹한 입력 및 출력 문장틀 형태를 제안하며, 이러한 문장틀에 대해 고유명사를 복원한 경우 성능이 증강됨을 보인다.

  • PDF

트리플 필터링을 통한 한국어 자가 지식 학습 정확률 향상 (Accuracy Improvement of Self-knowledge Learning by Filtering Triple)

  • 이지수;김경훈;최수정;박성배;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.174-177
    • /
    • 2015
  • 자가 지식 학습 프레임워크는 자연어 텍스트에서 지식 트리플을 생성하기 위한 방법 중 하나로, 문장의 의존 관계 트리 상에서 주어 개체와 목적어 개체 사이의 관계를 패턴으로 학습해 이 패턴을 바탕으로 새로운 지식 트리플을 생성한다. 그러나 이 방법은 의존 관계 트리를 생성하는 도구의 성능에 영향을 받을 뿐만 아니라 생성된 지식 트리플을 반복적으로 사용하는 자가 지식 학습의 특성상 오류가 누적될 가능성이 있다. 이러한 문제점을 해결하기 위해서 본 논문에서는 자가 지식 학습 프레임워크에서 생성된 지식 트리플을 TransR 신뢰도 함수를 사용해 신뢰도 값을 측정하여 그 값에 따라 지식 트리플을 필터링하는 방법을 제안한다. 실험 결과에 따르면 필터링 된 지식 트리플들이 그렇지 않은 지식 트리플들에 비하여 더 높은 정확률을 보여주어, 제안한 방법이 자가 지식 학습 프레임워크의 정확률 향상에 효과적임을 증명하였다.

  • PDF

기계학습 분류기의 예측확률과 만장일치를 이용한 한국어 서답형 문항 자동채점 시스템 (Automated Scoring System for Korean Short-Answer Questions Using Predictability and Unanimity)

  • 천민아;김창현;김재훈;노은희;성경희;송미영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.527-534
    • /
    • 2016
  • 최근 정보화 사회에서는 단순 암기보다는 문제 해결 능력과 종합적인 사고력을 바탕으로 창의적인 생각을 할 수 있는 인재를 요구한다. 이에 따라 교육과정도 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점자의 주관에 의존하여 채점이 진행되기 때문에, 채점 결과의 일관성을 확보하기 어렵다는 단점이 있다. 이런 점을 해결하기 위해 해외에서는 기계학습을 이용한 자동채점 시스템을 채점 도구로 사용하고 있다. 한국어는 영어와 언어학적으로 다른 분류에 속하므로 영어권에서 사용하는 자동채점 시스템을 한국어에 그대로 적용할 수 없다. 따라서 한국어 체계에 맞는 자동채점 시스템의 개발이 필요하다. 본 논문에서는 기계학습 분류기의 예측확률과 만장일치 방법을 사용한 한국어 서답형 문항 자동채점 시스템을 소개하고, 자동채점 시스템을 이용한 채점 결과와 교과 전문가의 채점 결과를 비교하여 자동채점 시스템의 실용성을 검증한다. 본 논문의 실험을 위해 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다. 평가 척도로 피어슨 상관계수와 카파계수를 사용했다. 채점자가 개입했을 때와 개입하지 않았을 때의 상관계수 모두 0.7 이상으로 강한 양의 상관관계를 보였다. 이는 자동채점 시스템이 교과 전문가가 채점한 결과와 유사한 방향으로 답안에 점수를 부여한 것이므로 자동채점 시스템을 채점 보조도구로서 충분히 사용할 수 있을 것이다.

한국어 문장 표현을 위한 비지도 대조 학습 방법론의 비교 및 분석 (Comparison and Analysis of Unsupervised Contrastive Learning Approaches for Korean Sentence Representations)

  • 유영현;이규민;전민진;차지이;김강산;김태욱
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.360-365
    • /
    • 2022
  • 문장 표현(sentence representation)은 자연어처리 분야 내의 다양한 문제 해결 및 응용 개발에 있어 유용하게 활용될 수 있는 주요한 도구 중 하나이다. 하지만 최근 널리 도입되고 있는 사전 학습 언어 모델(pre-trained language model)로부터 도출한 문장 표현은 이방성(anisotropy)이 뚜렷한 등 그 고유의 특성으로 인해 문장 유사도(Semantic Textual Similarity; STS) 측정과 같은 태스크에서 기대 이하의 성능을 보이는 것으로 알려져 있다. 이러한 문제를 해결하기 위해 대조 학습(contrastive learning)을 사전 학습 언어 모델에 적용하는 연구가 문헌에서 활발히 진행되어 왔으며, 그중에서도 레이블이 없는 데이터를 활용하는 비지도 대조 학습 방법이 주목을 받고 있다. 하지만 대다수의 기존 연구들은 주로 영어 문장 표현 개선에 집중하였으며, 이에 대응되는 한국어 문장 표현에 관한 연구는 상대적으로 부족한 실정이다. 이에 본 논문에서는 대표적인 비지도 대조 학습 방법(ConSERT, SimCSE)을 다양한 한국어 사전 학습 언어 모델(KoBERT, KR-BERT, KLUE-BERT)에 적용하여 문장 유사도 태스크(KorSTS, KLUE-STS)에 대해 평가하였다. 그 결과, 한국어의 경우에도 일반적으로 영어의 경우와 유사한 경향성을 보이는 것을 확인하였으며, 이에 더하여 다음과 같은 새로운 사실을 관측하였다. 첫째, 사용한 비지도 대조 학습 방법 모두에서 KLUE-BERT가 KoBERT, KR-BERT보다 더 안정적이고 나은 성능을 보였다. 둘째, ConSERT에서 소개하는 여러 데이터 증강 방법 중 token shuffling 방법이 전반적으로 높은 성능을 보였다. 셋째, 두 가지 비지도 대조 학습 방법 모두 검증 데이터로 활용한 KLUE-STS 학습 데이터에 대해 성능이 과적합되는 현상을 발견하였다. 결론적으로, 본 연구에서는 한국어 문장 표현 또한 영어의 경우와 마찬가지로 비지도 대조 학습의 적용을 통해 그 성능을 개선할 수 있음을 검증하였으며, 이와 같은 결과가 향후 한국어 문장 표현 연구 발전에 초석이 되기를 기대한다.

  • PDF

다형의 버그 추적 시스템 마이닝 및 분석을 위한 저장소 독립 모델 설계 (Designing a Repository Independent Model for Mining and Analyzing Heterogeneous Bug Tracking Systems)

  • 이재권;정우성
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권9호
    • /
    • pp.103-115
    • /
    • 2014
  • 본 논문은 다양한 버그 추적 시스템으로부터 추출한 데이터를 통합하여 단일 저장소 모델을 제공하는 UniBAS(Unified Bug Analysis System)를 제안한다. UniBAS는 MSR(Mining Software Repositories) 연구 과정에서의 저장소 추출, 데이터 가공이나 모델 생성과 같은 공통적인 반복 작업을 줄이고, 관련 연구자가 상위 수준의 연구에 보다 집중할 수 있도록 함으로써 해당 연구 수행에 발생하는 복잡도와 비용을 줄여준다. 또한, UniBAS는 데이터 추출 뿐 아니라 질의 기반 분석에 필요한 테이블, 뷰 및 저장 프로시저 등을 자동 생성하며, 수집한 데이터 관리와 외부 도구와의 연동을 위해 다양한 형식의 파일을 생성할 수 있다. 사례 연구로 UniBAS의 유용성을 검증하기 위해 Mozilla사이트의 Firefox프로젝트를 대상으로 실제 중복 버그 리포트를 탐지하는 실험을 진행하였다. 이 과정에서 자동 추출된 자료를 대상으로 질의와 분석이 유연하게 이루어질 수 있었으며, 다양한 자연어 처리 알고리즘 적용을 통해 유효한 실험 결과를 얻을 수 있었다.