• 제목/요약/키워드: 자연어 분석

검색결과 556건 처리시간 0.029초

자연어 처리 기법을 활용한 충돌사고 원인 제공 비율 예측 모델 개발 (Collision Cause-Providing Ratio Prediction Model Using Natural Language Processing Analytics)

  • 윤익현;박혜인;이창희
    • 해양환경안전학회지
    • /
    • 제30권1호
    • /
    • pp.82-88
    • /
    • 2024
  • 현대 해양 산업은 기술적 발전을 통해 신속한 발전을 이루고 있다. 이러한 발전을 주도하는 주요 기술 중 하나는 데이터 처리 기술이며, 이 중 자연어 처리 기법은 사람의 언어를 기계가 이해하고 처리할 수 있도록 하는 기술이다. 본 연구는 자연어 처리 기법을 통해 해양안전심판원의 재결서를 분석하여 이미 재결이 이루어진 선박 충돌사고의 원인 제공 비율을 학습한 후, 새로운 재결서를 입력하면 원인 제공 비율을 예측하는 모델을 개발하고자 하였다. 이 모델은 사고 당시 적용되는 항법과 원인 제공 비율에 영향을 주는 핵심 키워드의 가중치를 이용하여 사고의 원인 제공 비율을 계산하는 방식으로 구성하였다. 이 연구는 이러한 방식을 통해 제작한 모델의 정확도를 분석하고, 모델의 실무 적용 가능성을 검토함과 동시에 충돌사고 재발 방지 및 해양사고 당사자들의 분쟁 해결에 기여할 것으로 기대한다.

자연어처리 모델을 이용한 이커머스 데이터 기반 감성 분석 모델 구축 (E-commerce data based Sentiment Analysis Model Implementation using Natural Language Processing Model)

  • 최준영;임희석
    • 한국융합학회논문지
    • /
    • 제11권11호
    • /
    • pp.33-39
    • /
    • 2020
  • 자연어 처리 분야에서 번역, 형태소 태깅, 질의응답, 감성 분석등 다양한 영역의 연구가 활발히 진행되고 있다. 감성 분석 분야는 Pretrained Model을 전이 학습하여 단일 도메인 영어 데이터셋에 대해 높은 분류 정확도를 보여주고 있다. 본 연구에서는 다양한 도메인 속성을 가지고 있는 이커머스 한글 상품평 데이터를 이용하고 단어 빈도 기반의 BOW(Bag Of Word), LSTM[1], Attention, CNN[2], ELMo[3], KoBERT[4] 모델을 구현하여 분류 성능을 비교하였다. 같은 단어를 동일하게 임베딩하는 모델에 비해 문맥에 따라 다르게 임베딩하는 전이학습 모델이 높은 정확도를 낸다는 것을 확인하였고, 17개 카테고리 별, 모델 성능 결과를 분석하여 실제 이커머스 산업에서 적용할 수 있는 감성 분석 모델 구성을 제안한다. 그리고 모델별 용량에 따른 추론 속도를 비교하여 실시간 서비스가 가능할 수 있는 모델 연구 방향을 제시한다.

동사정보를 이용한 자연어 질의 분석 (Natural Language Query Analysis using Verb Information)

  • ;김옥형;박기선;이용석;이말례
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
    • /
    • pp.92-97
    • /
    • 2006
  • 본 논문에서는 검색엔진을 한번도 접해보지 않은 초보자나 초등학생과 같이 어휘력이 부족하여 키워드 선정에 어려움이 있는 사용자들이 의문대명사가 포함된 질의 문장을 통해 보다 쉽게 웹 문서의 검색이 가능하도록 하기 위하여 의문대명사가 포함된 의문형 구문정보에 기반한 질의 분석 방법을 제안한다. 따라서 정보 검색을 위한 의문대명사형 자연어 질의에 대하여 구문 정보 및 술어 정보에 기반한 질의 분석 및 확장을 통하여 의문대명사를 구체적인 의미의 키워드로 대체하여 사용자의 질의 의도가 보다 명확해 지도록 함으로써 사용자가 원하는 정답 문서가 상위에 랭크되도록 하고자 한다.

  • PDF

자연어 처리를 활용한 전세계 전염병 알림 사이트 (A global epidemic notification site using natural language processing)

  • 곽찬우;김예찬;최진황
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.905-908
    • /
    • 2020
  • 본 논문에서는 글로벌화가 진행됨에 따라 전 세계의 재난 경보시스템의 중요성을 인지하고, 현재 유행하고 있는 코로나 바이러스를 중점으로 알림 사이트를 개발하였다. 기존의 정보 제공 사이트들과 차별성을 두고자, 기존의 정보들을 분석하고 재분류하여 새로운 형태의 사이트의 형태를 가진다. 이를 위해 인공지능의 한 분야인 자연어처리를 활용하여 기존의 정보를 수집하고 가공하여, 보다 투명하고, 효율적이고, 가치 있는 정보를 게시한다. 정보의 정확성과 데이터 절감을 위하여 여러 조건을 통해 기존의 정보들을 재분류 작업 이후 WATSON NLU(Natural Language Understanding)를 통해 분석하여, 필요한 정보들을 각 대시보드에 게시한다. 각 대시보드는 NLU분석에서 얻을 수 있는 정보들을 기반으로 구성되어 있으며, 간결성과 가시성을 기반으로 정보를 확인할 수 있는 알림 사이트이다.

클라우드 환경에서 자연어처리 기법을 활용한 취약점 분석 시스템 설계 (Designing a vulnerability analysis system using natural language processing techniques in a cloud environment)

  • 송진수;이필원;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.122-124
    • /
    • 2021
  • 최근 4차 산업혁명의 기술이 발전하며 인공지능과 클라우드 컴퓨팅의 융합에 대한 연구가 활발하게 진행되고 있으며 클라우드 컴퓨팅에 컨테이너 기술을 접목한 새로운 컴퓨팅 환경이 주목받고 있다. 그러나 현재 사용되고 있는 컨테이너 기반의 가상화 기술은 컨테이너 실행에 필요한 파일과 설정 값을 포함하고 있는 컨테이너 이미지를 통해 배포하는 방식을 사용하고 다수의 컨테이너가 하나의 커널을 공유하기 때문에 취약한 패키지를 사용하는 컨테이너 이미지가 다수의 사용자와 공유 되어 시스템 보안이 매우 취약하다 이에 본 논문에서는 자연어처리 기법을 활용한 취약점 분석 시스템을 통해 컨테이너를 실행에 필요한 파일과 설정 값을 포함하고 있는 컨테이너 이미지에서 취약점을 분석하는 시스템을 제안한다.

디스플레이 산업에서 AI 기술의 새로운 적용 동향

  • 장원혁;최현영;김소해;이상구
    • 인포메이션 디스플레이
    • /
    • 제23권4호
    • /
    • pp.35-44
    • /
    • 2022
  • AI기술의 유용성과 발전 가능성은 다양한 분야에서 확인되어 왔고, 디스플레이 산업에도 AI 기술들이 적극 도입되고 있다. 디스플레이 산업에 도입된 기존의 AI 기술들은 주로 engineer나 불량 검사자의 업무를 자동화하는 목적이었으나, 최근에는 engineer의 업무를 대체하는 고도의 지능화된 AI 기술들이 도입되고 있다. 본 논문에서는 이러한 지능화된 AI 기술 중에서 강화 학습, 자연어 처리, Pattern Matching 기술의 원리와 적용 사례들을 다루어 보았다. 첫번째로 강화 학습의 기본 개념을 설명하고, 설비 control (scheduling), 재료 탐색, 그리고 회로 설계에서의 적용 사례를 살펴보았다. 두번째로는 자연어 처리에서는 기술의 기본 원리 및 다양한 적용 방법론들에 대하여 다루었고, 제조 검사 리포트 분석, 지식재산권 분석, 연구문헌 분석 등에서의 활용 사례를 살펴보았다. 마지막으로 Pattern Matching에서는 기술 개요와 최근의 기술 동향을 기술하였고, Object Detection과 Object Tracking 기술 비교와 함께 패널 설계 도면으로부터 engineer 가 관심을 가져야 할 pattern 탐색에 대한 적용 사례를 살펴보았다.

BERT-Fused Transformer 모델에 기반한 한국어 형태소 분석 기법 (Korean Morphological Analysis Method Based on BERT-Fused Transformer Model)

  • 이창재;나동열
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권4호
    • /
    • pp.169-178
    • /
    • 2022
  • 형태소는 더 이상 분리하면 본래의 의미를 잃어버리는 말의 최소 단위이다. 한국어에서 문장은 공백으로 구분되는 어절(단어)의 조합이다. 형태소 분석은 어절 단위의 문장을 입력 받아서 문맥 정보를 활용하여 형태소 단위로 나누고 각 형태소에 적절한 품사 기호를 부착한 결과를 생성하는 것이다. 한국어 자연어 처리에서 형태소 분석은 가장 핵심적인 태스크다. 형태소 분석의 성능 향상은 한국어 자연어 처리 태스크의 성능 향상에 직결된다. 최근 형태소 분석은 주로 기계 번역 관점에서 연구가 진행되고 있다. 기계 번역은 신경망 모델 등으로 어느 한 도메인의 시퀀스(문장)를 다른 도메인의 시퀀스(문장)로 바꾸는 것이다. 형태소 분석을 기계 번역 관점에서 보면 어절 도메인에 속하는 입력 시퀀스를 형태소 도메인 시퀀스로 변환하는 것이다. 본 논문은 한국어 형태소 분석을 위한 딥러닝 모델을 제안한다. 본 연구에서 사용하는 모델은 기계 번역에서 높은 성능을 기록한 BERT-fused 모델을 기반으로 한다. BERT-fused 모델은 기계 번역에서 대표적인 Transformer 모델과 자연어 처리 분야에 획기적인 성능 향상을 이룬 언어모델인 BERT를 활용한다. 실험 결과 형태소 단위 F1-Score 98.24의 성능을 얻을 수 있었다.

자연어 처리 딥러닝 모델 감정분석을 통한 감성 콘텐츠 개발 연구 (A Study on the Development of Emotional Content through Natural Language Processing Deep Learning Model Emotion Analysis)

  • 이현수;김민하;서지원;김정이
    • 문화기술의 융합
    • /
    • 제9권4호
    • /
    • pp.687-692
    • /
    • 2023
  • 본 연구는 자연어 처리 딥러닝 모델의 감정분석 정확성을 확인해보고 이를 감성 콘텐츠 개발에 활용하도록 제안한다. GPT-3모델의 개요를 살펴본 후 Aihub에서 제공하는 희곡 대사 데이터 약 6000개를 입력하고 '기쁨', '슬픔', '공포', '분노', '혐오', '놀람', '흥미', '지루함', '통증' 총 9가지 감정 범주로 분류하였다. 이후 자연어 처리 모델 평가 방법인 정확도, 정밀도, 재현율, F1-score 의 평가지표를 활용하여 성능평가를 진행하였다. 감정분석 결과 91% 이상의 정확도를 보였으며 정밀도의 경우 '공포','통증'이 낮은 수치를 보였다. 재현도의 경우 '슬픔', '분노', '혐오'와 같은 부정적인 감정에서 낮은 수치가 나타났고 특히 '혐오'의 경우 데이터 양의 부족으로 인해 오차가 나타난 것으로 확인된다. 기존 연구의 경우 감정분석을 긍정, 부정, 중립으로 나누는 극성분석에만 주로 사용되어 그 특성상 피드백 단계에서만 사용되는 한계가 있었다. 본 연구는 감정분석을 9가지 범주로 확장하여 기획 단계에서부터 이를 고려한 개발을 통해 게임, 전시, 공연, 관광, 디자인, 에듀테크, 미디어 등에서 감성 콘텐츠 개발에 활용될 수 있음을 제안한다. 후속 연구를 통하여 더욱 다양한 일상 대화들을 추가로 수집하여 감정분석을 진행한다면 더욱 정확한 결과를 얻을 수 있을 것으로 기대된다.