• 제목/요약/키워드: 텍스트 모델링

검색결과 345건 처리시간 0.031초

신경망 기반 텍스트 모델링에 있어 순차적 결합 방법의 한계점과 이를 극복하기 위한 담화 기반의 결합 방법 (A Discourse-based Compositional Approach to Overcome Drawbacks of Sequence-based Composition in Text Modeling via Neural Networks)

  • 이강욱;한상규;맹성현
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권12호
    • /
    • pp.698-702
    • /
    • 2017
  • 자연 언어 처리(Natural Language Processing) 분야에 심층 신경망(Deep Neural Network)이 소개된 이후, 단어, 문장 등의 의미를 나타내기 위한 분산 표상인 임베딩(Embedding)을 학습하기 위한 연구가 활발히 진행되고 있다. 임베딩 학습을 위한 방법으로는 크게 문맥 기반의 텍스트 모델링 방법과, 기학습된 임베딩을 결합하여 더 긴 텍스트의 분산 표상을 계산하고자 하는 결합 기반의 텍스트 모델링 방법이 있다. 하지만, 기존 결합 기반의 텍스트 모델링 방법은 최적 결합 단위에 대한 고찰 없이 단어를 이용하여 연구되어 왔다. 본 연구에서는 비교 실험을 통해 문서 임베딩 생성에 적합한 결합 기법과 최적 결합 단위에 대해 알아본다. 또한, 새로운 결합 방법인 담화 분석 기반의 결합 방식을 제안하고 실험을 통해 기존의 순차적 결합 기반 신경망 모델 대비 우수성을 보인다.

토픽모델링을 활용한 부산항 항만안전성 이슈 동향에 관한 연구

  • 이정민;하도연;김율성
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2023년도 추계학술대회
    • /
    • pp.66-67
    • /
    • 2023
  • 최근 들어, 현대사회는 예측이 불가능한 다양한 위험성들이 존재하여 글로벌 의존도가 높은 항만물류산업의 위험부담이 증가하고 있다. 이에 본 연구에서는 항만산업의 안전성에 영향을 미치는 요인을 알아보기 위해 과거부터 현재까지 국내 항만 안전성에 영향을 미친 이슈들을 시계열적으로 살펴보고자 하였다. 이를 위하여 국내를 대표하는 부산항의 항만 안전성과 관련된 뉴스 기사 텍스트 데이터를 활용하여 LDA 토픽모델링 분석을 진행하여 부산항 항만안전 주요 이슈들의 동향을 살펴보고자 하였다.

  • PDF

독후감 텍스트의 토픽모델링 적용에 관한 탐색적 연구 (A Study on the Application of Topic Modeling for the Book Report Text)

  • 이수상
    • 한국도서관정보학회지
    • /
    • 제47권4호
    • /
    • pp.1-18
    • /
    • 2016
  • 이 연구는 독후감 텍스트의 주제분석에 토픽모델링의 활용방안을 탐색하는 것을 목적으로 하고 있다. 텍스트의 주제분석 방안으로서 토픽모델링 분석방법을 이해하고, R에서 제공하는 "topicmodels" 패키지의 LDA 함수를 사용하여 23건의 사례 독후감 텍스트들을 대상으로 실제의 분석작업을 수행하였다 토픽모델링 분석결과 16개의 토픽들을 추출하였고 토픽과 구성 단어들의 관계에서 토픽 네트워크 사례 독후감과 토픽들의 관계에서 독후감 네트워크를 구성하였다. 이후 토픽 네트워크와 독후감 네트워크를 대상으로 중심성 분석을 수행하였으며 분석결과는 다음과 같다. 첫째 16개의 토픽들이 1개의 컴포넌트를 가지는 네트워크로 나타났다. 이것은 16개 토픽들이 상호 연관되어 있다는 것을 의미한다. 둘째, 독후감 네트워크에서는 연결정도 중심성이 높은 독후감들과 낮은 독후감들로 구분이 되었다. 전자의 독후감들은 다른 독후감들과 주제적으로 유사성을 가지며 후자의 독후감들은 다른 독후감들과 주제적으로 상이성을 가지는 것으로 해석하였다. 토픽모델링의 결과를 네트워크 분석과 결합함으로써 독후감의 주제파악에 유용한 결과들을 얻게 되었다.

대어휘 음성인식 언어모델링을 위한 텍스트 코퍼스 구축 (Text Corpus Construction for Language Model)

  • 김정세;윤애선;권혁철
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2002년도 하계학술발표대회 논문집 제21권 1호
    • /
    • pp.155-158
    • /
    • 2002
  • 본 논문은 음성정보연구센터에서 추진하고 있는 대용량 텍스트 코퍼스 구축에 관하여 기술한다. 총 3 년 동안 약 3 억$\~$5 억 어절 수집을 목표로 하고 있으며, 주 목적은 대어휘 음성인식용 언어모델링을 위한 통계정보 추출용으로 활용할 예정이다. 1 차년도인 2002 년에 수집할 텍스트의 양은 약 6 천만 어절로 주요 일간지와 방송뉴스를 대상으로 하고 있다. 이 중 2 천만 어절은 띄어쓰기, 철자오류 수정 등을 수동으로 수행하고, 나머지 어절은 자동 검증 툴을 사용하여 오류를 수정하고자 한다. 본 논문에서는 공동 이용 가능한 텍스트 코퍼스의 구축 방안과 구축 시의 고려해야 할 사항들을 제시하고자 한다.

  • PDF

텍스트 마이닝 기반의 데이터 분석 웹 애플리케이션 (Data Analysis Web Application Based on Text Mining)

  • 길완제;김재웅;박구락;이윤열
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.103-104
    • /
    • 2021
  • 본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 웹크롤링 기법을 활용하여 키워드를 입력하면 요약된 논문 정보를 파일로 저장할 수 있고 또한 키워드 빈도 분석과 토픽 모델링 등을 통해 연구 동향을 손쉽게 확인해볼 수 있는 웹 애플리케이션을 설계하고 구현하는 것을 목표로 한다. 제안 모델인 웹 애플리케이션을 통해 프로그래밍 언어와 데이터 분석 기법에 대한 지식이 부족하더라도 논문 수집과 저장, 텍스트 분석을 경험해볼 수 있다. 또한, 이러한 웹 시스템 개발은 기존의 html, css, java script와 같은 언어에 의존하지 않고 파이썬 라이브러리를 활용하였기 때문에 파이썬을 기반으로 데이터 분석과 머신러닝 교육을 수행할 경우 프로젝트 기반 수업 교육 과정으로 채택이 가능할 것으로 기대된다.

  • PDF

코로나19 판데믹 이후 컨테이너선 운임 상승 요인분석: 텍스트 분석을 중심으로 (Analysis of Factors Affecting Surge in Container Shipping Rates in the Era of Covid19 Using Text Analysis)

  • 나진성
    • 한국산업정보학회논문지
    • /
    • 제27권1호
    • /
    • pp.111-123
    • /
    • 2022
  • 코로나19 판데믹 상황에서 컨테이너선 운임은 유례없는 큰 폭의 상승세를 보이고 있다. 컨테이너선 운임 상승 요인에 대해서 다양한 분석이 이루어지고 있으나, 비정형 데이터인 텍스트 자료를 활용한 분석은 전무한 상황이다. 따라서 본 연구에서는 관련 기사들을 대상으로 최근의 컨테이너선 운임 상승의 요인들을 텍스트 마이닝 기법중 하나인 네트워크 텍스트 분석과 LDA 토픽 모델링을 통해 파악하였다. 2020년 1월부터 2021년 7월까지 로이즈리스트에 게재된 기사들을 대상으로 텍스트 분석을 하였다. 분석 결과, 중국과 미국의 무역마찰, 글로벌 생산감소를 예측한 글로벌 선사들의 급격한 기항 횟수의 감소와 임시결항의 증가, 터미널 혼잡, 수에즈 운하 봉쇄와 같은 예기치 못한 사고들이 주요 원인으로 분석되었다.

감성분석과 토픽모델링을 활용한 농촌태양광 관련 이슈 연구 : 언론 기사와 블로그 포스트 비교 (Application of Sentiment Analysis and Topic Modeling on Rural Solar PV Issues : Comparison of News Articles and Blog Posts)

  • 기재홍;안승혁
    • 디지털융복합연구
    • /
    • 제18권9호
    • /
    • pp.17-27
    • /
    • 2020
  • 사회적 의제 설정 영향력을 지닌 미디어인 언론 기사와 블로그 포스트에서 농촌태양광이 어떻게 다루어지고 있는지 분석하기 위해 텍스트 마이닝 방법을 활용하였다. 농촌태양광을 키워드로 웹스크래핑을 통해 기사와 블로그 포스트의 텍스트 자료를 수집하고, 이에 대해 감성분석과 토픽모델 기법을 적용하여 연구를 수행했다. 감성분석 결과 농촌태양광에 대한 텍스트에서 두 매체 모두 긍정적인 입장을 가지는 비율이 높았는데, 블로그의 경우 기사에 비해 부정적인 내용을 담은 텍스트의 비중이 훨씬 낮은 것을 확인할 수 있었다. 그리고 토픽모델링 결과로 긍정 기사는 정부의 보급계획 관련 토픽들의 비중이 컸고, 부정 기사는 다양한 토픽들의 비중이 고르게 분포하였다. 블로그는 긍정 포스트의 경우 농촌 지역 설치 관련 토픽들이, 부정 포스트는 환경 피해 관련 토픽들이 가장 큰 부분을 차지했다. 기존에 별개로 이루어지던 감성분석과 토픽모델링을 결합하는 연구 방식을 제시함으로써 농촌태양광에 대한 이슈를 효과적으로 파악할 수 있었다.

국민청원글의 토픽 모델링을 통한 교육이슈 분석 (Analysis of Educational Issues through Topic Modeling of National Petitions Text)

  • 심재권
    • 정보교육학회논문지
    • /
    • 제25권4호
    • /
    • pp.633-640
    • /
    • 2021
  • 교육과 관련된 이슈는 다양한 집단과 상황이 서로 복잡하게 연계된 사회문제로 교육과 관련된 현상을 분석하여 이슈와 문제를 구체적으로 발견하는 것은 쉽지 않은 일이다. 한국어 기반 텍스트 분석은 정량적인 형태로 분석이 가능하고, 텍스트 분석기법의 발전에 따라 연구적인 성과를 내고 있어 교육과 관련된 이슈를 한국어 텍스트로 된 데이터에서 도출하는데 충분히 활용할 수 있다. 본 연구는 청와대 국민청원 홈페이지 게시판의 육아/교육 분야의 청원글을 수집하고 텍스트 분석방법을 활용하여 교육계의 이슈와 문제를 도출하고자 하였다. 분석은 토픽 모델링 기법 중 잠재 디리클레 할당(LDA)을 통해 6개 토픽을 도출하였고, 주요 키워드의 연관규칙을 분석하여 그래프로 시각화하였다. 기존의 설문을 통한 교육의 이슈를 도출하는 방법 이외에 추가로 텍스트 기반의 분석방법을 통해 이슈를 충분히 발견할 수 있다는 점에서 향후 연구의 방향과 정책에 시사점을 제공할 수 있다.

규칙기반 텍스트 영역 선택 기법을 이용한 펜기반 교정 시스템의 구현 (Implementation of Pen-based Editing System using Rule-based Text Selection Technique)

  • 정한상;김재경;손원성;임순범;최윤철
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 추계학술발표논문집
    • /
    • pp.203-206
    • /
    • 2002
  • 최근 웹을 기반으로 한 문서의 전자화가 이루어지면서 기존의 전통적인 펜기반 교정 시스템 또한 온라인 상의 전자 문서 환경에 맞게 변화하고 있다. 이러한 펜기반 입력 기법을 사용하는 교정 시스템에서는 일반 문서와 달리 웹 문서의 구조정보를 고려한 편집이 지원되어야 하며 또한 교정 부호와 텍스트 간의 정확한 영역 인식이 이루어져야 한다. 본 연구에서는 온라인 교정 시스템 모델링을 통하여 온라인 환경에 적합한 교정 부호를 정의하고, 교정 대상 텍스트 영역을 편집 가능한 단위로 구분하여 효율적인 편집 연산이 이루어 질 수 있도록 하였다. 또한 웹 기반의 구조문서(HTML/XML) 편집 환경을 고려하여 편집으로 인한 문서의 구조 정보 변경을 지원하기 위하여 텍스트를 비구조 및 구조정보 텍스트로 분류하여 정의하였다. 본 연구에서는 이러한 모델에 기반하여 교정 부호의 특성에 따른 가변적인 편집 텍스트 영역 인식 규칙 모델을 정의하여 교정 부호와 편집 텍스트 영역간의 모호성을 최소화 하고, 편집으로 인한 문서의 구조 정보 변경을 지원하는 시스템을 구현하였다. 결과적으로 온라인 웹 문서 환경에서 펜기반의 모호한 교정 부호의 입력을 인지적인 관점에서 해석하여 보다 정확한 교정 작업 수행을 지원하도록 하였다.

  • PDF

지능형 펜기반 온라인 교정 시스템의 설계 및 구현 (Modeling and Implementation of Intelligent Pen-based Online Editing System)

  • 김재경;손원성;정한상;임순범;최윤철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.178-180
    • /
    • 2002
  • 최근 종이 문서의 전자화가 이루어지면서 기존의 전통적인 펜기반 교정 시스템 또한 온라인 상의 전자 문서 환경에 맞게 구축되고 있다. 이러한 펜기반 입력 기법을 사용하는 교정 시스템에서는 교정 부호와 텍스트 간의 정확한 영역 인식이 중요하며 이를 위해 교정 부호의 특성과 텍스트 영역의 분석이 필요하다. 본 연구에서는 온라인 교정 시스템 모델링을 통하여 온라인 환경에 적합한 교정 부호를 정의하고, 교정 대상 텍스트 영역을 편집 가능한 단위로 구분하여 효율적인 편집 연산이 이루어 질 수 있도록 하였다. 또한 웹 기반의 구조문서(HTML/XML) 편집 환경을 고려하여 편집으로 인한 문서의 구조 정보 변경을 지원하기 위하여 텍스트를 비구조 및 구조정보 텍스트로 분류하여 정의하였다. 본 연구에서는 이러한 모델에 기반하여 교정 부호의 특성에 따른 가변적인 편집 텍스트 영역 인식 규칙 모델을 정의하여 교정부호와 편집 텍스트 영역간의 모호성을 최소화 하고, 편집으로 인한 문서의 구조 정보 변경을 지원하는 시스템을 구현하였다. 결과적으로 온라인 웹 문서 환경에서 펜기반의 모호한 교정 부호의 입력을 인지적인 관점에서 해석하여 보다 정확한 교정 작업 수행을 지원하도록 하였다.

  • PDF