• 제목/요약/키워드: language processing

검색결과 2,660건 처리시간 0.032초

부분 단어 토큰화 기법을 이용한 뉴스 기사 정치적 편향성 자동 분류 및 어휘 분석 (Automatic Classification and Vocabulary Analysis of Political Bias in News Articles by Using Subword Tokenization)

  • 조단비;이현영;정원섭;강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권1호
    • /
    • pp.1-8
    • /
    • 2021
  • 뉴스 기사의 정치 분야는 보수, 진보와 같이 양극화된 편향적 특성이 존재하며 이를 정치적 편향성이라고 한다. 뉴스 기사로부터 편향성 문제를 분류하기 위해 키워드 기반의 학습 데이터를 구축하였다. 대부분의 임베딩 연구에서는 미등록어로 인한 문제를 완화시키기 위해 형태소 단위로 문장을 구성한다. 본 논문에서는 문장을 언어 모델에 의해 세부적으로 분할하는 부분 단어로 문장을 구성할 경우 미등록어 수가 감소할 것이라 예상하였다. 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델을 제안하며 이를 SVM과 전방향 뉴럴 네트워크 구조에 적용하여 정치적 편향성 분류 실험을 진행하였다. 형태소 토큰화 기법을 이용한 문서 임베딩 모델과 비교 실험한 결과, 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델이 78.22%로 가장 높은 정확도를 보였으며 부분 단어 토큰화를 통해 미등록어 수가 감소되는 것을 확인하였다. 분류 실험에서 가장 성능이 좋은 임베딩 모델을 이용하여 정치적 인물을 기반한 어휘를 추출하였으며 각 성향의 정치적 인물 벡터와의 평균 유사도를 통해 어휘의 편향성을 검증하였다.

디지털 인문학 연구 동향 분석 - Digital Humanities 학술대회 논문을 중심으로 - (An Investigation on Digital Humanities Research Trend by Analyzing the Papers of Digital Humanities Conferences)

  • 정은경
    • 한국문헌정보학회지
    • /
    • 제55권1호
    • /
    • pp.393-413
    • /
    • 2021
  • 디지털 정보기술과 인문학적 연구 문제의 결합을 통해 새롭고 혁신적인 지식을 창출하는 디지털인문학은 대표적인 다학제적 융합 학문 분야라고 볼 수 있다. 이러한 디지털인문학 분야의 지적구조를 규명하기 Digital Humanities 학술대회 최근 2년간(2019, 2020)의 논문 441건을 대상으로 저자사항과 키워드 동시출현 네트워크 분석을 수행하였다. 저자와 키워드 분석 결과를 살펴보면, 유럽, 북미 지역, 동아시권의 일본 중국의 저자의 활발한 활동을 찾아볼 수 있다. 공저자 네트워크를 통해서는 11개의 분절된 네트워크를 확인할 수 있으며, 이는 폐쇄적인 공저활동의 결과로 볼 수 있다. 키워드 분석을 통해서는 16개의 세부 주제 영역을 규명할 수 있으며, 이는 기계학습, 교육학, 메타데이터, 토픽모델링, 문체, 문화유산, 네트워크, 디지털아카이브, 자연언어처리, 디지털도서관, 트위터, 드라마, 빅데이터, 신경망 네트워크, 가상현실, 윤리으로 구성된다. 이러한 군집 구성은 디지털 정보기술이 주된 세부 주제 영역으로 자리매김하고 있음을 알 수 있다. 또한 출현빈도가 높은 키워드들은 인문학 기반 키워드, 디지털 정보기술 기반 키워드, 융합 키워드으로 구분될 수 있으며, 디지털인문학의 성장과 발전 과정의 역동성을 찾아볼 수 있다.

도서관의 인공지능(AI) 서비스 현황 및 서비스 제공 방안에 관한 연구 (A Study on the Current State of the Library's AI Service and the Service Provision Plan)

  • 곽우정;노영희
    • 한국도서관정보학회지
    • /
    • 제52권1호
    • /
    • pp.155-178
    • /
    • 2021
  • 4차산업혁명 시대에서 공공도서관은 인공지능과 같은 외부 환경 변화에 능동적으로 대응하기 위하여 도서관 지능형서비스 추진 전략이 필요하다. 따라서 본 연구에서는 인공지능의 개념과 국내외 인공지능 관련 동향 및 정책, 사례 등의 분석 내용을 기반으로 도서관에서의 향후 인공지능 서비스 도입 및 발전 방향성에 대해 제안하였다. 현재 도서관에서는 딥러닝, 자연어처리 등 인공지능 기술 도입을 통해 자동으로 답변을 제공하는 참고정보서비스를 운영하며, 빅데이터 기반 AI 도서 추천 및 자동 도서 점검 시스템을 개발하여 업무 활용도를 높이고, 이용자 맞춤형 서비스를 제공하고 있다. 기업 및 산업 분야에서는 국내외를 막론하고, 사용자 개인 맞춤형 등을 기반으로 한 기술을 개발하여 서비스하고 있으며, 딥러닝을 사용하여 정보를 스스로 학습하여 최적의 결과를 제공하는 식의 형태로 개발하고 있다. 이에 따라 향후 도서관에서 인공지능을 활용하여, 이용자의 이용 기록을 기반으로 한 개인 맞춤형 도서 추천, 독서·문화 프로그램 추천, 도서 택배 서비스 시 자율주행 드론·자동차 등 운송수단을 통한 실시간 배송 서비스 도입 등 다양한 서비스 개발을 도모해야 한다.

워드임베딩을 활용한 복압성 요실금 관련 연구 동향에 관한 융합 연구 (A Convergence Study of the Research Trends on Stress Urinary Incontinence using Word Embedding)

  • 김준희;안선희;곽경태;원영수;유화익
    • 한국융합학회논문지
    • /
    • 제12권8호
    • /
    • pp.1-11
    • /
    • 2021
  • 본 연구의 목적은 '복압성 요실금'을 키워드로 검색된 연구들의 경향과 특성을 단어 빈도를 통해 분석하고, 워드 임베딩을 사용하여 그 관계를 모델링 하고자 하였다. 의학 서지 데이터베이스인 MEDLINE에 등록되어 있는 복압성 요실금 연구 9,868개 논문들의 초록 문자 데이터를 Python 프로그램을 이용하여 추출하였다. 그런 다음 빈도 분석을 통해 10개의 키워드를 선택하였다. 키워드 관련 단어들의 유사도는 Word2Vec 머신러닝 알고리즘으로 분석하였다. 그리고, t-SNE 기법을 사용하여 단어의 위치와 거리가 시각화하였고, 이에 따라 그룹을 분류하여 이를 분석하였다. 복압성 요실금과 관련된 연구는 1980년대 이후 빠르게 증가했다. 키워드 분석을 통해 논문 초록에서 가장 많이 사용된 키워드는 '여성', '요도', '수술'로 나타났다. Word2Vec 모델링을 통해 복압성 요실금 관련 연구에서 주요 키워드들과 가장 높은 연관성을 나타내는 단어들에는 '여성', '절박', '증상' 등이 있었다. 그리고, t-SNE 기법을 통해 키워드와 관련 단어들은 복압성 요실금의 증상, 신체 기관의 해부학적 특성, 그리고 수술적 중재를 중심으로 하는 3개의 그룹으로 분류될 수 있었다. 본 연구는 초록을 구성하는 단어들의 키워드 빈도 분석 및 워드임베딩 방식을 이용하여 복압성 요실금 관련 연구들의 동향을 살펴본 최초의 연구이다. 본 연구의 결과는 향후 연구자들이 복압성 요실금 관련 연구 분야의 주제와 방향성을 선택하는 데 있어 기초자료로 활용될 수 있을 것이다.

봇 프레임워크를 활용한 챗봇 구현 방안 (Method of ChatBot Implementation Using Bot Framework)

  • 김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제15권1호
    • /
    • pp.56-61
    • /
    • 2022
  • 본 논문에서 챗봇에서 사용하는 AI알고리즘과 자연어처리 방법을 분류하고 제시하고 챗봇 구현에 사용할 수 있는 프레임워크에 대해서도 기술한다. 챗봇은 사용자 인터페이스를 대화방식으로 구성하여 입력된 문자열을 해석하고 입력된 문자열에 적절한 답을 학습된 데이터에서 선택하여 출력하는 구조의 시스템이다. 최근 콜센터와 주문 업무에 적용하여 인건비를 감소하고 정확한 업무를 할 수 있는 장점이 있다. 하지만 질문에 대한 적정한 답변 집합을 생성하기 위해 학습이 필요하며 이를 위해 상당한 계산 기능을 갖는 하드웨어가 필요하다. 개발을 하는 업체는 물론 AI분야 개발을 학습하는 학생들의 실습은 한계가 있다. 현재 챗봇은 기존의 전통적인 업무를 대체하고 있으며 시스템을 이해하고 구현하는 실습과정이 필요한 실정이다. 정형화되어 있는 데이터에 대해서만 응답을 하는 수준을 넘어 딥러닝 등의 기술을 적용하여 비정형 데이터를 학습시켜 질문에 대한 응답의 정확성을 높이기 위해 RNN과 Char-CNN 등을 사용해야한다. 챗봇을 구현하기 위해서는 이와 같은 이론을 이해하고 있어야한다. 본 논문에서는 단기간에 챗봇 코딩교육에 활용할 수 있는 방안과 기존 개발자, 학생들이 챗봇 구현을 할 수 있는 플랫폼을 활용하여 학생들이 전체시스템을 구현 예를 제시하였다.

Development of big data based Skin Care Information System SCIS for skin condition diagnosis and management

  • Kim, Hyung-Hoon;Cho, Jeong-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권3호
    • /
    • pp.137-147
    • /
    • 2022
  • 피부상태의 진단과 관리는 뷰티산업종사자와 화장품산업종사자에게 그 역할을 수행함에 있어서 매우 기초적이며 중요한 기능이다. 정확한 피부상태 진단과 관리를 위해서는 고객의 피부상태와 요구사항을 잘 파악하는 것이 필요하다. 본 논문에서는 피부상태 진단 및 관리를 위해 소셜미디어의 빅데이터를 사용하여 피부상태 진단 및 관리를 지원하는 빅데이터기반 피부관리정보시스템 SCIS를 개발하였다. 개발된 시스템을 사용하여 텍스트 정보 중심의 피부상태 진단과 관리를 위한 핵심 정보를 분석하고 추출할 수 있다. 본 논문에서 개발된 피부관리정보시스템 SCIS는 빅데이터 수집단계, 텍스트전처리단계, 이미지전처리단계, 텍스트단어분석단계로 구성되어 있다. SCIS는 피부진단 및 관리에 필요한 빅데이터를 수집하고, 텍스트 정보를 대상으로 핵심단어의 단순빈도분석, 상대빈도분석, 동시출현분석, 상관성분석을 통해 핵심단어 및 주제를 추출하였다. 또한 추출된 핵심단어 및 정보를 분석하고 산포도, NetworkX, t-SNE 및 클러스터링 등의 다양한 시각화 처리를 함으로써 피부상태 진단 및 관리에 있어 이를 효율적으로 사용할 수 있도록 하였다.

Sentiment Analysis of Product Reviews to Identify Deceptive Rating Information in Social Media: A SentiDeceptive Approach

  • Marwat, M. Irfan;Khan, Javed Ali;Alshehri, Dr. Mohammad Dahman;Ali, Muhammad Asghar;Hizbullah;Ali, Haider;Assam, Muhammad
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권3호
    • /
    • pp.830-860
    • /
    • 2022
  • [Introduction] Nowadays, many companies are shifting their businesses online due to the growing trend among customers to buy and shop online, as people prefer online purchasing products. [Problem] Users share a vast amount of information about products, making it difficult and challenging for the end-users to make certain decisions. [Motivation] Therefore, we need a mechanism to automatically analyze end-user opinions, thoughts, or feelings in the social media platform about the products that might be useful for the customers to make or change their decisions about buying or purchasing specific products. [Proposed Solution] For this purpose, we proposed an automated SentiDecpective approach, which classifies end-user reviews into negative, positive, and neutral sentiments and identifies deceptive crowd-users rating information in the social media platform to help the user in decision-making. [Methodology] For this purpose, we first collected 11781 end-users comments from the Amazon store and Flipkart web application covering distant products, such as watches, mobile, shoes, clothes, and perfumes. Next, we develop a coding guideline used as a base for the comments annotation process. We then applied the content analysis approach and existing VADER library to annotate the end-user comments in the data set with the identified codes, which results in a labelled data set used as an input to the machine learning classifiers. Finally, we applied the sentiment analysis approach to identify the end-users opinions and overcome the deceptive rating information in the social media platforms by first preprocessing the input data to remove the irrelevant (stop words, special characters, etc.) data from the dataset, employing two standard resampling approaches to balance the data set, i-e, oversampling, and under-sampling, extract different features (TF-IDF and BOW) from the textual data in the data set and then train & test the machine learning algorithms by applying a standard cross-validation approach (KFold and Shuffle Split). [Results/Outcomes] Furthermore, to support our research study, we developed an automated tool that automatically analyzes each customer feedback and displays the collective sentiments of customers about a specific product with the help of a graph, which helps customers to make certain decisions. In a nutshell, our proposed sentiments approach produces good results when identifying the customer sentiments from the online user feedbacks, i-e, obtained an average 94.01% precision, 93.69% recall, and 93.81% F-measure value for classifying positive sentiments.

빅데이터를 활용한 건축물 화재위험도 평가 지표 결정 (Determination of Fire Risk Assessment Indicators for Building using Big Data)

  • 주홍준;최윤정;옥치열;안재홍
    • 한국건축시공학회지
    • /
    • 제22권3호
    • /
    • pp.281-291
    • /
    • 2022
  • 본 연구에서는 빅데이터를 활용하여 건축물의 화재위험도 평가에 필요한 지표를 결정하였다. 건축물에서 화재위험도에 영향을 미치는 원인은 대부분 건축물만을 고려한 지표로 고착화되어 있기 때문에 제한적이고 주관적인 평가가 수행되어왔다. 따라서, 빅데이터를 활용하여 다양한 내·외부 지표를 고려한다면 건축물의 화재위험도 저감을 위한 효과적인 대책을 도모할 수 있다. 지표 결정에 필요한 데이터를 수집하기 위해 먼저 질의어를 선정하고, 웹 크롤링 기법을 이용하여 비정형 데이터 형식의 전문 문헌을 수집하였다. 문헌 내 단어를 수집하기 위해 사용자 용어사전 등록, 중복 문헌 및 불용어 제거의 전처리 과정을 수행하였으며, 선행 연구를 검토하여 단어를 4개의 요소로 분류하고 각 요소에서 위험도와 관련된 대표 키워드를 선정하였다. 그리고 대표 키워드의 연관검색어 분석을 통해 파생되는 위험도 관련 지표를 수집하였다. 지표의 선정 기준에 따라 수집된 지표를 검토한 결과, 20개의 건축물 화재위험도 지표를 결정할 수 있었다. 본 연구 방법론은 건축물 화재위험의 저감 대책 수립을 위한 빅데이터 분석의 적용 가능성을 나타내며, 결정된 지표는 건축물 화재위험도 평가를 위한 참고자료로 사용될 수 있을 것이다.

체험 이야기하기의 구술적 특성에 대하여 (A Study on the Oral Characteristics in Personal Narrative Storytelling)

  • 김경섭
    • 문화기술의 융합
    • /
    • 제8권4호
    • /
    • pp.143-150
    • /
    • 2022
  • 현대 이야기 현장에 살아 숨 쉬는 언어 민속은 옛이야기가 아니라 개인의 체험을 이야기하는 개인서사라 할 수 있다. 이러한 개인서사는 구비문학 내의 여러 장르들처럼 창조의 충동으로부터 발생하기보다는 전달과 재창조의 충동에서 발생하는 것이 대부분이다. 전통적인 옛이야기에 비해 개인서사와 같은 체험에 대한 이야기의 경우 구연을 담당하는 이야기 화자 개인의 성향이 더해져서 연행되는 경우가 많다. 이 과정에서 '체험을 어림잡아 재단하고, 추억을 주먹구구식으로 재해석'하는 현상이 발생하게 되고, 이는 구비문학을 구비문학이게끔 하는 중요한 요소이다. 문제는 구연 현장에서 필연적으로 포착되는 이러한 유의미한 요소들을 어떻게 다룰지이다. 본 논문의 주요 방법론인 텍스트 언어학은 이러한 구비문학의 즉흥적인 요소들을 포착해 낼 가능성을 내포하고 있다. 개인서사에 대한 텍스트 언어학적 분석은 현장의 분위기, 화자의 실수, 이야기 내용의 모순, 청중의 반응 등 그동안 구비문학 연구에서 다루기 힘들었던 구술적 특성들을 좀 더 다른 각도에서 논의할 가능성을 제공한다. 이를 통해 '말'이라는 일회성, '어림셈'이라는 현장성, '대중의 지혜'라는 적층성을 기반으로 하는 구비문학의 구술시학을 효과적으로 논의할 수 있다. 나아가 공동체 문화에서 개개인의 언어 예술의 중요한 부분을 담당하는 체험 이야기하기 연구에 일조할 것으로 기대한다.

Head-Tail 토큰화 기법을 이용한 한국어 품사 태깅 (Korean Part-Of-Speech Tagging by using Head-Tail Tokenization)

  • 서현재;김정민;강승식
    • 스마트미디어저널
    • /
    • 제11권5호
    • /
    • pp.17-25
    • /
    • 2022
  • 기존의 한국어 품사 태깅 방식은 복합어를 단위 형태소들로 분해하여 품사를 부착하므로 형태소 태그가 세분화되어 있어서 태거의 활용 목적에 따라 불필요하게 복잡하고 다양한 어절 유형들이 생성되는 단점이 있다. 딥러닝 언어처리에서는 키워드 추출 목적으로 품사 태거를 사용할 때 복합조사, 복합어미 등 문법 형태소들을 단위 형태소로 분할하지 않는 토큰화 방식이 효율적이다. 본 연구에서는 어절을 형태소 단위로 토큰화할 때 어휘형태소 부분과 문법형태소 부분 두 가지 유형의 토큰으로만 분할하는 Head-Tail 토큰화 기법을 사용하여 품사 태깅 문제를 단순화함으로써 어절이 과도하게 분해되는 문제점을 보완하였다. Head-Tail 토큰화된 데이터에 대해 통계적 기법과 딥러닝 모델로 품사 태깅을 시도하여 각 모델의 품사 태깅 정확도를 실험하였다. 통계 기반 품사 태거인 TnT 태거와 딥러닝 기반 품사 태거인 Bi-LSTM 태거를 사용하여 Head-Tail 토큰화된 데이터셋에 대한 품사 태깅을 수행하였다. TnT 태거와 Bi-LSTM 태거를 Head-Tail 토큰화된 데이터셋에 대해 학습하여 품사 태깅 정확도를 측정하였다. 그 결과로, TnT 태거는 97.00%인데 비해 Bi-LSTM 태거는 99.52%의 높은 정확도로 품사 태깅을 수행할 수 있음을 확인하였다.