• 제목/요약/키워드: Text processing

검색결과 1,202건 처리시간 0.028초

Development of Artificial Intelligence-based Legal Counseling Chatbot System

  • Park, Koo-Rack
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권3호
    • /
    • pp.29-34
    • /
    • 2021
  • 4차 산업혁명 시대의 도래와 함께 IT기술은 기존의 다양한 산업과 분야에 융합되어 기존에 없던 새로운 서비스들을 만들어내고 있다. 특히 인공지능 분야의 챗봇과 최신 기술은 자연어처리 기술의 발전과 함께 그 성능이 비약적으로 발전하여 다양한 업무처리를 챗봇을 통해 처리하고 있다. 본 연구는 슬롯필링(Slot Filling) 기반의 챗봇 기술을 통해서 법률 질의에 대한 구조적인 폼(Structual Form)을 만들고 정해진 형태의 질문을 입력하여 사용자가 찾고자 하는 질문에 근접한 답변을 제공하는 시스템에 대한 연구이다. 제안 시스템을 이용하여 텍스트 형태의 비정형 데이터인 법률 정보를 보다 구조화된 형태로 질의응답 데이터를 구축할 수 있다. 또 축적된 질의응답 데이터를 하이브(Apache Hive)와 같은 빅데이터 저장 시스템을 통해 관리하여 학습에 데이터를 재활용하는 것으로 응답의 신뢰성을 지속적 향상을 기대할 수 있다.

데이터 기반 STEAM 교육을 통한 문제 해결 과정 분석: 대기대순환과 표층 해류 내용을 중심으로 (Analysis of Problem-Solving Processes through Data-based STEAM Education: Focusing on Atmospheric Circulation and Surface Currents)

  • 홍석영;한신;김형범
    • 대한지구과학교육학회지
    • /
    • 제13권3호
    • /
    • pp.330-343
    • /
    • 2020
  • 이 연구에서는 데이터를 기반으로 하여 대기대순환, 해류 순환에 관한 STEAM 교육프로그램을 제작하고 이를 고등학교 1학년 106명을 대상으로 적용하여 그 효과와 문제해결과정을 분석하고자 하였다. 이를 위해 데이터를 수집, 정제, 시각화, 분석하고 이러한 결과를 기반으로 의사소통 과정을 진행할 수 있도록 하는 프로그램을 구성하였다. 이를 활용하여 일상생활에서의 순환에서 전 지구적인 관점에서 나타나는 순환으로의 개념을 확장하여 전 세계적으로 발생하는 순환에 관한 문제를 확인할 수 있도록 하였다. 프로그램의 투입 결과 지식정보처리역량과 그 하위 영역에서 유의미한 변화가 확인되었으며. STEAM 핵심역량과 STEAM 핵심역량의 하위 영역인 융합, 창의 역량에서 유의미한 변화를 확인하였다. 또한 학생들의 응답을 텍스트 네트워크의 형태로 분석하여 데이터 기반 STEAM 교육에 대한 제안할 점을 얻고자 하였다.

토픽모델링 및 주성분 분석 기반 검색 질의 유형 분류 연구 (A Study on Search Query Topics and Types using Topic Modeling and Principal Components Analysis)

  • 강현아;임희석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권6호
    • /
    • pp.223-234
    • /
    • 2021
  • 4차 산업 혁명 시대의 도래에 따라 쇼핑의 행태는 더욱 빠르게 오프라인에서 온라인으로 이동하고 있다. 온라인 쇼핑에서 고객의 정보요구를 가장 집약적으로 보여주는 것이 바로 검색 질의이다. 하지만 검색 분야에서도 검색 질의 관련 연구 사례는 많지 않으며 대부분의 검색 질의 연구 분야 선행 연구들은 연구자의 정성적인 판단에 근거하여 제한적인 주제와 데이터 기반으로 연구되어 왔다. 이에 본 연구는 검색 질의 연구 분야에 기계학습을 적용하여 검색 질의와 검색 이후 이용자가 조회한 문서명 로그를 기반으로 토픽모델링 수행 후 검색 질의 주제를 정의함으로써 데이터 기반의 정량적 방법론으로 15개의 검색 질의 주제 유형을 정의하였다. 또한 기존 검색어 자체만을 보고 판단하던 주제 유형에서 나아가 검색 행동특성을 반영한 유형을 정의하기 위하여 주성분 분석을 통해 주요 변수를 추출 후 각 주제별 검색 행동특성을 분석함으로써 검색 탐색 활성도, 상품 관여도에 따른 4가지의 새로운 검색 질의 유형 분류체계를 제시하였다. 본 연구결과는 효과적인 검색서비스 구축 및 검색 시스템 개발에 기여할 것으로 기대된다.

워드 임베딩 클러스터링을 활용한 리뷰 다중문서 요약기법 (Multi-Document Summarization Method of Reviews Using Word Embedding Clustering)

  • 이필원;황윤영;최종석;신용태
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권11호
    • /
    • pp.535-540
    • /
    • 2021
  • 다중문서는 하나의 주제가 아닌 다양한 주제로 구성된 문서를 의미하며 대표적인 예로 온라인 리뷰가 있다. 온라인 리뷰는 정보량이 방대하기 때문에 요약하기 위한 여러 시도가 있었다. 그러나 기존의 요약모델을 통해 리뷰를 일괄적으로 요약할 경우 리뷰를 구성하고 있는 다양한 주제가 소실되는 문제가 발생한다. 따라서 본 논문에서는 주제의 손실을 최소화하며 리뷰를 요약하기 위한 기법을 제시한다. 제안하는 기법은 전처리, 중요도 평가, BERT를 활용한 임베딩 치환, 임베딩 클러스터링과 같은 과정을 통해 리뷰를 분류한다. 그리고 분류된 문장은 학습된 Transformer 요약모델을 통해 최종 요약을 생성한다. 제안하는 모델의 성능 평가는 기존의 요약모델인 seq2seq 모델과 ROUGE 스코어와 코사인 유사도를 평가하여 비교하였으며 기존의 요약모델과 비교하여 뛰어난 성능의 요약을 수행하였다.

귀납적 사회과학연구 방법론을 위한 토픽모델링의 확장 및 사례분석 (Extension and Case Analysis of Topic Modeling for Inductive Social Science Research Methodology)

  • 김근형
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제31권4호
    • /
    • pp.25-45
    • /
    • 2022
  • Purpose In this paper, we propose the method to extend topic modeling techniques in order to derive data-based research hypotheses when establishing research hypotheses for social sciences, As a concept in contrast to the existing deductive hypothesis establishment methodology for the social science research, the topic modeling technique was expanded to enable the so-called inductive hypothesis establishment methodology, and an analysis case of the Seongsan Ilchulbong online review based on the proposed methodology was presented. Design/methodology/approach In this paper, an extension architecture and extension algorithm in the form of extending the existing topic modeling were proposed. The extended architecture and algorithm include data processing method based on topic ratio in document, correlation analysis and regression analysis of processed data for topics derived by existing topic modeling. In addition, in this paper, an analysis case of the online review of Seongsan Ilchulbong Peak was presented by applying the extended topic modeling algorithm. An exploratory analysis was performed on the Seongsan Ilchulbong online reviews through the basic text analysis. The data was transformed into 5-point scale to enable correlation and regression analysis based on the topic ratio in each online review. A regression analysis was performed using the derived topics as the independent variable and the review rating as the dependent variable, and hypotheses could be derived based on this, which enable the so-called inductive hypothesis establishment. Findings This paper is meaningful in that it confirmed the possibility of deriving a causal model and setting an inductive hypothesis through an extended analysis of topic modeling.

라디오 청취자 문자 사연을 활용한 한국어 다중 감정 분석용 데이터셋연구 (A Study on the Dataset of the Korean Multi-class Emotion Analysis in Radio Listeners' Messages)

  • 이재아;박구만
    • 방송공학회논문지
    • /
    • 제27권6호
    • /
    • pp.940-943
    • /
    • 2022
  • 본 연구에서는 직접 수집한 라디오 청취자 문자 사연을 활용하여 한국어 문장 감정 분석을 수행하기 위한 한국어 데이터셋을 구성하였으며 그 특성을 분석하였다. 딥러닝 언어모델 연구가 활발해지면서 한국어 문장 감정 분석에 관한 연구도 다양하게 진행되고 있다. 그러나 한국어의 언어학적 특성으로 인해 감정 분석은 높은 정확도를 기대하기 어렵다. 또한, 긍정/부정으로만 분류되도록 하는 이진 감성 분석은 많은 연구가 이루어졌으나, 3개 이상의 감정으로 분류되는 다중 감정 분석은 더 많은 연구가 필요하다. 이에 대해 딥러닝 기반의 한국어에 대한 다중 감정 분석 모델의 정확도를 높이기 위한 한국어 데이터셋 구성에 관한 고찰과 분석이 필요하다. 본 논문에서는 설문조사와 실험을 통해 감정 분석이 실행되는 과정에서 한국어 감정 분석이 어떤 이유 때문에 어려운지 분석하고 정확도를 향상시킬 수 있는 데이터셋 조성에 대한 방안을 제시하였으며 한국어 문장 감정 분석에 근거로 활용할 수 있게 하였다.

멀티모달 패션 추천 대화 시스템을 위한 개선된 트랜스포머 모델 (Improved Transformer Model for Multimodal Fashion Recommendation Conversation System)

  • 박영준;조병철;이경욱;김경선
    • 한국콘텐츠학회논문지
    • /
    • 제22권1호
    • /
    • pp.138-147
    • /
    • 2022
  • 최근 챗봇이 다양한 분야에 적용되어 좋은 성과를 보이면서 쇼핑몰 상품 추천 서비스에도 챗봇을 활용하려는 시도가 많은 이커머스 플랫폼에서 진행되고 있다. 본 논문에서는 사용자와 시스템간의 대화와 패션 이미지 정보에 기반해 사용자가 원하는 패션을 추천하는 챗봇 대화시스템을 위해, 최근 자연어처리, 음성인식, 이미지 인식 등의 다양한 AI 분야에서 좋은 성능을 내고 있는 트랜스포머 모델에 대화 (텍스트) 와 패션 (이미지) 정보를 같이 사용하여 추천의 정확도를 높일 수 있도록 개선한 멀티모달 기반 개선된 트랜스포머 모델을 제안하며, 데이터 전처리(Data preprocessing) 및 학습 데이터 표현(Data Representation)에 대한 분석을 진행하여 데이터 개선을 통한 정확도 향상 방법도 제안한다. 제안 시스템은 추천 정확도는 0.6563 WKT(Weighted Kendall's tau)으로 기존 시스템의 0.3372 WKT를 0.3191 WKT 이상 크게 향상시켰다.

Towards Low Complexity Model for Audio Event Detection

  • Saleem, Muhammad;Shah, Syed Muhammad Shehram;Saba, Erum;Pirzada, Nasrullah;Ahmed, Masood
    • International Journal of Computer Science & Network Security
    • /
    • 제22권9호
    • /
    • pp.175-182
    • /
    • 2022
  • In our daily life, we come across different types of information, for example in the format of multimedia and text. We all need different types of information for our common routines as watching/reading the news, listening to the radio, and watching different types of videos. However, sometimes we could run into problems when a certain type of information is required. For example, someone is listening to the radio and wants to listen to jazz, and unfortunately, all the radio channels play pop music mixed with advertisements. The listener gets stuck with pop music and gives up searching for jazz. So, the above example can be solved with an automatic audio classification system. Deep Learning (DL) models could make human life easy by using audio classifications, but it is expensive and difficult to deploy such models at edge devices like nano BLE sense raspberry pi, because these models require huge computational power like graphics processing unit (G.P.U), to solve the problem, we proposed DL model. In our proposed work, we had gone for a low complexity model for Audio Event Detection (AED), we extracted Mel-spectrograms of dimension 128×431×1 from audio signals and applied normalization. A total of 3 data augmentation methods were applied as follows: frequency masking, time masking, and mixup. In addition, we designed Convolutional Neural Network (CNN) with spatial dropout, batch normalization, and separable 2D inspired by VGGnet [1]. In addition, we reduced the model size by using model quantization of float16 to the trained model. Experiments were conducted on the updated dataset provided by the Detection and Classification of Acoustic Events and Scenes (DCASE) 2020 challenge. We confirm that our model achieved a val_loss of 0.33 and an accuracy of 90.34% within the 132.50KB model size.

챗봇 데이터에 나타난 우울 담론의 범주와 특성의 이해 (Understanding the Categories and Characteristics of Depressive Moods in Chatbot Data)

  • 진효진;정찬이;백금희;차지영;최정회;차미영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권9호
    • /
    • pp.381-390
    • /
    • 2022
  • 자연어처리 기술과 비대면 문화의 확산과 더불어 챗봇의 사용 증가세가 가파르며, 챗봇의 용도 또한 일상 대화와 소비자 응대를 넘어서 정신건강을 위한 용도로 확장하고 있다. 챗봇은 익명성이 보장된다는 점에서 사용자들이 우울감에 관해 이야기하기 적합한 서비스이다. 그러나 사용자가 작성한 문장들을 분석해 우울 담론의 유형과 특성을 파악하는 연구들은 주로 소셜 네트워크 데이터를 대상으로 했다는 한계점이 존재하며, 실제 환경에서 사용되는 챗봇과 상호작용한 데이터를 분석한 연구는 찾아보기 힘들다. 이 연구에서는 챗봇-사람의 상호작용 데이터에서 무작위로 추출한 '우울'과 관련된 대화 데이터를 토픽 모델링 방법과 텍스트마이닝 기법으로 분석하여 채팅에서의 우울 관련 담론의 특성을 파악하였다. 또한, 챗봇에서 빈번히 나타나는 '우울' 담론의 범주와 트위터 '우울' 담론의 범주의 차이점을 비교하였다. 이를 통해 챗봇 데이터의 '우울' 대화만의 특징을 파악하고, 적절한 심리지원 정보를 제공하는 챗봇 서비스를 위한 시사점과 향후 연구 방향에 대해 논의한다.

토픽모델링을 활용한 주요국의 스마트제조 기술 동향 분석 (Analysis of global trends on smart manufacturing technology using topic modeling)

  • 오윤환;문형빈
    • 한국산업정보학회논문지
    • /
    • 제27권4호
    • /
    • pp.65-79
    • /
    • 2022
  • 본 연구는 스마트제조 관련 국내·외 특허 데이터와 토픽모델링 방법을 활용하여 스마트 제조 관련 기술의 세부 영역을 식별하고 해당 영역에서 미국, 일본, 독일, 중국, 한국 등 주요국의 기술 개발 동향을 비교하였다. 이를 위해 1991년부터 2020년 사이에 미국과 유럽에서 출원된 특허를 수집하고 특허 초록을 가공한 후, LDA 모형을 적용해 토픽을 식별하였다. 연구 결과, 스마트제조 관련 기술의 세부 영역은 크게 7개로 구분되며 글로벌 차원에서는 최근 '데이터 처리 시스템 관련 기술'과 '열·유체 관리 기술'의 기술 개발 비중이 상당히 높아지고 있는 것으로 나타났다. 주요국과 한국의 기술 개발 동향을 비교한 결과, '열·유체 관리 기술' 분야에서 상대적인 강점이 있다는 점을 고려하면 국내 주력산업인 중화학 제조업과 연계한 스마트제조 관련 연구개발 및 관련 산업의 육성 추진 전략이 효과적일 것으로 보인다. 본 연구는 기존 정성적 기술 수준 평가의 한계를 극복하고, 텍스트마이닝 기법을 적용한 기술 역량 평가 방법론을 제안하였다는 측면에서 의의가 있다.