• Title/Summary/Keyword: 토픽 모델

Search Result 184, Processing Time 0.027 seconds

Extracting Korean-English Parallel Sentences based on Measure of Sentences Similarity Using Sequential Matching of Heterogeneous Language Resources (이질적인 언어 자원의 순차적 매칭을 이용한 문장 유사도 계산 기반의 위키피디아 한국어-영어 병렬 문장 추출 방법)

  • Cheon, Juryong;Ko, Youngjoong
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.127-132
    • /
    • 2014
  • 본 논문은 위키피디아로부터 한국어-영어 간 병렬 문장을 추출하기 위해 이질적 언어 자원의 순차적 매칭을 적용한 유사도 계산 방법을 제안한다. 선행 연구에서는 병렬 문장 추출을 위해 언어 자원별로 유사도를 계산하여 선형 결합하였고, 토픽모델을 이용해 추정한 단어의 토픽 분포를 유사도 계산에 추가로 이용함으로써 병렬 문장 추출 성능을 향상시켰다. 하지만, 이는 언어 자원들이 독립적으로 사용되어 각 언어자원이 가지는 오류가 문장 간 유사도 계산에 반영되는 문제와 관련이 적은 단어 간의 분포가 유사도 계산에 반영되는 문제가 있다. 본 논문에서는 이질적인 언어 자원들을 이용해 순차적으로 단어를 매칭함으로써 언어 자원들의 독립적인 사용으로 각 자원의 오류가 유사도에 반영되는 문제를 해결하였고, 관련이 높은 단어의 분포만을 유사도 계산에 이용함으로써 관련이 적은 단어의 분포가 반영되는 문제를 해결하였다. 실험을 통해, 언어 자원들을 이용해 순차적으로 매칭한 유사도 계산 방법은 선행 연구에 비해 F1-score 48.4%에서 51.3%로 향상된 성능을 보였고, 관련이 높은 단어의 분포만을 유사도 계산에 이용한 방법은 약 10%에서 34.1%로 향상된 성능을 얻었다. 마지막으로, 제안한 유사도 방법들을 결합함으로써 선행연구의 51.6%에서 2.7%가 향상된 54.3%의 성능을 얻었다.

  • PDF

Trend-based Trend News Recommendation Scheme (트위터 기반의 트렌드 뉴스 추천 기법)

  • Kim, Daeyong;Kim, Daehoon;Hwang, Eenjun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.1038-1039
    • /
    • 2013
  • 최근 스마트폰의 사용이 보편화되면서 많은 양의 온라인 뉴스가 다양한 경로를 통하여 서비스되고 있다. 한편, 실시간으로 제공되는 뉴스의 양이 방대해지면서, 언론사에서 톱 뉴스로 제공하는 토픽과 달리, 실제 사용자들에게 화제가 되고 있는 토픽을 선별하는 데 어려움이 있다. 많은 사용자들이 실생활에서 작성하고 공유하는 트위터는 실제 사람들 사이에 화제가 되고 있는 토픽을 담고 있는 경우가 많다. 이러한 트렌드를 뉴스와 연계시키면 화제가 되는 트렌드 뉴스를 사용자에게 제공할 수 있다. 본 논문에서는 클라이언트-서버 모델을 기반으로 실시간으로 사용자 트위터를 분석하여 추출된 트렌드를 기반으로 관련 뉴스를 검색하여 제공하는 시스템을 제안한다. 클라이언트를 통해 수집한 트위터 단문에서 서버는 화제가 되고 있는 트렌드를 추출하고, 이를 기반으로 Google 등을 통해 관련 뉴스를 검색하여 클라이언트에게 전달한다. 이 모든 과정을 실시간으로 제공하기 위한 알고리즘을 제안하고 프로토타입 시스템을 통하여 그 성능을 평가한다.

Research Trend Analysis on Living Lab Using Text Mining (텍스트 마이닝을 이용한 리빙랩 연구동향 분석)

  • Kim, SeongMook;Kim, YoungJun
    • Journal of Digital Convergence
    • /
    • v.18 no.8
    • /
    • pp.37-48
    • /
    • 2020
  • This study aimed at understanding trends of living lab studies and deriving implications for directions of the studies by utilizing text mining. The study included network analysis and topic modelling based on keywords and abstracts from total 166 thesis published between 2011 and November 2019. Centrality analysis showed that living lab studies had been conducted focusing on keywords like innovation, society, technology, development, user and so on. From the topic modelling, 5 topics such as "regional innovation and user support", "social policy program of government", "smart city platform building", "technology innovation model of company" and "participation in system transformation" were extracted. Since the foundation of KNoLL in 2017, the diversification of living lab study subjects has been made. Quantitative analysis using text mining provides useful results for development of living lab studies.

Warning Classification Method Based On Artificial Neural Network Using Topics of Source Code (소스코드 주제를 이용한 인공신경망 기반 경고 분류 방법)

  • Lee, Jung-Been
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.9 no.11
    • /
    • pp.273-280
    • /
    • 2020
  • Automatic Static Analysis Tools help developers to quickly find potential defects in source code with less effort. However, the tools reports a large number of false positive warnings which do not have to fix. In our study, we proposed an artificial neural network-based warning classification method using topic models of source code blocks. We collect revisions for fixing bugs from software change management (SCM) system and extract code blocks modified by developers. In deep learning stage, topic distribution values of the code blocks and the binary data that present the warning removal in the blocks are used as input and target data in an simple artificial neural network, respectively. In our experimental results, our warning classification model based on neural network shows very high performance to predict label of warnings such as true or false positive.

A Developer Recommendation Technique Based on Topic Model and Social Network (토픽 모델과 소셜 네트워크를 이용한 개발자 추천방법)

  • Yang, Geunseok;Zhang, Tao;Lee, Byungjeong
    • Journal of KIISE:Software and Applications
    • /
    • v.41 no.8
    • /
    • pp.557-568
    • /
    • 2014
  • Recently, software projects have been increasing and getting complex. Due to the large number of submitted bug reports, developers' workload increases. Generally in bug triage process, the triagers assign the bug report to fixer (developer) in order to resolve the bug. However, bug reports have been reassigned to other developers because fixers are not suitable. This is why the triagers did not correctly check and understand the bug report and decide the appropriate developers to fix the bug. This results in increase of developers' time and efforts in software maintenance. To resolve these problems, in this paper, we propose a novel method for developer recommendation based on topic model and social network. First, we build a basis of topic(s) from bug reports. Next, when a new bug report (test data set) comes, we select the most similar topic(s) and extract the participated developers from the topic(s). Finally, by applying social network, we analyze the developers' behavior (comment and commit activity) and recommend the appropriate developers. In this paper we compare our work with related studies through performance experiments on open source projects. The results show that our approach is more effective than other studies in bug triage.

Analysis of Research Trends in Cloud Security Using Topic Modeling and Time-Series Analysis: Focusing on NTIS Projects (토픽모델링과 시계열 분석을 활용한 클라우드 보안 분야 연구 동향 분석 : NTIS 과제를 중심으로)

  • Sun Young Yun;Nam Wook Cho
    • Convergence Security Journal
    • /
    • v.24 no.2
    • /
    • pp.31-38
    • /
    • 2024
  • Recent expansion in cloud service usage has heightened the importance of cloud security. The purpose of this study is to analyze current research trends in the field of cloud security and to derive implications. To this end, R&D project data provided by the National Science and Technology Knowledge Information Service (NTIS) from 2010 to 2023 was utilized to analyze trends in cloud security research. Fifteen core topics in cloud security research were identified using LDA topic modeling and ARIMA time series analysis. Key areas identified in the research include AI-powered security technologies, privacy and data security, and solving security issues in IoT environments. This highlights the need for research to address security threats that may arise due to the proliferation of cloud technologies and the digital transformation of infrastructure. Based on the derived topics, the field of cloud security was divided into four categories to define a technology reference model, which was improved through expert interviews. This study is expected to guide the future direction of cloud security development and provide important guidelines for future research and investment in academia and industry.

Data Analysis Web Application Based on Text Mining (텍스트 마이닝 기반의 데이터 분석 웹 애플리케이션)

  • Gil, Wan-Je;Kim, Jae-Woong;Park, Koo-Rack;Lee, Yun-Yeol
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.103-104
    • /
    • 2021
  • 본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 웹크롤링 기법을 활용하여 키워드를 입력하면 요약된 논문 정보를 파일로 저장할 수 있고 또한 키워드 빈도 분석과 토픽 모델링 등을 통해 연구 동향을 손쉽게 확인해볼 수 있는 웹 애플리케이션을 설계하고 구현하는 것을 목표로 한다. 제안 모델인 웹 애플리케이션을 통해 프로그래밍 언어와 데이터 분석 기법에 대한 지식이 부족하더라도 논문 수집과 저장, 텍스트 분석을 경험해볼 수 있다. 또한, 이러한 웹 시스템 개발은 기존의 html, css, java script와 같은 언어에 의존하지 않고 파이썬 라이브러리를 활용하였기 때문에 파이썬을 기반으로 데이터 분석과 머신러닝 교육을 수행할 경우 프로젝트 기반 수업 교육 과정으로 채택이 가능할 것으로 기대된다.

  • PDF

An Empirical Study of Topic Classification for Korean Newspaper Headlines (한국어 뉴스 헤드라인의 토픽 분류에 대한 실증적 연구)

  • Park, Jeiyoon;Kim, Mingyu;Oh, Yerim;Lee, Sangwon;Min, Jiung;Oh, Youngdae
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.287-292
    • /
    • 2021
  • 좋은 자연어 이해 시스템은 인간과 같이 텍스트에서 단순히 단어나 문장의 형태를 인식하는 것 뿐만 아니라 실제로 그 글이 의미하는 바를 정확하게 추론할 수 있어야 한다. 이 논문에서 우리는 뉴스 헤드라인으로 뉴스의 토픽을 분류하는 open benchmark인 KLUE(Korean Language Understanding Evaluation)에 대하여 기존에 비교 실험이 진행되지 않은 시중에 공개된 다양한 한국어 라지스케일 모델들의 성능을 비교하고 결과에 대한 원인을 실증적으로 분석하려고 한다. KoBERT, KoBART, KoELECTRA, 그리고 KcELECTRA 총 네가지 베이스라인 모델들을 주어진 뉴스 헤드라인을 일곱가지 클래스로 분류하는 KLUE-TC benchmark에 대해 실험한 결과 KoBERT가 86.7 accuracy로 가장 좋은 성능을 보여주었다.

  • PDF

Trend Analysis in Maker Movement Using Text Mining (텍스트 마이닝을 이용한 메이커 운동의 트렌드 분석)

  • Park, Chanhyuk;Kim, Ja-Hee
    • The Journal of the Korea Contents Association
    • /
    • v.18 no.12
    • /
    • pp.468-488
    • /
    • 2018
  • The maker movement is a phenomenon of society and culture where people who make necessary things come together and share knowledge and experience through creativity. However, as the maker movement has grown rapidly over the past decade, there is still a lack of consensus for how far they will be viewed as a maker movement. We need to look at how the maker movement has changed so far in order to find the direction of development of the maker movement. This study analyzes the media articles using text-based big data analysis methodology to understand how the issue of the maker movement has changed in general media. In particular, we apply Keyword Network Analysis and DTM(Dynamic Topic Model) to analyze changes of interest according to time. The Keyword Network Analysis derives major keywords at the word level in order to analyze the evolution of the maker movement, and DTM helps to identify changes in interest in different areas of the maker movement at three levels: word, topic, and document. As a result, we identified major topics such as start-ups, makerspaces, and maker education, and the major keywords have changed from 3D printer and enterprise to education.

Problem Identification and Improvement Measures through Government24 App User Review Analysis: Insights through Topic Model (정부24 앱 사용자 리뷰 분석을 통한 문제 파악 및 개선방안: 토픽 모델을 통한 통찰)

  • MuMoungCho Han;Mijin Noh;YangSok Kim
    • Smart Media Journal
    • /
    • v.12 no.11
    • /
    • pp.27-35
    • /
    • 2023
  • Fourth Industrial Revolution and COVID-19 pandemic have boosted the use of Government 24 app for public service complaints in the era of non-face-to-face interactions. there has been a growing influx of complaints and improvement demands from users of public apps. Furthermore, systematic management of public apps is deemed necessary. The aim of this study is to analyze the grievances of Government 24 app users, understand the current dissatisfaction among citizens, and propose potential improvements. Data were collected from the Google Play Store from May 2, 2013, to June 30, 2023, comprising a total of 6,344 records. Among these, 1,199 records with a rating of 1 and at least one 'thumbs-up' were used for topic modeling analysis. The analysis revealed seven topics: 'Issues with certificate issuance,' 'Website functionality and UI problems,' 'User ID-related issues,' 'Update problems,' 'Government employee app management issues,' 'Budget wastage concerns ((It's not worth even a single star) or (It's a waste of taxpayers' money)),' and 'Password-related problems.' Furthermore, the overall trend of these topics showed an increase until 2021, a slight decrease in 2022, but a resurgence in 2023, underscoring the urgency of updates and management. We hope that the results of this study will contribute to the development and management of public apps that satisfy citizens in the future.