• 한국정보통신학회논문지
• /
• 제26권4호
• /
• pp.495-502
• /
• 2022

오늘날 웹상의 본문 수집에 주로 이용되는 웹 크롤러는 연구자가 직접 HTML 문서의 태그와 스타일을 분석한 후 수집 채널마다 다른 수집 로직을 구현해야 하므로 유지 관리 및 확장이 어렵다. 이러한 문제점을 해결하려면 웹 크롤러는 구조가 서로 다른 HTML 문서를 동일한 구조로 정형화하여 본문을 수집할 수 있어야 한다. 따라서 본 논문에서는 태그 경로 및 텍스트 출현 빈도를 기반으로 HTML 문서를 정형화하여 하나의 수집 로직으로 본문을 수집하는 웹크롤링 시스템인 WCTT(Web Crawling system based on Tag path and Text appearance frequency)를 설계 및 구현하였다. WCTT는 모든 수집 채널에서 동일한 로직으로 본문을 수집하므로 유지 관리 및 수집 채널의 확장이 용이하다. 또한, 키워드 네트워크 분석 등을 위해 불용어를 제거하고 명사만 추출하는 전처리 기능도 제공한다.

• 정보관리학회지
• /
• 제36권4호
• /
• pp.207-226
• /
• 2019

우울증은 전 세계적으로 많은 사람들이 겪고 있으며, 최근 다양한 분야에서 꾸준히 우울증에 대한 연구가 수행되고 있다. 특히 사람들이 본인의 스트레스나 감정 상태에 대해 소셜미디어에 공유한 글을 통해 그들의 심리나 정신건강에 대해 파악해보고자 하는 맥락에서 소셜미디어를 활용한 연구 역시 유의미하게 받아들여지고 있다. 이에 본 연구에서는 우울 경향의 이용자와 그렇지 않은 이용자들의 2016년부터 2019년 2월까지의 트위터 데이터를 수집하여 어떤 주제적, 어휘 사용의 특성을 보이는지 보고자 하였으며, 우울 경향의 시기별로도 어떤 차이를 보이는지 살펴보기 위해 우울 경향 관측 날짜를 기준으로 하여 이전(before) 시기와 이후(after) 시기를 구분하여 실험을 수행하였다. 토픽모델링, 동시출현 단어분석, 감성분석 방법을 통해 우울 경향과 비(非)우울 경향 이용자의 텍스트의 주제적 차이를 살펴보았고, 감성 반응에 따라 사용한 어휘에 대해서도 살펴봄으로써 어떠한 특성이 있는지 확인해 보았다. 데이터 수집 단계에서 '우울' 표현을 포함한 텍스트 데이터 수집방법을 통해 비교적 긴 기간, 많은 양의 데이터를 수집할 수 있었고, 또한 우울 경향의 여부와 시기적 구분에 따른 관심 주제에 대한 차이도 확인할 수 있었다는 점에서 유의미하다고 볼 수 있다.

• 한국정보통신학회논문지
• /
• 제23권7호
• /
• pp.764-770
• /
• 2019

본 연구에서는 "4차 산업"과 관련된 논문들의 세부 연구 주제를 파악하기 위하여 텍스트 마이닝 기법을 이용하여 논문들을 분석하였다. 이를 위하여 2016년부터 2019년까지 한국학술지인용색인(KCI)에서 "4차 산업"이라는 키워드로 논문을 검색하여 총 685편의 논문을 수집하였다. 논문 수집을 위해서는 Python 기반의 웹 스크랩핑 프로그램을 사용하였으며, 자료 분석을 위해서는 R 언어로 구현된 LDA 알고리즘 기반의 토픽 모델링 기법들을 활용하였다. 수집된 논문들에 대한 Perplexity 분석 결과, 9가지 토픽이 최적으로 결정되었고 수집된 논문들의 9가지 대표 토픽들을 Gibbs 샘플링 방법을 사용하여 추출하였다. 분석 결과, 인공지능, 빅데이터, 사물인터넷, 디지털, 네트워크 등이 상위 주요 기술들로 나타났으며, 산업, 정부, 교육 현장, 일자리 등 4차 산업과 관련한 다양한 분야에서 주요 기술들로 인한 변화에 대한 연구들이 이루어져 왔음을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 추계학술발표대회
• /
• pp.718-720
• /
• 2014

정보통신 기기의 발달에 따라 스마트 러닝으로 교육방법이 진화하고 있다. 스마트 러닝에 있어서 학습자의 관심분야에 맞는 적절한 콘텐츠의 제공이 필수적이다. 본 논문에서는 텍스트 분류 기술을 이용하여 학습자의 SNS 데이터로부터 관심분야를 자동적으로 파악해내는 시스템을 제안한다. 텍스트 분류를 위해 카테고리 별로 기 분류되어있는 데이터를 수집하여 기계 학습을 수행하였다. 텍스트 분류의 정확도 향상을 위해 카테고리 분류 단위 크기를 변화시키면서 정확도를 측정하고 분석하여 실제 서비스에 적용 가능한 수준으로 판단되는 82.5%의 정확도를 얻었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 춘계학술발표대회
• /
• pp.515-518
• /
• 2009

이동단말기가 보급이 확산됨에 따라 많은 사용자들이 이동단말기를 사용하고 필연적으로 많은 통신행동을 하고 있다. 특히 SMS 는 시간과 장소의 제한이 적어 사용자들의 통신행동 중 큰 비중을 차지하고 있다. SMS 통신행동에서 이모티콘의 사용이 많이 나타나고 있으며 이는 텍스트 기반의 의사소통의 한계를 극복하기 위한 방안으로 볼 수 있다. SMS 로부터 사용자의 감정을 추론하려는 기존의 연구가 있었지만 SMS 텍스트에 국한된다는 문제점이 있다. 본 논문에서는 최근 휴대폰, PDA, 스마트폰 등 이동단말기의 발전에 따라 통신행동 기록, 위치 정보와 같은 컨텍스트 정보를 수집하고 이용할 수 있음에 착안하여 SMS 텍스트와 함께 이동단말기의 컨텍스트 정보를 추론에 사용하였다. 의사결정트리를 이용하여 가용한 컨텍스트 정보로부터 추론한 정황 정보를 SMS 통신에서 사용하여 기존의 텍스트 기반의 의사소통의 한계를 극복할 수 있는 Visual SMS 를 제안한다. 사전에 정의한 훈련 데이터 집합을 통하여 의사결정트리를 생성하고 이를 기반으로 Visual SMS 를 구현, 시뮬레이션하여 추론 결과를 통해 그 기대효과를 확인한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.103-104
• /
• 2021

본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 웹크롤링 기법을 활용하여 키워드를 입력하면 요약된 논문 정보를 파일로 저장할 수 있고 또한 키워드 빈도 분석과 토픽 모델링 등을 통해 연구 동향을 손쉽게 확인해볼 수 있는 웹 애플리케이션을 설계하고 구현하는 것을 목표로 한다. 제안 모델인 웹 애플리케이션을 통해 프로그래밍 언어와 데이터 분석 기법에 대한 지식이 부족하더라도 논문 수집과 저장, 텍스트 분석을 경험해볼 수 있다. 또한, 이러한 웹 시스템 개발은 기존의 html, css, java script와 같은 언어에 의존하지 않고 파이썬 라이브러리를 활용하였기 때문에 파이썬을 기반으로 데이터 분석과 머신러닝 교육을 수행할 경우 프로젝트 기반 수업 교육 과정으로 채택이 가능할 것으로 기대된다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.513-516
• /
• 2022

본 논문에서는 텍스트 마이닝 기법을 이용하여 MZ 세대를 이해하는 키워드를 도출하고자 한다. MZ 세대의 비중이 높아지면서, MZ 세대를 분석하려고 하는 많은 연구들이 수행되고 있다. 이에 본 연구에서는 MZ 세대를 이해하기 위하여 네이트 판의 연령별 게시판 크롤링을 통해 빅데이터를 수집하였다. 그리고 텍스트 마이닝 기법을 활용하여 10대, 20대, 30대의 각각의 키워드를 도출할 수 있었다. 본 논문에서 도출된 키워드는 이는 MZ 세대를 이해하는데 중요한 키워드로 볼 수 있을 것이다. 향후 연구로는 MZ 세대와 기성 세대를 비교하기 위하여 추가 크롤링을 통해 세대 간 비교 연구를 수행하고자 한다.

• 디지털융복합연구
• /
• 제19권3호
• /
• pp.167-176
• /
• 2021

최근 빅데이터 분석 기술이 발전하면서 사회 이슈를 분석하기 위해 그 동안 많은 텍스트 마이닝 기법을 활용한 연구들이 진행되어왔다. 사회이슈를 도출하기 위한 기존의 연구들을 살펴보면 다량의 텍스트 데이터를 뉴스, SNS 등으로부터 수집하여 토픽 모델링, 네트워크 분석 등의 기법을 이용하여 데이터로부터 이슈를 추출하고 분석하는 방식으로 연구들이 이루어져왔다. 사회 이슈는 다양한 사회현상들이 누적되어 나타나는 결과물이다. 하지만 기존 연구들이 가지는 한계점은 사회적으로 나타나는 이슈, 즉 결과에 대한 분석에 초점이 맞춰져 있어 해당 이슈의 발생 원인을 밝히는 것에는 한계를 가진다는 것이다. 사회이슈에 적절하게 대응하기 위해서는 어떠한 사회이슈가 존재하는지를 확인하는 것뿐만 아니라 사회이슈의 발생 원인을 파악하는 것이 필요하다. 이러한 한계점을 극복하기 위해서 본 연구에서는 사회 이슈와 관련한 텍스트로부터 사회이슈의 원인이 되는 요인을 도출하는 방법을 국어학의 품사이론을 기반으로 제안하였다. 이를 위해서 2017년 1월부터 2019년 12월까지의 3년 동안의 사회이슈와 관련한 뉴스데이터를 수집하여 수집된 텍스트 내 단어들의 인과관계를 인과문형을 찾아 분석한 후 기존 텍스트마이닝 기법 접목하여 사회이슈의 원인 단어들을 찾는 방법론을 제안하였다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제32권4호
• /
• pp.555-573
• /
• 2018

본 연구는 텍스트 마이닝 기법을 활용하여 수학수업에서 나타나는 교사의 감성적 언어를 확인하고자 하였다. 이를 위해 우수 수업 동영상을 활용하여 수업에서 발생하는 교사의 수업 언어 데이터를 수집하였다. 추출한 비정형 데이터에 대한 분석 과정은 데이터 수집, 데이터 전처리, 텍스트 마이닝 분석의 세 가지 단계로 진행하였다. 분석 결과 수학 수업에서 오고가는 담화 중에서 교사의 감성적 반응을 나타내는 언어는 거의 나타나지 않았으며, 이를 통해 수업의 정의적 영역 측면에서의 시사점을 도출하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.11-13
• /
• 2019

대중들에게 정보를 빠르고 정확하게 제공하는 대표 매체인 뉴스 기사는 일 평균 1만 5천 건 이상이 보도되고 있다. 특정 주제 또는 분야에 대한 전반적인 동향을 파악하고자 대량의 텍스트 데이터를 수집하여 텍스트 마이닝(Text mining)과 머신러닝 등을 적용하는 연구들이 활발하게 수행되고 있다. 본 연구에서는 서울시의 이슈 및 문제를 파악하고자 약 5년간 뉴스 기사를 수집하여 키워드 분석 및 토픽 모델링을 적용하였다. 분석 결과 5년간의 뉴스 기사에서 빈번하게 출현하는 키워드들을 도출하였고 연도별로 도출된 키워드들을 비교분석하였다. 또한 토픽 모델링 적용 결과 뉴스 기사를 구성하는 20개의 주제를 도출하였으며 이를 기반으로 서울시의 주요 이슈들을 파악할 수 있다. 본 연구는 연도별, 분야별 세부 내용 및 시계열 분석, 다른 도시들의 이슈 및 문제를 도출하는데 활용될 것으로 기대된다.