• 제목/요약/키워드: 토픽

검색결과 1,143건 처리시간 0.028초

Spark 프레임워크 기반 비정형 빅데이터 토픽 추출 시스템 설계 (A Design on Informal Big Data Topic Extraction System Based on Spark Framework)

  • 박기진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.521-526
    • /
    • 2016
  • 온라인상에서 다루어지는 비정형 텍스트 데이터는 대용량이면서 비구조적 형태의 특성을 가지고 있기 때문에, 기존 관계형 데이터 모델의 저장 방식과 분석 방법만으로는 한계가 있다. 더군다나, 동적으로 발생하는 대량의 소셜 데이터를 활용하여 이용자의 반응을 실시간으로 분석하기란 어려운 상황이다. 이에 본 논문에서는 대용량 비정형 데이터(문서)의 의미를 빠르고, 용이하게 파악하기 위하여 데이터 셋에 대한 사전학습 없이, 문서 내 단어 비중에 따라 자동으로 토픽(주제)이 추출되는 시스템을 설계 및 구현하였다. 제안된 시스템의 토픽 모델링에 사용될 입력 단어는 N-gram 알고리즘에 의하여 도출되어 복수 개의 단어도 묶음 처리할 수 있게 했으며, 또한, 대용량 비정형 데이터 저장 및 연산을 위하여 Hadoop과 분산 인메모리 처리 프레임워크인 Spark 기반 클러스터를 구성하여, 토픽 모델 연산을 수행하였다. 성능 실험에서는 TB급의 소셜 댓글 데이터를 읽어 들여, 전체 데이터에 대한 전처리 과정과 특정 항목의 토픽 추출 작업을 수행하였으며, 대용량 데이터를 클러스터의 디스크가 아닌 메모리에 바로 적재 후, 처리함으로써 토픽 추출 성능의 우수성을 확인할 수 있었다.

토픽모델링을 활용한 대학생의 중도탈락 데이터 분석 (Data Analysis of Dropouts of University Students Using Topic Modeling)

  • 정도헌;박주연
    • 한국정보통신학회논문지
    • /
    • 제25권1호
    • /
    • pp.88-95
    • /
    • 2021
  • 본 연구의 목적은 대학생의 중도탈락 현상 데이터를 실증적으로 분석하여 대학의 학생지원정책을 수립하기 위한 시사점을 제공하는 데 있다. 이를 위해 D대학의 2017~2019년 입학생 데이터를 토픽모델링 LDA(Latent Dirichlet Allocation)를 활용하여 재학생과 제적생으로 나누어 분석하였다. 연구결과 제적생에서 특징있게 나타난 토픽은 '학적'관련하여 '학기등록 1회', '전공'관련하여 '어문계열학과', '학점'관련하여 '학사경고'이고, '대학생활'관련하여 '비교과 프로그램'에 대한 토픽은 나타나지 않았다. 다음으로 '재학생 토픽'과 '제적생 토픽'의 상호 식별 성능을 측정한 결과, SVM(Support Vector Machines)이 가장 우수한 식별 성능을 보여주었다. 이러한 실험을 통해 기계학습을 활용한 인공지능 기반의 학생 데이터 분류 기법 연구의 가능성을 확인할 수 있었다.

소셜 빅데이터로 알아본 코로나19와 가족생활: 토픽모델 접근 (COVID-19 and Korean Family Life on Social Media: A Topic Model Approach)

  • 박선영;이재림
    • 한국콘텐츠학회논문지
    • /
    • 제21권3호
    • /
    • pp.282-300
    • /
    • 2021
  • 본 연구의 목적은 코로나19 확산으로 가족생활에서 급격한 변화가 일어난 1차 확산기에 블로그와 온라인 카페에 게시된 소셜 빅데이터를 분석하여 키워드를 파악하고, 게시글에 잠재된 주요 토픽을 발견하는 것이다. 강화된 사회적 거리두기가 처음 시행되었던 2020년 2월 23일부터 4월 19일까지 네이버와 다음의 블로그 및 카페에 게시된 글 중 '코로나'와 '가족' 또는 '코로나'와 '가정'이 함께 언급된 문서 총 351,734건을 분석하였다. 수집된 데이터는 전처리를 거쳐 텍스트 마이닝 기법으로 분석하였다. TF-IDF 가중치 값을 바탕으로 상위 100개 단어를 살펴보았으며, 잠재디리클레할당 방식의 토픽모델 분석을 통해 총 22개 토픽을 도출하고 토픽명을 부여하였다. 연구결과, 코로나19가 가족의 일상생활에 미친 전방위적 영향이 나타났으며, 특히 식생활, 주거생활, 여가생활, 종교생활, 자녀돌봄, 자녀교육, 가족관계, 가족의례 등에서 변화가 두드러졌다. 더불어, 가족 관련 국내 문헌에서는 잘 논의되지 않던 건강공동체로서의 가족을 시사하는 토픽도 등장하였다.

트윗의 타임 시퀀스를 활용한 DTM 분석 : 2019 남북미정상회동 이벤트를 중심으로 (Tweets analysis using a Dynamic Topic Modeling : Focusing on the 2019 Koreas-US DMZ Summit)

  • 고은지;최선영
    • 한국정보통신학회논문지
    • /
    • 제25권2호
    • /
    • pp.308-313
    • /
    • 2021
  • 이 연구는 2019년 판문점 남북미 정상 회동 트윗을 타임 시퀀스와 함께 수집하여 시퀀셜 토픽모델링인 DTM으로 분석하였다. 트위터와 같은 마이크로 블로깅 서비스는 단일 이벤트에 뉴스와 오피니언이 혼재된 비정형 데이터가 대규모로 동시에 발생하고, 정보와 반응이 동일 메시지 형식으로 생산된다. 때문에 토픽 트렌드를 파악하려면 시퀀셜 데이터의 특성을 반영하여 패턴 분석을 해야 맥락적 의미를 알 수 있다. 토픽 일관성 점수를 구해 LDA를 평가한 후 DTM을 계산한 결과, 뉴스 보도와 오피니언 관련 토픽 30개가 도출되었고, 각 토픽과 키워드는 시간에 따라 발생 확률이 역동적으로 진화하고 있었다. 결론적으로 DTM은 특정 이벤트에 대한 사회 전반에 나타난 통합적 토픽 추이를 시간에 따라 분석하는데 적합한 모델임을 밝혔다.

토픽모델링을 이용한 국내 방사선 학술연구 트렌드 분석 (A Trend Analysis of Radiological Research in Korea using Topic Modeling)

  • 홍동희
    • 한국방사선학회논문지
    • /
    • 제16권3호
    • /
    • pp.343-349
    • /
    • 2022
  • 토픽 모델링을 활용하여 1989년부터 2022년까지 출판된 방사선을 주제로 한 논문을 파악하고 주제들 간의 관련성과 비중을 분석하고자 한다. 본 연구는 방사선 분야의 연구 활성화에 기여하기 위하여 2022년 최근까지 출판된 논문 717편을 대상으로 국문제목에서 도출된 토픽들을 분석하였다. 텍스트마이닝을 통해 연구의 주제 분포에 대한 전반적 연구 동향을 분석하였으며, 토픽모델링을 통해 5가지 주제를 도출해냈다. 첫째, 분석 대상 논문 중 키워드 중심으로 총 논문 717편의 연구에서 핵심어를 전처리 과정을 거쳐 최종적으로 선정된 단어는 총 1675개의 단어를 빈도 분석하였다. 둘째, 5개 토픽에 대하여 구성단어의 연관성을 중심으로 토픽을 분석한 결과 방사선, 영상, CT 임상분야에서 영상의 화질을 떨어뜨리지 않는 범위에서 선량을 최소화 하는데 연구가 주를 이루고 있음을 알 수 있었다. 또한, MRI 분야는 다양한 연구가 주를 이루었고 초음파는 다양한 부위의 질환 분석이 연구가 활발하게 시도되고 있음을 알 수 있었다.

토픽모델링 분석을 활용한 국가연구개발사업과제와 국회 상임위원회 사이의 정책 인식 비교 : ICT 분야를 중심으로 (Comparison of policy perceptions between national R&D projects and standing committees using topic modeling analysis : focusing on the ICT field)

  • 송병기;김상웅
    • 산업융합연구
    • /
    • 제20권7호
    • /
    • pp.1-11
    • /
    • 2022
  • 본 논문에서는 여러 연구기관에서 논의하고 있는 데이터 기반 평가 방법론 중 토픽모델링 기법을 이용하여 계량적인 값을 도출하고 그 과정에서 실제 전문가들이 수행하는 국가연구개발사업과제와 이를 법률과 정책실무에서 다루는 국회 상임위원회 간의 정책적 인식 차이가 있는지 ICT 분야를 중심으로 파악해 보고자 한다. 먼저 HAN 모델로 사업과제 데이터를 학습하여 ICT 문서를 분류하는 모델을 만들고, 해당 모델을 통해 분류된 ICT 문서를 대상으로 LDA 토픽모델링 분석을 수행하여 국가연구개발사업과제 데이터와 국회 상임위원회 회의록에서 도출된 토픽과 분포를 비교한다. 구체적으로 총 26개의 토픽이 도출되었으며, 각 토픽이 포함하는 단어와 문서 분포 비율을 살펴봤을 때, 국가사업과제는 상대적으로 전문적인 주제의 문서가 많았으며, 국회 상임위원회는 상대적으로 사회적이고 대중적인 문제를 다루는 것으로 나타나 인식에 다소 차이가 있는 것으로 보였다. 인식의 차이를 수치적으로 확인할 수 있는 만큼, 향후 정책이나 과제 평가에 사용할 수 있는 지표에 대한 기초연구로 활용 가능할 것이다.

토픽모델링을 활용한 Z세대의 애플리케이션 효용성에 대한 분석: 이용자의 에세이 데이터를 중심으로 (Analysis of the Utilization of Mobile Applications by Generation Z using Topic Modeling :Focusing on Users' Essay Data)

  • 박주연;정도헌
    • 산업융합연구
    • /
    • 제20권1호
    • /
    • pp.43-51
    • /
    • 2022
  • 본 연구는 이용자 중심 관점에서 Z세대의 애플리케이션 사용의 효용성을 분석하여 Z세대에 대한 이해를 돕고 Z세대를 위한 모바일 서비스 마케팅 전략 수립, 교육서비스 개발, 공학교육 등에 필요한 기초 정보를 제공하는데 목적이 있다. 이를 위해 Z세대인 대학생의 애플리케이션 사용경험에 대한 에세이를 177건 수집하였고, 토픽모델링을 활용하여 주요 토픽들을 분석하고, 이를 워드 클라우드 분석을 통해 시각화하였다. 연구 결과 주요 토픽들은 이동, 대중교통 등과 같은 '교통', 일정관리, 금융관리, 음식관리 등과 같은 '개인적 관리', 계산, 모임, 구매, 외식 등과 같은 '거래', 여행, 스터디, 문화 등과 같은 '여가활용' 과 관련된 것으로 나타났다. 그리고 시간, 생각, 사람, 생활, 버스, 정보, 확인, 결제, 카카오톡 등의 용어가 높은 빈도를 보였다. 또한, 단과대학별로 분석한 결과 토픽 간 차이가 나타났다. 본 연구는 비정형데이터인 에세이를 수집하여 애플리케이션 효용성을 토픽모델링을 통해 실증적으로 분석하였다는 점에서 의의가 있다.

BART 기반 문서 요약을 통한 토픽 모델링 성능 향상 (Performance Improvement of Topic Modeling using BART based Document Summarization)

  • 김은수;유현;정경용
    • 인터넷정보학회논문지
    • /
    • 제25권3호
    • /
    • pp.27-33
    • /
    • 2024
  • 정보의 증가 속에서 학문 연구의 환경은 지속적으로 변화하고 있으며, 이에 따라 대량의 문서를 효과적으로 분석하는 방법의 필요성이 대두된다. 본 연구에서는 BART(Bidirectional and Auto-Regressive Transformers) 기반의 문서 요약 모델을 사용하여 텍스트를 정제하여 핵심 내용을 추출하고, 이를 LDA(Latent Dirichlet Allocation) 알고리즘을 통한 토픽 모델링의 성능 향상 방법을 제시한다. 이는 문서 요약을 통해 LDA 토픽 모델링의 성능과 효율성을 향상시키는 접근법을 제안하고 실험을 통해 검증한다. 실험 결과, 논문 데이터를 요약하는 BART 기반 모델은 Rouge-1, Rouge-2, Rouge-L 성능 평가에서 각각 0.5819, 0.4384, 0.5038의 F1-Score를 나타내어 원문의 중요 정보를 포착하고 있음을 보인다. 또한, 요약된 문서를 사용한 토픽 모델링은 Perplexity 지표를 통한 성능 비교에서 원문을 사용한 토픽 모델링의 경우보다 약 8.08% 더 높은 성능을 보인다. 이는 토픽 모델링 과정에서 데이터 처리량의 감소와 효율성 향상에 기여한다.

공원 이슈에 대한 주요 언론의 담론변화분석 - 1995년부터 2019년까지 신문 기사를 중심으로 - (Analysis of Changes in Discourse of Major Media on Park Issues - Focusing on Newspaper Articles Published from 1995 to 2019 -)

  • 고하정
    • 한국조경학회지
    • /
    • 제49권5호
    • /
    • pp.46-58
    • /
    • 2021
  • 국내에 근대식 공원이 도입된 이후, 공원은 우리에게 필수적인 존재가 되었다. 민선시기 이후, 공원조성 등 공원을 둘러싼 이슈가 생산되고 언론을 통해 확산되어 담론을 형성하는 과정을 거쳤다. 이에 본 연구는 민선시장 체제인 1995년 이후의 '공원' 관련 이슈를 다룬 국내 중앙지의 보도기사를 수집하여 토픽분석과 의미연결망 분석을 통해 공원에 대한 시계열적 담론 변화 추이를 분석하였다. LDA 토픽모델링 분석결과, 5개의 토픽-도시공원확충(토픽1), 역사문화공원(토픽2), 이용프로그램(토픽3), 동물원 사건사고(토픽4), 공원조성과정갈등(토픽5)-으로 분류되었다. 언론에서 다룬 주요 공원담론은 다음과 같다. 첫째, 공원의 양적 확장에 대한 조성과정과 갈등이 주요 담론으로 다뤄지고 있다. 둘째, 신규 공원 조성시마다 공원명이 신규 단어로 출현하고 이후 지속적으로 언급되면서 담론형성에 한 축을 담당하고 있다. 셋째, 민선시대 공원 관련 언론에서 '주민'은 주요 주체로 '도시', '환경'과 함께 언급되며, 공원의 공공성에 대한 담론을 형성하고 있다. 본 연구는 공원이 언론을 통해 어떻게 해석되는지 담론변화를 살펴보았다는 점에서 의의를 가진다. 추후 본 연구에서 다룬 중앙지 외에 지역지, 전문지 등 다른 매체에 대한 연구를 통해 공원에 대한 다양한 관점의 담론이 다뤄지길 기대한다.

토픽 모델링을 활용한 한국 영어교육 학술지에 나타난 연구동향 분석 (Analysis of Research Trends in Korean English Education Journals Using Topic Modeling)

  • 원용국;김영우
    • 한국콘텐츠학회논문지
    • /
    • 제21권4호
    • /
    • pp.50-59
    • /
    • 2021
  • 본 연구는 2000년 이후 최근 20년간 우리나라 영어교육의 연구동향을 파악해보는 것을 목적으로 한다. 이를 위해 영어교육 관련 주요 학술지 12개를 선정하여 해당 기간 동안에 게재된 논문 7,329편의 서지정보를 수집하여 분석하였다. 분석 대상이 된 영어교육 학술지의 논문 게재 현황은 2000년대부터 2010년대 전반기까지 계속 증가하였다가 2010년대 후반기에 다소 감소하였다. 그리고 2010년대 후반기에 학술지별 논문 게재 수도 비슷해졌다. 이와 같은 결과는 양적인 측면에서 영어교육 학술지의 영향력이 전반적으로 감소하면서 평준화된 것이라고 볼 수 있다. 다음으로 논문의 영문 초록을 데이터로 잠재 디리클레 할당(LDA) 토픽 모델링을 적용한 결과 34개 토픽(주제)이 추출되었다. 영어교육 분야에서 많이 연구된 토픽은 교사, 단어, 문화/미디어, 문법 등이었다. 단어, 어휘, 평가 등의 주제는 독특한 키워드를 통해 나타났고, 학습자요인 관련하여 여러 토픽들이 나타나면서 영어교육 연구의 관심 주제가 되었다. 다음으로, 상승 및 하강 토픽을 분석한 결과 상승 토픽으로 질적 연구, 어휘, 학습자요인, 평가요소 등이 있었고, 하강 토픽으로 CALL, 언어, 교수, 문법 등이 있었다. 이런 연구 주제의 변화는 영어교육 분야의 연구 관심사가 정적인 연구 주제에서 데이터 중심적이고 동적인 연구 주제로 이동하고 있음을 보여주는 것이다.