• 제목/요약/키워드: LDA 모델

검색결과 92건 처리시간 0.032초

희소 부호화 기법과 토픽 모델링을 통한 이미지 분류 모델

  • 전진;김문철
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2015년도 하계학술대회
    • /
    • pp.49-50
    • /
    • 2015
  • 본 논문에서는 이미지를 시각적 단어로 표현하여 분석하는 기법인 bag-of-visual words (BoW) 모델을 기반으로 latent dirichlet allocation (LDA) 모델을 결합하여 시각적 단어의 구조를 파악하여 이미지를 분류할 수 있는 모델을 제안한다. 우선 이미지를 시각적 단어로 기존의 방법보다 정확하게 표현하기 위해서 희소 부호화(sparse coding) 기법을 적용한다. 기존의 BoW 모델은 하나의 이미지 패치를 하나의 단어로 표현하였지만, 희소 부호화 기법을 통해 하나의 이미지 패치를 여러 개의 단어로 표현할 수 있다. 제안하는 모델을 이용하여 이미지를 분류하기 위해서 분류 성능 측정에 많이 쓰이는 multi-class SVM 기법을 이용한다. UIUC 스포츠 데이터를 이용한 성능 측정을 통해 제안한 기법의 클래스 분류 성능을 검증하였다.

  • PDF

토픽 모델링 기반 비대면 강의평 분석 및 딥러닝 분류 모델 개발 (Analyzing Students' Non-face-to-face Course Evaluation by Topic Modeling and Developing Deep Learning-based Classification Model)

  • 한지영;허고은
    • 한국문헌정보학회지
    • /
    • 제55권4호
    • /
    • pp.267-291
    • /
    • 2021
  • 2020년 신종 코로나바이러스 감염증(코로나19)으로 인한 전 세계적인 팬데믹으로 교육 현장에도 큰 변화가 있었다. 대학에서는 보조 교육 수단으로 생각했던 원격수업을 전면 도입하였고 비대면 수업이 일상화되어 교수자와 학생들은 새로운 교육환경에 적응하기 위해 큰 노력을 기울이고 있다. 이러한 변화 속에서 비대면 강의의 질적 향상을 위하여 강의 만족도 영향요인에 관한 연구가 필요하다. 본 연구는 코로나 전과 후로 변화된 대학 강의 만족도 영향요인을 파악하기 위해 빅데이터를 활용한 새로운 방법론을 제시하고자 한다. 토픽 모델링을 활용하여 코로나 전과 후의 강의평을 분석하고 이를 통해 강의 만족도 영향요인을 파악하여 대학교육이 나아가야 할 방향성을 제언하였다. 또한, 딥러닝 언어 모델인 KoBERT를 기반으로 0.84의 F1-score를 보이는 토픽 분류 모델을 구축함으로써 강의의 만족, 불만족 요인을 다각도로 파악할 수 있으며 이를 통해 강의 만족도의 지속적인 질적 향상에 기여할 수 있다.

딥러닝 및 토픽모델링 기법을 활용한 소셜 미디어의 자살 경향 문헌 판별 및 분석 (Examining Suicide Tendency Social Media Texts by Deep Learning and Topic Modeling Techniques)

  • 고영수;이주희;송민
    • 한국비블리아학회지
    • /
    • 제32권3호
    • /
    • pp.247-264
    • /
    • 2021
  • 자살은 전 세계 사망 원인 중 4위이며 사회, 경제적 손실이 큰 난제이다. 본 연구는 자살 예방을 위하여 소셜미디어에 나타난 자살 관련 말뭉치를 구축하고 이를 통해 자살 경향 문헌을 분류할 수 있는 딥러닝 자동분류 모델을 만들고자 하였다. 또한, 자살 요인을 분석하기 위해 주제를 자동으로 추출하는 분석 기법인 토픽모델링을 활용하여 자살 관련 말뭉치를 세부 주제로 분류하고자 하였다. 이를 위해 소셜미디어 중 하나인 네이버 지식iN에 나타난 자살 관련 문헌 2,011개를 수집한 후 자살예방교육 매뉴얼을 기준으로 자살 경향 문헌 및 비경향 문헌 여부를 주석 처리하였으며, 이 데이터를 딥러닝 모델(LSTM, BERT, ELECTRA)로 학습시켜 자동분류 모델을 만들었다. 또한, 토픽모델링 기법의 하나인 LDA 기법으로 주제별 문헌을 분류하여 자살 요인을 발견하였고 이를 심층적으로 분석하기 위해 주제별로 동시출현 단어 분석 및 네트워크 시각화를 진행하였다.

토픽모델링 분석을 활용한 국가연구개발사업과제와 국회 상임위원회 사이의 정책 인식 비교 : ICT 분야를 중심으로 (Comparison of policy perceptions between national R&D projects and standing committees using topic modeling analysis : focusing on the ICT field)

  • 송병기;김상웅
    • 산업융합연구
    • /
    • 제20권7호
    • /
    • pp.1-11
    • /
    • 2022
  • 본 논문에서는 여러 연구기관에서 논의하고 있는 데이터 기반 평가 방법론 중 토픽모델링 기법을 이용하여 계량적인 값을 도출하고 그 과정에서 실제 전문가들이 수행하는 국가연구개발사업과제와 이를 법률과 정책실무에서 다루는 국회 상임위원회 간의 정책적 인식 차이가 있는지 ICT 분야를 중심으로 파악해 보고자 한다. 먼저 HAN 모델로 사업과제 데이터를 학습하여 ICT 문서를 분류하는 모델을 만들고, 해당 모델을 통해 분류된 ICT 문서를 대상으로 LDA 토픽모델링 분석을 수행하여 국가연구개발사업과제 데이터와 국회 상임위원회 회의록에서 도출된 토픽과 분포를 비교한다. 구체적으로 총 26개의 토픽이 도출되었으며, 각 토픽이 포함하는 단어와 문서 분포 비율을 살펴봤을 때, 국가사업과제는 상대적으로 전문적인 주제의 문서가 많았으며, 국회 상임위원회는 상대적으로 사회적이고 대중적인 문제를 다루는 것으로 나타나 인식에 다소 차이가 있는 것으로 보였다. 인식의 차이를 수치적으로 확인할 수 있는 만큼, 향후 정책이나 과제 평가에 사용할 수 있는 지표에 대한 기초연구로 활용 가능할 것이다.

빅데이터 기반 문서 토픽 추출 시스템 연구 (A Study on the Document Topic Extraction System Based on Big Data)

  • 황승연;안윤빈;신동진;오재곤;문진용;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권5호
    • /
    • pp.207-214
    • /
    • 2020
  • 요즘 스마트폰, 각종 전자기기 등의 사용이 늘고, 인터넷과 SNS가 활성화되며 우리는 정보의 홍수 속에 살고 있다. 정보의 양이 기하급수적으로 증가하며 많은 정보를 다 살펴보는 것이 어려워졌고, 문서에서 핵심 키워드만 보기를 원하는 사람이 늘어나며 정보의 핵심이 되는 토픽을 추출하는 연구의 중요성이 증가하고 있다. 또한, 토픽을 추출하여 과거와 비교 분석하여 현재의 트렌드를 유추해내는 것도 최근 중요한 이슈이다. 토픽 모델링 기법을 이용하여 대량의 문서에서 토픽을 추출해낼 수 있으며, 이렇게 추출된 토픽은 트렌드 예측, 데이터 분석 등 다양한 분야에서 쓰일 수 있다. 본 논문에서는 빠르게 변하는 트렌드를 분석하여 시대의 흐름에 맞춰가기 위해 확률적 토픽 모델 기법의 하나인 LDA 알고리즘을 활용하였으며, 문서에서 컴퓨팅 분야의 2016, 2017, 2018년도 3개년 논문의 주제를 알아보고, 연구의 동향과 흐름을 분석한다.

LDA 모델을 이용한 잠재 키워드 추출 (Latent Keyphrase Extraction Using LDA Model)

  • 조태민;이지형
    • 한국지능시스템학회논문지
    • /
    • 제25권2호
    • /
    • pp.180-185
    • /
    • 2015
  • 인터넷 미디어의 발달과 함께 온라인 문서의 양이 급격하게 증가함에 따라, 문서 요약과 정보 검색 등 다양한 분야에 활용가능한 키워드를 자동으로 찾고자하는 연구가 활발히 진행되고 있다. 하지만 기존의 키워드 추출 연구들은 문서에서 나타나는 키워드만을 대상으로 하고 있어, 문서에서 등장하지 않는 잠재 키워드를 추출하지 못하는 한계를 갖고 있다. 잠재 키워드는 실데이터 키워드의 1/4 이상을 차지하고 있으며, 문서에서 나타나지는 않지만 문서의 중요한 개념이나 내용을 함축하고 있어 문서 요약 및 정보 검색에 중요한 역할을 차지할 수 있다. 특히 SNS와 같이 내용이 적어 키워드가 명시적으로 나타나기 어려운 문서에서 유용하게 활용될 수 있다. 본 논문에서는 잠재 키워드를 추출하기 위해 주어진 문서와 유사한 문서의 키워드를 후보 키워드로 선택하고 후보 키워드를 구성하는 개별 단어들을 이용해 후보 키워드의 중요도를 평가하는 방법을 제안한다. 실험을 통해, 제안 기법이 잠재 키워드를 합리적인 수준으로 추출할 수 있음을 보였다.

Technology Development Strategy of Piggyback Transportation System Using Topic Modeling Based on LDA Algorithm

  • Jun, Sung-Chan;Han, Seong-Ho;Kim, Sang-Baek
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권12호
    • /
    • pp.261-270
    • /
    • 2020
  • 본 연구는 피기백 화차운송 시스템의 특허문서를 활용하여 관련 분야의 유망기술을 파악하는 것을 목표로 한다. 이를 위해 피기백 운송 시스템의 선행연구 및 관련 보고서로 기술 키워드를 추출하여 특허문서를 추출한다. 추출된 특허문서에 텍스트마이닝 기법을 적용하여 빈도수가 높은 키워드를 확인하고 피기백 운송 시스템의 핵심기술의 토픽을 식별하기 위해 LDA(Latent Dirichlet Allocation) 알고리즘을 적용하였다. 마지막으로, 시계열 분석 기법인 ARIMA 모델을 핵심기술의 토픽에 적용하여 기술 추세를 예측하고 피기백 운송 시스템에 대한 유망한 기술을 식별하였다. 특허 분석 결과, 데이터 기반 통합관리 시스템과 운영 계획 시스템 그리고 복합수송 중 특수 화물(기체, 액체류) 운송 및 보관 기술이 미래에 유망한 핵심기술로 도출되었고, 데이터 송수신 및 분석 기술이 중요한 세부 기술임을 확인하였다. 제안된 분석 방법은 피기백 운송 시스템의 R&D 연구개발 전략 및 기술 로드맵을 개발하는 데 있어 충분한 자료가 될 수 있다.

트윗의 타임 시퀀스를 활용한 DTM 분석 : 2019 남북미정상회동 이벤트를 중심으로 (Tweets analysis using a Dynamic Topic Modeling : Focusing on the 2019 Koreas-US DMZ Summit)

  • 고은지;최선영
    • 한국정보통신학회논문지
    • /
    • 제25권2호
    • /
    • pp.308-313
    • /
    • 2021
  • 이 연구는 2019년 판문점 남북미 정상 회동 트윗을 타임 시퀀스와 함께 수집하여 시퀀셜 토픽모델링인 DTM으로 분석하였다. 트위터와 같은 마이크로 블로깅 서비스는 단일 이벤트에 뉴스와 오피니언이 혼재된 비정형 데이터가 대규모로 동시에 발생하고, 정보와 반응이 동일 메시지 형식으로 생산된다. 때문에 토픽 트렌드를 파악하려면 시퀀셜 데이터의 특성을 반영하여 패턴 분석을 해야 맥락적 의미를 알 수 있다. 토픽 일관성 점수를 구해 LDA를 평가한 후 DTM을 계산한 결과, 뉴스 보도와 오피니언 관련 토픽 30개가 도출되었고, 각 토픽과 키워드는 시간에 따라 발생 확률이 역동적으로 진화하고 있었다. 결론적으로 DTM은 특정 이벤트에 대한 사회 전반에 나타난 통합적 토픽 추이를 시간에 따라 분석하는데 적합한 모델임을 밝혔다.

빅데이터 분석을 통한 트렌드 파악 및 사용자 맞춤 도서 추천 (A Trend Analysis and Book Recommendation through Bigdata Analysis)

  • 윤경서;강승식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.363-364
    • /
    • 2023
  • 카테고리별 베스트셀러를 통해 트렌드 파악 및 사용자 맞춤형 도서 추천을 위해 카테고리별로 도서 데이터를 수집하고, 대용량 데이터인 위키피디어 데이터를 이용하여 워드임베딩 모델을 구축한다. 도서 데이터에 대한 키워드 분석 및 LDA 주제분석 기법에 의해 카테고리별 핵심 단어 분석을 통해 도서 트렌드를 파악하고, 사용자 맞춤형 도서 정보 제공 및 도서를 추천하는 기능을 구현한다.

구간분할 매칭방법과 선형판별분석기법을 융합한 온라인 서명 검증 (On-line Signature Verification using Segment Matching and LDA Method)

  • 이대종;고현주;전명근
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권12호
    • /
    • pp.1065-1074
    • /
    • 2007
  • 기존의 참조서명과 입력서명을 비교하는 방법 중 분절 단위 비교 방법은 전역적 비교와 점 단위 비교 방법과 비교하여 우수한 장점을 가지고 있다. 그러나 분절 단위 비교 방법은 인식률과 직접적인 관계가 있는 분절의 불안정 문제점이 있다. 이러한 문제점을 해결하기 위하여 본 논문에서는 분절단위 방법 외에 선형판별분석에 의한 매칭방법을 고려한 서명 검증 기법을 제안한다. 최종 검증단계에서 두 개의 독립모델을 효과적으로 융합할 수 있는 확률기반의 베이지안 분류기를 적용하였다 다양한 서명데이타를 이용하여 실험한 결과 제안된 기법은 분절단위 기반 구간분할매칭 기법에 비해 우수한 성능을 나타냈다.