• 제목/요약/키워드: 빅데이터 기반 모델링

검색결과 103건 처리시간 0.028초

Latent Dirichlet Allocation (LDA) 모델 기반의 인공지능(A.I.) 기술 관련 연구 활동 및 동향 분석 (Systemic Analysis of Research Activities and Trends Related to Artificial Intelligence(A.I.) Technology Based on Latent Dirichlet Allocation (LDA) Model)

  • 정명석;이주연
    • 한국산업정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.87-95
    • /
    • 2018
  • 최근 인공지능(Artificial Intelligence; A.I.)의 기술 발전과 함께 이에 대한 관심이 증가하고 있으며 관련 시장도 비약적으로 확대되고 있다. 아직은 초기단계이지만 2000년 이후 현재까지 계속 확장되고 있는 인공지능 기술 분야의 연구방향과 투자 분야에 대한 불확실성을 줄이는 것이 중요한 시점이다. 이러한 기술 변화와 시대적 요구에 따라서 본 연구는 빅데이터(Big Data) 분석방법 중 텍스트 마이닝(Text Mining)과 토픽모델링(Topic Modeling)을 활용하여 기술동향을 살펴보고, 핵심기술과 성장 가능성이 있는 연구의 향후 방향성을 제시하였다. 본 연구의 결과로부터 인공지능의 기술동향에 대한 이해를 바탕으로 향후 연구 방향에 대한 새로운 시사점을 도출할 수 있으리라 기대한다.

인공지능 스피커의 세대별 온라인 리뷰 분석을 통한 사용자 경험 요인 탐색 (Exploring user experience factors through generational online review analysis of AI speakers)

  • 박정은;양동욱;김하영
    • 한국융합학회논문지
    • /
    • 제12권7호
    • /
    • pp.193-205
    • /
    • 2021
  • 인공지능 스피커 시장은 꾸준히 성장하고 있지만, 실제 스피커 사용자들의 만족도는 42%에 그치고 있다. 따라서, 본 연구에서는 인공지능 스피커의 세대별 토픽 변화와 감성 변화를 통해 사용자 경험을 저해하는 요소는 무엇인지 분석해 보고자 한다. 이를 위해 아마존 에코 닷 3세대와 4세대 모델에 대한 리뷰를 수집하였다. 토픽모델링 분석 기법을 사용하여 세대별로 리뷰를 이루는 주제 및 주제의 변화를 찾아내고, 딥러닝 기반 감성 분석을 통해 토픽에 대한 사용자 감성이 세대에 따라 어떻게 변화되었는지 살펴보았다. 토픽모델링 결과, 세대별로 5개의 토픽이 도출되었다. 3세대의 경우 스피커의 일반적 속성을 나타내는 토픽은 제품에 긍정적 반응 요인으로 작용했고, 사용자 편의 기능은 부정적 반응 요인으로 작용했다. 반대로 4세대에서는 일반적 속성은 부정적으로, 사용자 편의 기능은 긍정적으로 도출되었다. 이와 같은 분석은 방법론 측면에서 어휘적 특징뿐 아니라 문장 전체의 문맥적 특징이 고려된 분석결과를 제시할 수 있다는 것에 그 의의가 있다.

텍스트마이닝 기법을 활용한 교육관점에서의 메타버스 관련 이슈 탐색 - 뉴스 빅데이터를 중심으로 (Exploring Issues Related to the Metaverse from the Educational Perspective Using Text Mining Techniques - Focusing on News Big Data)

  • 박주연;정도헌
    • 산업융합연구
    • /
    • 제20권6호
    • /
    • pp.27-35
    • /
    • 2022
  • 본 연구는 뉴스 빅데이터에 나타난 메타버스 관련 이슈들을 교육관점에서 분석하여 그 특징을 탐색하고, 메타버스의 교육적 활용가능성 및 미래교육에 대한 시사점을 제공하는데 목적이 있다. 이를 위해 포털사이트에서 검색되는 메타버스 관련 뉴스 데이터를 41,366건 수집하였고, 대표적인 용어 가중치 모델인 TF-IDF를 이용하여 추출된 모든 키워드의 가중치 값을 계산하여 순위화한 후, 워드클라우드로 시각화 분석을 수행하였다. 또한 정교한 확률기반 텍스트마이닝 기법인 토픽모델링(LDA)을 활용하여 주요 토픽들을 분석하였다. 연구결과 교육관점에서 메타버스의 핵심 이슈로는 플랫폼 산업, 미래인재, 기술의 확산 등과 같은 주제가 도출되었다. 또한, 기술, 직업, 교육이라는 세 개의 핵심 주제로 2차 데이터 분석을 실시한 결과 미래교육에서 메타버스는 교육플랫폼의 혁신, 미래 직업의 혁신, 미래 역량의 혁신과 관련한 이슈를 갖는 것으로 나타났다. 본 연구는 방대한 양의 뉴스 빅데이터를 단계적으로 분석하여 교육관점에서 이슈를 도출하고 미래교육에 대한 시사점을 제공하였다는 데 의의가 있다.

토픽모델링을 활용한 인공지능 연구동향 분석 (Analysis of artificial intelligence research trends using topic modeling)

  • 최대수
    • 융합보안논문지
    • /
    • 제22권5호
    • /
    • pp.61-67
    • /
    • 2022
  • 본 연구의 목적은 인공지능의 연구동향을 분석하는 것이다. 입체적인 분석을 위하여 인공지능에 대한 사회과학에서의 연구방향과 공학에서의 연구방향의 차이를 객관적으로 비교하여 제시하고자 시도하였다. 연구방법은 빅데이터 분석방법론 중에서 토픽모델링을 활용하였으며, 분석데이터는 학술연구정보시스템에서 인공지능(AI)라는 키워드로 검색된1000개의 영문 논문을 활용하였다. 분석결과 사회과학분야에서는 인공지능에 대하여 '인간', '영향', '미래'라는 키워드를 중심으로 형성된 그룹을 확인할 수 있었고, 공학분야에서는 '인공지능 기반의 기술개발', '시스템', '위험-보안' 등의 그룹이 형성되었다.

키워드 기반 주제중심 분석을 이용한 비정형데이터 처리 (Unstructured Data Processing Using Keyword-Based Topic-Oriented Analysis)

  • 고명숙
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권11호
    • /
    • pp.521-526
    • /
    • 2017
  • 데이터는 데이터 형식이 다양하고 방대할 뿐만 아니라 그 생성 속도가 매우 빨라 기존의 데이터 처리 방식이 아닌 새로운 관리 및 분석 방법이 요구된다. 소셜 네트워크 상의 온라인 문서에서 인간의 언어로 쓰여진 비정형 텍스트에서 Text Mining기법을 사용하여 유용한 정보를 추출할 수 있다. 소셜미디어에 남긴 정치, 경제, 문화에 대한 메시지에 대한 경향을 파악하는 것이 어떤 주제에 관심을 가지고 있는지를 파악할 수 있는 요소가 된다. 본 연구에서는 주제 중심 분석 기법을 이용하여 주어진 키워드에 관한 온라인 뉴스를 대상으로 텍스트 마이닝을 수행하였다. LDA(Latent Dirichiet Allocation)를 이용하여 웹문서로부터 정보를 추출하고 이로부터 사람들이 실제로 주어진 키워드에 대하여 어떤 주제에 관심이 있고 관련된 핵심 가치 중 어떤 주제를 중심으로 전파되고 있는지를 분석하였다.

토픽모델링 및 주성분 분석 기반 검색 질의 유형 분류 연구 (A Study on Search Query Topics and Types using Topic Modeling and Principal Components Analysis)

  • 강현아;임희석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권6호
    • /
    • pp.223-234
    • /
    • 2021
  • 4차 산업 혁명 시대의 도래에 따라 쇼핑의 행태는 더욱 빠르게 오프라인에서 온라인으로 이동하고 있다. 온라인 쇼핑에서 고객의 정보요구를 가장 집약적으로 보여주는 것이 바로 검색 질의이다. 하지만 검색 분야에서도 검색 질의 관련 연구 사례는 많지 않으며 대부분의 검색 질의 연구 분야 선행 연구들은 연구자의 정성적인 판단에 근거하여 제한적인 주제와 데이터 기반으로 연구되어 왔다. 이에 본 연구는 검색 질의 연구 분야에 기계학습을 적용하여 검색 질의와 검색 이후 이용자가 조회한 문서명 로그를 기반으로 토픽모델링 수행 후 검색 질의 주제를 정의함으로써 데이터 기반의 정량적 방법론으로 15개의 검색 질의 주제 유형을 정의하였다. 또한 기존 검색어 자체만을 보고 판단하던 주제 유형에서 나아가 검색 행동특성을 반영한 유형을 정의하기 위하여 주성분 분석을 통해 주요 변수를 추출 후 각 주제별 검색 행동특성을 분석함으로써 검색 탐색 활성도, 상품 관여도에 따른 4가지의 새로운 검색 질의 유형 분류체계를 제시하였다. 본 연구결과는 효과적인 검색서비스 구축 및 검색 시스템 개발에 기여할 것으로 기대된다.

비정형 빅데이터를 이용한 COVID-19 주요 이슈 분석 (Analysis of Major COVID-19 Issues Using Unstructured Big Data)

  • 김진솔;신동훈;김희웅
    • 지식경영연구
    • /
    • 제22권2호
    • /
    • pp.145-165
    • /
    • 2021
  • 2019년 12월 말, 전 세계를 혼란에 빠트린 코로나바이러스감염증-19(COVID-19)의 팬데믹이 시작되었다. 이러한 위기를 극복하고 피해를 최소화하기 위해 정부와 기관에서는 기존의 정책지원 효과를 극대화하고 변화하는 사회를 반영한 전방위적 대응책 마련이 필요하다. 사회적으로 부각되는 논제와 관심사항의 주제를 파악하기 위해, 본 연구는 소셜미디어의 빅데이터를 통해 코로나19와 관련된 주요 생각, 태도, 감정 등을 파악한다. 특히 정부의 대응에 관한 대중의 견해를 알기 위해 '정부 대응방향'을 기준으로 시기를 나누어 분석을 진행했다. 분석에 활용한 데이터는 네이버를 통해 2019년 12월 31일부터 2020년 12월 12일까지 수집되었다. 또한, 분석을 위해 텍스트마이닝 기법 중 TF-IDF 키워드 추출과 LDA 토픽모델링을 활용하였다. 그 결과, 8개의 코로나19 관련 주요 이슈가 도출되었으며, 이러한 이슈 사항과 주요 키워드를 기반으로 해당 분야에서의 코로나19 및 감염병 대응 정책 전략을 제시하였다. 본 연구는 코로나19 팬데믹과 같은 위기상황에 정부와 관련 기관이 국민의 필요와 요구에 따른 정확한 대응책을 마련하는 데 기초자료를 제공했다는 점에서 의의를 가진다.

비정형화 데이터를 활용한 수위예측 알고리즘 개발 : 청담대교 적용 (Development of water elevation prediction algorithm using unstructured data : Application to Cheongdam Bridge, Korea)

  • 이승연;유형주;이승오
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.121-121
    • /
    • 2019
  • 특정 지역에 집중적으로 비가 내리는 현상인 국지성호우가 빈번히 발생함에 따라 하천 주변 사회기반시설의 침수 위험성이 증가하고 있다. 침수 위험성 판단 여부는 주로 수위정보를 이용하며 수위 예측은 대부분 수치모형을 이용한다. 본 연구에서는 빅데이터 기반의 RNN(Recurrent Neural Networks)기법 알고리즘을 활용하여 수위를 예측하였다. 연구대상지는 조위의 영향을 많이 받는 한강 전역을 대상으로 하였다. 2008년~2018년(10개년)의 실제 침수 피해 실적을 조사한 결과 잠수교, 한강대교, 청담대교 등에서 침수 피해 발생률이 높게 나타났고 SNS(Social Network Services)와 같은 비정형화 자료에서는 청담대교가 가장 많이 태그(Tag)되어 청담대교를 연구범위로 설정하였다. 본 연구에서는 Python에서 제공하는 Tensor flow Library를 이용하여 수위예측 알고리즘을 적용하였다. 데이터는 정형화 데이터와 비정형 데이터를 사용하였으며 정형화 데이터는 한강홍수 통제소나 기상청에서 제공하는 최근 10년간의 (2008~2018) 수위 및 강우량 자료를 수집하였다. 비정형화 데이터는 SNS를 이용하여 민간 정보를 수집하여 정형화된 자료와 함께 전체자료를 구축하였다. 민감도 분석을 통하여 모델의 은닉층(5), 학습률(0.02) 및 반복횟수(100)의 최적값을 설정하였고, 24시간 동안의 데이터를 이용하여 3시간 후의 수위를 예측하였다. 2008년~ 2017년 까지의 데이터는 학습 데이터로 사용하였으며 2018년의 수위를 예측 및 평가하였다. 2018년의 관측수위 자료와 비교한 결과 90% 이상의 데이터가 10% 이내의 오차를 나타내었으며, 첨두수위도 비교적 정확하게 예측되는 것을 확인하였다. 향후 수위와 강우량뿐만 아니라 다양한 인자들도 고려한다면 보다 신속하고 정확한 예측 정보를 얻을 수 있을 것으로 기대된다.

  • PDF

인공지능을 이용한 웹기반 건축현장 안전관리 플랫폼 개발 (Development of Web-based Construction-Site-Safety-Management Platform Using Artificial Intelligence)

  • 김시욱;김은석;김치경
    • 한국전산구조공학회논문집
    • /
    • 제37권2호
    • /
    • pp.77-84
    • /
    • 2024
  • 4차 산업혁명 시대에 건설산업은 전통적인 업무 방식에서 디지털 프로세스로 전환하고 있다. 특히, 건설산업의 특성으로 인해 업무 절차의 변경에는 어려움이 따르며, 점진적인 디지털 전환 및 시행착오가 발생하고 있다. 건설현장의 안전관리 분야도 역시 이 흐름을 따라 모든 데이터의 디지털화와 자동화를 목표로 연구 및 시도가 활발히 진행되고 있다. 그러나 최근의 통계에 따르면, 건설업 안전사고는 계속해서 발생하고 있으며, 안전사고 사망자 수도 줄지 않고 있다. 본 연구는 이러한 문제를 해결하기 위해 건설공사 안전관리 종합정보망의 빅데이터를 대규모 언어모델 인공지능을 통해 분석하였다. 분석된 결과는 실시간으로 업데이트가 가능한 상세설계모델로부터 위치정보와 공간적 특성을 반영하여 안전관리가 필요한 현장모델링에 정보를 맵핑하였다. 해당 연구를 통해 건설현장 안전관리 데이터의 디지털화를 통한 시설물 및 근로자의 안전을 강화하고, 건설사고 예방 및 효과적인 교육 지시를 위한 빅데이터 기반 안전관리 플랫폼 개발을 목표로 한다.

Spark 프레임워크 기반 비정형 빅데이터 토픽 추출 시스템 설계 (A Design on Informal Big Data Topic Extraction System Based on Spark Framework)

  • 박기진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.521-526
    • /
    • 2016
  • 온라인상에서 다루어지는 비정형 텍스트 데이터는 대용량이면서 비구조적 형태의 특성을 가지고 있기 때문에, 기존 관계형 데이터 모델의 저장 방식과 분석 방법만으로는 한계가 있다. 더군다나, 동적으로 발생하는 대량의 소셜 데이터를 활용하여 이용자의 반응을 실시간으로 분석하기란 어려운 상황이다. 이에 본 논문에서는 대용량 비정형 데이터(문서)의 의미를 빠르고, 용이하게 파악하기 위하여 데이터 셋에 대한 사전학습 없이, 문서 내 단어 비중에 따라 자동으로 토픽(주제)이 추출되는 시스템을 설계 및 구현하였다. 제안된 시스템의 토픽 모델링에 사용될 입력 단어는 N-gram 알고리즘에 의하여 도출되어 복수 개의 단어도 묶음 처리할 수 있게 했으며, 또한, 대용량 비정형 데이터 저장 및 연산을 위하여 Hadoop과 분산 인메모리 처리 프레임워크인 Spark 기반 클러스터를 구성하여, 토픽 모델 연산을 수행하였다. 성능 실험에서는 TB급의 소셜 댓글 데이터를 읽어 들여, 전체 데이터에 대한 전처리 과정과 특정 항목의 토픽 추출 작업을 수행하였으며, 대용량 데이터를 클러스터의 디스크가 아닌 메모리에 바로 적재 후, 처리함으로써 토픽 추출 성능의 우수성을 확인할 수 있었다.