• 제목/요약/키워드: 빅데이터 기법

검색결과 798건 처리시간 0.031초

자기조직화지도를 통한 아파트 가격의 패턴 분석 (Pattern Analysis of Apartment Price Using Self-Organization Map)

  • 이지영;유재필
    • 한국융합학회논문지
    • /
    • 제12권11호
    • /
    • pp.27-33
    • /
    • 2021
  • 최근 인공지능, 딥러닝, 빅데이터 등 4차 산업의 핵심 분야에 대한 관심이 커지면서 기존의 의사결정 문제를 전통적인 방법론의 한계점을 최소화하는 과학적 접근 방식이 대두되고 있다. 특히 이런 과학적인 기법들은 주로 금융 상품의 방향성을 예측하는데 사용되는데 본 연구에서는 사회적으로 관심이 높은 아파트 가격의 요인을 자기조직화지도를 통해 분석하고자 한다. 이를 위해 아파트 가격의 실질 가격을 추출하고 아파트 가격에 영향을 주는 총 16개의 입력 변수를 선정한다. 실험 기간은 1986년 1월부터 2021년 6월까지이며 아파트 가격의 상승 및 횡보 구간을 나눠 각 구간 별 변수들의 특징을 살펴본 결과, 상승 구간과 횡보 구간의 입력 변수의 통계적 성향이 뚜렷하게 구분되는 것을 알 수 있었다. 더불어 U1~U3 구간이 N1~N3 구간에 비해서 변수들의 표준편차가 상대적으로 크게 나왔다. 본 연구는 중장기적으로 상승과 하락이라는 큰 주기를 갖고 있는 부동산에 대해서 현재 시점의 현황을 정량적으로 분석한 것에 의미가 있으며 향후 이미지 학습을 통해 미래 방향성을 예측하는 연구에 도움이 되기를 기대한다.

실시간 거시지표 예측과 증시뉴스 마이닝을 통한 주가 예측시스템 모델연구 (Research model on stock price prediction system through real-time Macroeconomics index and stock news mining analysis)

  • 홍성혁
    • 한국융합학회논문지
    • /
    • 제12권7호
    • /
    • pp.31-36
    • /
    • 2021
  • 중국 우한발 코로나 19 바이러스로 인하여 세계 경제가 침체하여, 미국연방준비제도를 비롯한 대부분 국가에서는 통화량을 늘려 경기를 부양하는 정책을 내놓았다. 주식 투자자들 대부분은 기업에 대한 재무제표 분석이 없이 유명 유튜버의 추천종목이나 지인의 말만 듣고 투자하는 경향이 있어서 주식투자의 손실 가능성이 크다. 따라서, 본 연구에서는 기존 자동매매 조건에서 발전된 인공지능 딥러닝 기법을 이용하여 주가에 영향을 미치는 거시지표를 분석하고 예측하여 주가에 미치는 상관관계를 통한 개별주가예측에 가중치를 부여하고 주가를 예측한다. 또한, 주가는 실시간 증시뉴스에 민감하게 반응하기 때문에 증시뉴스 텍스트 마이닝을 통하여 인공지능으로 예측된 주가에 가중치를 반영하여 더 정확한 주가 예측을 하여 주식 투자자에게 매매의 판단 근거를 제공하여 건전한 주식투자가 되도록 이바지하였다.

텍스트마이닝 기법을 활용한 울진군 금강송 산지농업 의제설정 변화 - 매스미디어와 블로그·카페 키워드를 중심으로 - (Analysis of Agenda-setting Changes in Alpine Agricultural of Uljin-gun Using Text-Mining - Focusing on the Keywords of Mass-media, Blog·Cafe -)

  • 도지윤;정명철
    • 한국농촌건축학회논문집
    • /
    • 제24권3호
    • /
    • pp.47-57
    • /
    • 2022
  • This study attempted to grasp the status and perception of Uljin Geumgangsong by grasping mass media issues and user perception using big data, and to present basic data when constructing monitoring using user perception by examining the establishment relationship of agenda setting from a time-series perspective. The results of collecting and analyzing text data that can identify mass media and visitor awareness are as follows. First, both mass media and visitor keywords were related to the importance of the value and meaning of Uljin Geumgangsong. Second, in the case of the connection network, Geumgang Pine Agriculture was centered, but in the case of difference in perception between mass media and visitors, such results were derived due to the object of interest. Third, in the case of the connection relationship structure, the connection strength was strong because there were many overlapping contents of mass media. Fourth, as a result of the centrality analysis, both mass media and visitor-aware keywords were positively recognized as spaces created and maintained through institutional support, and objective perception could be grasped by finding hidden keywords. Fifth, as a result of time series analysis, it was possible to grasp the flow through the issue keywords that appeared by period, and unlike the past, it was recognized as a place for tourism and travel. Finally, as a result of examining whether the agenda setting is consistent, there is a mass media influence, so it is thought that more diverse and more information and publicity are needed by utilizing it.

노드의 동적 다운 스케일링을 지원하는 분산 클러스터 시스템의 설계 및 구현 (Design and Implementation of Distributed Cluster Supporting Dynamic Down-Scaling of the Cluster)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제18권2호
    • /
    • pp.361-366
    • /
    • 2023
  • 빅데이터의 분산 처리를 수행하기 위한 대표적인 프레임워크인 하둡은 클러스터 규모를 수천 개 이상의 노드까지 증가시켜서 병렬분산 처리 성능을 높일 수 있는 장점이 있다. 하지만 클러스터의 규모를 줄이는 것은 결함이 있거나 성능이 저하된 노드들을 영구적으로 퇴역시키는 수준에서 제한되어 있음에 따라 소규모 클러스터에서 여러 노드들을 유연하게 운용하기에는 한계가 있다. 본 논문에서는 하둡 클러스터에서 노드를 제거할 때 발생하는 문제점을 논의하고 분산 클러스터의 규모를 탄력적으로 관리하기 위한 동적 다운 스케일링 기법을 제안한다. 일시적 다운스케일을 목적으로 노드를 제거할 때 완전히 퇴역시키는 것이 아니라 일시적으로 해제하고 필요시 다시 연결할 수 있도록 함으로써 동적 다운 스케일링을 지원할 수 있도록 시스템과 인터페이스를 설계하고 구현하였다. 실험 결과 성능저하 없이 효과적으로 다운 스케일링을 수행하는 것을 검증하였다.

상수도시스템 수질사고의 전개양상을 고려한 비정형정보 의미분석 (Semantic analysis of unstructured information considering the step in progress of water quality accidents in the water supply systems)

  • 홍성진;문기훈;양성훈;유도근
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.378-378
    • /
    • 2022
  • 상수도시스템의 과정 중 최종 단계인 급수단계에서 지역전반에 수질문제가 발생할 경우, 직간접적인 피해의 해결은 장기간 지속될 수 있다. 본 연구에서는 실시간 비정형정보의 빅데이터 분석을 통해 상수도시스템에서 수질사고 문제의 파급력과 2차 피해 등의 연결 관계 변화 추적을 위한 기초적 분석을 수행하였다. 과거 대규모 수질사고가 발생된 바 있는 인천광역시 유충발생 사고를 대상으로 뉴스 기사 웹크롤링 절차를 정립하고, 그 결과를 분석하였다. '인천 유충'이 최초 보도되었던 2020년 7월 13일 부터 이후 1년을 대상으로 네이버 통합검색에 의해 표출되는 뉴스기사를 웹크롤링하였으며, 프로그래밍을 통한 불용어 제거 및 관련성 검토를 통해 총 920건의 기사를 분석하였다. 수질사고의 전개양상에 따라 사고발생, 확산, 수습, 그리고 보상의 4단계로 임의 구분하여 분석하였다. 의미분석을 위한 토픽모델링 기법은 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA) 방법을 적용하였으며, 긍부정 감정분석은 KNU 한국어 감성사전(KNU sentiment lexicon)을 활용하여 수행하였다. 토픽 모델링 결과, 사고 발생에서부터 확산, 수습, 보상의 단계에 맞춰 적절한 주제어의 조합에 따른 기사들이 도출되었으며, 단계별 긍부정 기사 비율역시 사고의 전개단계에 따라 적절히 나타남을 확인하였다. 제시된 수질사고 관련 비정형정보 분석 방법론과 결과는 과거 사고 사례 분석을 통한 검색 및 긍부정 키워드 확정, 키워드 발생 비율 변동(사고전과 후)에 따른 상황판단 기준설정 등에 활용이 가능하다.

  • PDF

물류공동화 활성화를 위한 빅데이터 마이닝 적용 연구 : AHP 기법을 중심으로 (Study on the Application of Big Data Mining to Activate Physical Distribution Cooperation : Focusing AHP Technique)

  • 박영현;이재호;김경우
    • 무역학회지
    • /
    • 제46권5호
    • /
    • pp.65-81
    • /
    • 2021
  • The technological development in the era of the 4th industrial revolution is changing the paradigm of various industries. Various technologies such as big data, cloud, artificial intelligence, virtual reality, and the Internet of Things are used, creating synergy effects with existing industries, creating radical development and value creation. Among them, the logistics sector has been greatly influenced by quantitative data from the past and has been continuously accumulating and managing data, so it is highly likely to be linked with big data analysis and has a high utilization effect. The modern advanced technology has developed together with the data mining technology to discover hidden patterns and new correlations in such big data, and through this, meaningful results are being derived. Therefore, data mining occupies an important part in big data analysis, and this study tried to analyze data mining techniques that can contribute to the logistics field and common logistics using these data mining technologies. Therefore, by using the AHP technique, it was attempted to derive priorities for each type of efficient data mining for logisticalization, and R program and R Studio were used as tools to analyze this. Criteria of AHP method set association analysis, cluster analysis, decision tree method, artificial neural network method, web mining, and opinion mining. For the alternatives, common transport and delivery, common logistics center, common logistics information system, and common logistics partnership were set as factors.

고객 인터렉티브 강화를 위한 지니뮤직의 전략 도입과 현황분석 : SWOT과 TOWS 분석을 중심으로 (Analysis of Genie Music's Strategy for Strengthening Customer Interactive : Focus on SWOT and TOWS Analysis)

  • 권보아;박상현
    • 벤처혁신연구
    • /
    • 제4권1호
    • /
    • pp.87-99
    • /
    • 2021
  • 코로나 19와 AI, 빅데이터, IT기술 발달 등과 같은 여파로 최근 '개인화 기술' 중요성이 부각되어지고 있으며, 이는 곧 개인화를 넘어 '초개인화 시대'에 도래하고 있다. 따라서 음원 스트리밍 서비스 시장측면에서는 개인 취향이 존중되는 서비스 공급 트랜드를 형성해 오고 있다. 이에 따라 기업들은 외부 시장 환경을 고려, 냉철한 분석을 토대로 발전방향을 수립하고자 하고 있다. 이러한 관점에 본 논문은 지니뮤직 고객 인터렉티브 전략에 기초하여 장·단점을 분석하고 기업 발전방향을 제시하고자 한다. 특히 고객과 함께 움직이는 '라이브음악서비스플랫폼'을 기반으로 고객 인터렉티브 전략 장·단점을 분석하고 이후 발전 방향을 제시하고자 하였다. 분석방법으로는 SWOT 분석 기법을 적용하여 강점과 약점, 기회와 위협 요건을 살펴보았다. 이후 TOWS 분석을 통해 구체적인 기업 발전전략을 제시하고자 하였다.

Sentiment Analysis of Airline Satisfaction Using Social Big Data: A Pre- and Post-COVID-19 Comparison

  • Ju-Yang Lee;Phil-Sik Jang
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권6호
    • /
    • pp.201-209
    • /
    • 2024
  • COVID-19는 항공산업에 큰 영향을 주어 전 세계적인 여행 제한과 보안 강화 등의 변화를 불러 왔다. 본 연구는 COVID-19 전후 항공 서비스 만족도의 변화양상을 파악하기 위해 2016년부터 2023년까지 SKYTRAX 웹사이트에 게시된 147개 항공사에 대한 59,818개의 리뷰를 수집하고 감성 분석 기법을 활용하여 COVID-19 전후의 항공사 만족도, 리뷰 감성, 만족도에 영향을 미치는 속성을 비교 분석하였다. 분석 결과, COVID-19 이후 항공사 만족도 전반이 통계적으로 유의미하게 하락했으며 (p<0.001), 모든 항공사 선택 속성에 대한 긍정적 감성 비율이 유의미하게 감소한 반면, 부정적 감성 비율은 객실 및 기내서비스를 제외한 모든 속성에서 유의미하게 증가했다. 또한, 운항 서비스는 COVID-19 전후 기간 모두 전반적인 서비스 만족도에 가장 큰 영향을 미치는 것으로 나타났다. 이 연구는 COVID-19 전후 글로벌 주요 항공사의 만족도 속성에 대한 정량적 분석을 제공함으로써 향후 항공산업의 서비스 만족도 제고에 이바지할 것으로 기대된다.

전역 토픽의 지역 매핑을 통한 효율적 토픽 모델링 방안 (Efficient Topic Modeling by Mapping Global and Local Topics)

  • 최호창;김남규
    • 지능정보연구
    • /
    • 제23권3호
    • /
    • pp.69-94
    • /
    • 2017
  • 최근 빅데이터 분석 수요의 지속적 증가와 함께 관련 기법 및 도구의 비약적 발전이 이루어지고 있으며, 이에 따라 빅데이터 분석은 소수 전문가에 의한 독점이 아닌 개별 사용자의 자가 수행 형태로 변모하고 있다. 또한 전통적 방법으로는 분석이 어려웠던 비정형 데이터의 활용 방안에 대한 관심이 증가하고 있으며, 대표적으로 방대한 양의 텍스트에서 주제를 도출해내는 토픽 모델링(Topic Modeling)에 대한 연구가 활발히 진행되고 있다. 전통적인 토픽 모델링은 전체 문서에 걸친 주요 용어의 분포에 기반을 두고 수행되기 때문에, 각 문서의 토픽 식별에는 전체 문서에 대한 일괄 분석이 필요하다. 이로 인해 대용량 문서의 토픽 모델링에는 오랜 시간이 소요되며, 이 문제는 특히 분석 대상 문서가 복수의 시스템 또는 지역에 분산 저장되어 있는 경우 더욱 크게 작용한다. 따라서 이를 극복하기 위해 대량의 문서를 하위 군집으로 분할하고, 각 군집별 분석을 통해 토픽을 도출하는 방법을 생각할 수 있다. 하지만 이 경우 각 군집에서 도출한 지역 토픽은 전체 문서로부터 도출한 전역 토픽과 상이하게 나타나므로, 각 문서와 전역 토픽의 대응 관계를 식별할 수 없다. 따라서 본 연구에서는 전체 문서를 하위 군집으로 분할하고, 각 하위 군집에서 대표 문서를 추출하여 축소된 전역 문서 집합을 구성하고, 대표 문서를 매개로 하위 군집에서 도출한 지역 토픽으로부터 전역 토픽의 성분을 도출하는 방안을 제시한다. 또한 뉴스 기사 24,000건에 대한 실험을 통해 제안 방법론의 실무 적용 가능성을 평가하였으며, 이와 함께 제안 방법론에 따른 분할 정복(Divide and Conquer) 방식과 전체 문서에 대한 일괄 수행 방식의 토픽 분석 결과를 비교하였다.

항공산업 미래유망분야 선정을 위한 텍스트 마이닝 기반의 트렌드 분석 (Text Mining-Based Emerging Trend Analysis for the Aviation Industry)

  • 김현정;조남옥;신경식
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.65-82
    • /
    • 2015
  • 최근 경제적 사회적 부가가치를 창출할 수 있는 유망분야를 선정하여 국가 전략 및 정책 수립 시 반영하기 위해 미래 핵심 이슈를 발견하고 트렌드를 분석하는 것에 대한 관심이 급증하고 있다. 기존에는 미래의 핵심 기술이나 이슈를 발견하고 트렌드 분석을 통해 미래유망분야를 선정하는 연구를 위해 문헌 조사 또는 전문가 평가와 같은 정성적 연구방법이 사용되어 왔다. 그러나 이 연구방법은 대량의 정보로부터 결과를 도출하는데 많은 시간과 비용이 소요될 뿐만 아니라 전문가의 주관적인 가치가 반영될 가능성이 존재한다. 이와 같은 한계점을 보완하고자 최근 국토교통, 안전, 정보통신기술 등 다양한 분야에서 미래유망분야를 선정하기 위하여 정성적 연구방법에 텍스트 마이닝과 같은 정량적 연구방법을 상호 보완적으로 활용하는 방식으로 트렌드 분석을 수행하는 연구 방법론의 패러다임 변화가 시도되고 있다. 본 연구는 항공산업 전반적인 분야에 빅데이터 분석 방법인 텍스트 마이닝 기법을 적용하여 항공 분야의 연구동향을 파악하고 미래유망분야를 전망하였다. 텍스트 마이닝 기법 중하나인 토픽 분석을 이용하여 항공산업 전반적인 분야의 문서 집합 내 잠재된 토픽을 추출하고, 연도별로 핵심 토픽의 추이를 분석하였다. 분석 결과 항공산업의 미래유망분야로 항공안전정책, 항공운임(저가항공), 그리고 친환경 고연비 연료가 도출되었다. 본 연구결과는 분석 대상을 논문에 한정하여 수행하였다는 한계점이 존재하나, 항공산업 분야의 핵심 이슈를 도출하기 위하여 텍스트 마이닝 기반의 트렌드 분석에 대한 활용가능성을 제시하고, 미래유망분야를 선정하기 위한 정량적인 분석 방법론의 전형을 마련하였다는 점에서 의의가 있다.