• Title/Summary/Keyword: Big data Problem

Search Result 575, Processing Time 0.033 seconds

영상 스토리 분석과 시청 패턴 분석 기반의 추천 시스템 구현 (Implementation of User Recommendation System based on Video Contents Story Analysis and Viewing Pattern Analysis)

  • 이현섭;김민영;이지훈;김진덕
    • 한국정보통신학회논문지
    • /
    • 제24권12호
    • /
    • pp.1567-1573
    • /
    • 2020
  • 인터넷 기술의 발전으로 1인 미디어 시대로 도래했다. 한 개인이 스스로 콘텐츠를 제작하여 관련 온라인 서비스로 업로드 하고, 많은 사용자가 온라인 서비스의 콘텐츠를 인터넷을 이용할 수 있는 장치(PC, 스마트폰, 스마트TV 등)를 이용해 시청하고 있다. 현재 대부분 사용자가 기존 온라인 서비스에서 제공하는 검색기능을 통해 원하는 콘텐츠를 찾아서 시청하고 있다. 이러한 기능은 콘텐츠를 업로드 한 사용자가 입력한 정보를 바탕으로 제공된다. 이러한 제한된 단어 데이터를 바탕으로 콘텐츠를 검색해야 하는 환경에서 잘못된 정보가 있는 경우 검색 결과의 유사도 효율 저하와 잘못된 결과를 사용자에게 제시한다. 이를 해결하기 위해 본 논문에서는 온라인 서비스에서 콘텐츠 정보를 시스템이 능동적으로 영상을 분석하고, 영상이 보유한 특성을 추출해 반영하는 방법을 제시한다. 한 동영상의 음성데이터를 근거한 스토리 내용을 근거로 형태소를 추출해 빅데이터 기술로 분석하기 위한 연구 내용을 다룬다.

지역환경변수를 이용한 인공지능기반 대기오염 분석 및 예측 시스템 개발 (Development of artificial intelligence-based air pollution analysis and prediction system using local environmental variables)

  • 백봉현;하일규
    • 한국정보통신학회논문지
    • /
    • 제25권1호
    • /
    • pp.8-19
    • /
    • 2021
  • 최근 산업화에 따른 대기오염 문제는 국가와 국민 모두에 큰 관심을 끌고 있다. 국내의 광역(廣域) 대기오염 정보는 국가적으로 공공 데이터를 통해 국민에게 제공하고 있으나, 환경변수가 다른 지역적인 대기오염 정보는 매우 부족한 상황이다. 따라서 본 연구에서는 지역적인 대기오염 현상을 보다 정확하게 분석하고 예측할 수 있는 지역 환경변수 기반의 대기오염 분석 및 예측 시스템을 설계하고 구현한다. 특히 제안한 시스템은 지역적으로 측정된 환경 데이터와 공공 빅데이터를 기반으로 지역의 대기정보를 정확하게 분석하여 제공하고, 인공지능 알고리즘을 통해 미래의 지역 대기정보를 예측하여 제시한다. 나아가 제안된 시스템을 통해 지역적인 대기오염의 발생 원인을 정확하게 파악하여 지역의 대기오염을 예방할 수 있을 것으로 기대할 수 있다.

RDP: A storage-tier-aware Robust Data Placement strategy for Hadoop in a Cloud-based Heterogeneous Environment

  • Muhammad Faseeh Qureshi, Nawab;Shin, Dong Ryeol
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권9호
    • /
    • pp.4063-4086
    • /
    • 2016
  • Cloud computing is a robust technology, which facilitate to resolve many parallel distributed computing issues in the modern Big Data environment. Hadoop is an ecosystem, which process large data-sets in distributed computing environment. The HDFS is a filesystem of Hadoop, which process data blocks to the cluster nodes. The data block placement has become a bottleneck to overall performance in a Hadoop cluster. The current placement policy assumes that, all Datanodes have equal computing capacity to process data blocks. This computing capacity includes availability of same storage media and same processing performances of a node. As a result, Hadoop cluster performance gets effected with unbalanced workloads, inefficient storage-tier, network traffic congestion and HDFS integrity issues. This paper proposes a storage-tier-aware Robust Data Placement (RDP) scheme, which systematically resolves unbalanced workloads, reduces network congestion to an optimal state, utilizes storage-tier in a useful manner and minimizes the HDFS integrity issues. The experimental results show that the proposed approach reduced unbalanced workload issue to 72%. Moreover, the presented approach resolve storage-tier compatibility problem to 81% by predicting storage for block jobs and improved overall data block placement by 78% through pre-calculated computing capacity allocations and execution of map files over respective Namenode and Datanodes.

제주시의 지속가능한 여행 활성화를 위한 지역화폐 '탐나는전' 가맹점의 리뷰 데이터 분석 (Analysis of Review Data of 'Tamna' Franchisees to Promote Sustainable Travel in Jeju City)

  • 백세희;김세형;배미란;강주영
    • 한국빅데이터학회지
    • /
    • 제7권2호
    • /
    • pp.113-128
    • /
    • 2022
  • 코로나19 이후 '지속가능한 관광'에 대한 관심이 커지면서 '지속가능한 관광'을 하고자 하는 관광객 또한 증가하였다. 그러나, '지속가능한 관광'을 할 수 있는 프로그램과 방법 등이 구체적이지 않다는 문제점이 있다. 또한, 대부분의 '지속가능한 관광'의 관심사가 '환경' 및 '탄소중립' 등에 초점을 맞추고 있어 지역사회에 공헌할 수 있는 프로그램이나 정책들이 많지 않다. 따라서 본 연구에서는 '지속가능한 관광'을 활성화하기 위하여 뉴스 데이터와 리뷰 데이터를 분석하였다. 우선, 본 연구에서는 뉴스 빅데이터 분석을 통해 지속가능한 여행의 주요한 주제들을 도출하였다. 이를 통해 지속가능한 여행의 정책적 주제 및 사건들을 분석한다. 지속가능한 여행과 관련된 뉴스 빅데이터를 분석하여 아직까지 한국에서 지속가능한 여행이 활성화되지 못한 이유들을 분석하고 이를 해결할 수 있는 방안으로 지역사회가 직접 혜택을 볼 수 있는 방안을 도출하고자 한다. 최종적으로, 제주시의 지속가능한 여행 활성화를 위하여 제주 지역화폐인 '탐나는전' 가맹점의 이용자 리뷰 데이터를 분석하고 지역사회와 공생할 수 있는 방안을 제안한다.

빅데이터 플랫폼에서 이종 서비스간 성능 간섭 현상 제어에 관한 연구 (Research of Performance Interference Control Technique for Heterogeneous Services in Bigdata Platform)

  • 진기성;이상민;김영균
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권6호
    • /
    • pp.284-289
    • /
    • 2016
  • Hadoop 기반의 빅데이터 분석 모델에서는 원시 데이터를 생산하는 응용계 시스템과 이를 분석하기 위한 분석계 시스템간의 데이터 이동이 불가피하다. 이에 따라, 응용 서비스와 분석 서비스를 하나의 플랫폼에서 동시에 지원할 수 있는 유니파이드 빅데이터 파일시스템 기술이 소개되고 있다. 그러나, 단일 플래폼 운영에 따른 경제성, 자원 효율성 등 다양한 측면에서의 장점에도 불구하고 현재 기술 수준에서는 응용 서비스와 분석 서비스의 상호 간섭에 의한 성능 저하 현상을 극복하는 것이 가장 큰 당면 과제로 남아있다. 본 논문에서는 이를 해결하기 위한 일차적 단계로 두 서비스에 대해 실서비스 수준 시뮬레이션을 통해 시스템 자원의 활용률, 워크로드 특성, 입출력 불균형의 세 가지 관점에서 관찰한 후 성능 간섭 문제의 근본적인 원인을 도출하였다. 또한 이를 해결하기 위한 방법으로 첫째, 데이터 서버의 입출력 경로를 분리하여 응용 서비스와 분석 서비스 각각 독립적인 입출력 계층을 구성하는 구조적인 해결책과, 둘째, 순차 읽기 특성을 가지는 분석 서비스 입출력 특성의 효과를 극대화하기 위한 선제적 미리 읽기 기법의 기술적 해결책을 제안한다. 한편, 논문에서 제안한 방법의 효과를 검증하기 위해 시뮬레이션과 동일한 방법의 시험을 기존 시스템과 제안한 시스템 각각에 대해 수행한 결과 기존 시스템 대비 우수한 성능을 확인할 수 있었다.

중국 초등학생의 공학 창의적 문제해결력 향상을 위한 미세먼지 STEAM 프로그램 개발 사례 연구 (A Case Study on Development of Fine Dust STEAM Program for Enhancing Engineering Creative Problem Solving Ability of Chinese Elementary School Students)

  • 권해연;변문경
    • 공학교육연구
    • /
    • 제23권2호
    • /
    • pp.14-23
    • /
    • 2020
  • Based on the constructivist learning environments model and the learner-centered psychological principles, STEAM education program with the theme of eliminating smog was developed. Through the program, senior elementary school students will learn and apply the convergence knowledge of science, technology, engineering, arts and mathematics such as the human body's respiratory system (S), immune system (S), big data (M, T), computer programming(M), and aduino sensor utilization (E) directly to solve the problem. After expert validity testing, we found that developed program meet the standards of STEAM education program development and can develop creative thinking skills to find and solve problems in students' daily lives. In addition, this study is meaningful in providing a reference example for the development of STEAM education programs that enhance convergence knowledge in the future.

Unveiling the synergistic nexus: AI-driven coding integration in mathematics education for enhanced computational thinking and problem-solving

  • Ipek Saralar-Aras;Yasemin Cicek Schoenberg
    • 한국수학교육학회지시리즈A:수학교육
    • /
    • 제63권2호
    • /
    • pp.233-254
    • /
    • 2024
  • This paper delves into the symbiotic integration of coding and mathematics education, aimed at cultivating computational thinking and enriching mathematical problem-solving proficiencies. We have identified a corpus of scholarly articles (n=38) disseminated within the preceding two decades, subsequently culling a portion thereof, ultimately engendering a contemplative analysis of the extant remnants. In a swiftly evolving society driven by the Fourth Industrial Revolution and the ascendancy of Artificial Intelligence (AI), understanding the synergy between these domains has become paramount. Mathematics education stands at the crossroads of this transformation, witnessing a profound influence of AI. This paper explores the evolving landscape of mathematical cognition propelled by AI, accentuating how AI empowers advanced analytical and problem-solving capabilities, particularly in the realm of big data-driven scenarios. Given this shifting paradigm, it becomes imperative to investigate and assess AI's impact on mathematics education, a pivotal endeavor in forging an education system aligned with the future. The symbiosis of AI and human cognition doesn't merely amplify AI-centric thinking but also fosters personalized cognitive processes by facilitating interaction with AI and encouraging critical contemplation of AI's algorithmic underpinnings. This necessitates a broader conception of educational tools, encompassing AI as a catalyst for mathematical cognition, transcending conventional linguistic and symbolic instruments.

Hierarchical Attention Network를 활용한 주제에 따른 온라인 고객 리뷰 분석 모델 (Analysis of the Online Review Based on the Theme Using the Hierarchical Attention Network)

  • 장인호;박기연;이준기
    • 한국IT서비스학회지
    • /
    • 제17권2호
    • /
    • pp.165-177
    • /
    • 2018
  • Recently, online commerces are becoming more common due to factors such as mobile technology development and smart device dissemination, and online review has a big influence on potential buyer's purchase decision. This study presents a set of analytical methodologies for understanding the meaning of customer reviews of products in online transaction. Using techniques currently developed in deep learning are implemented Hierarchical Attention Network for analyze meaning in online reviews. By using these techniques, we could solve time consuming pre-data analysis time problem and multiple topic problems. To this end, this study analyzes customer reviews of laptops sold in domestic online shopping malls. Our result successfully demonstrates over 90% classification accuracy. Therefore, this study classified the unstructured text data in the semantic analysis and confirmed the practical application possibility of the review analysis process.

텍스트 마이닝을 이용한 시대별 청소년 문제 토픽 분석 (Topic Analysis on the Adolescent Problem Using Text Mining)

  • 조경원;조주연
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 추계학술대회
    • /
    • pp.203-204
    • /
    • 2018
  • This research was conducted to identify adolescent problems in internet articles. This research defines adolescent problems as diverse issues related to adolescents and examine how it was dealt in the media to find out how different categories and the aspect of adolescent problems are changing by time. The result of the research was that in 1990's, education policy and family were mainly dealt with when it came to adolescent problems. As the era is changing, adolescent problems were far diversified compared to the past, and each problems are dealt with similar importance. This research is significant in that it does not only examine the social trend adolescent problems but also expand the range of adolescent counselling and utilizes quantitative analysis in considering diversity to provide new information.

  • PDF

해안 연약지반상의 교량 구조물 변위 억제 (Method of Reducing Lateral Displacement of Abutment Constructed on Marine Clay Deposits)

  • 장용채
    • 한국항만학회지
    • /
    • 제12권2호
    • /
    • pp.337-348
    • /
    • 1998
  • Since 1970s, though many effective construction methods have been established to solve soft ground problems which had occurred in the off shore land reclamation and on shore highway construction, lateral movement of structure on soft ground is still a big problem to engineers. In this study an applicability of criteria for determining the lateral movement of the structure in soft ground is examined and most measured data is obtained from 140 bridge abutments in highway construction sites. Characteristics and effectiveness of existing methods that used for deciding amount of lateral movements of abutment are analyzed using the obtained data. From the analysis, a proper method to prevent lateral movement is proposed. This method is confirmed on several case histories which were constructed on marine clay.

  • PDF