• 제목/요약/키워드: Big-O

검색결과 316건 처리시간 0.031초

Offline-to-Online Service and Big Data Analysis for End-to-end Freight Management System

  • Selvaraj, Suganya;Kim, Hanjun;Choi, Eunmi
    • Journal of Information Processing Systems
    • /
    • 제16권2호
    • /
    • pp.377-393
    • /
    • 2020
  • Freight management systems require a new business model for rapid decision making to improve their business processes by dynamically analyzing the previous experience data. Moreover, the amount of data generated by daily business activities to be analyzed for making better decisions is enormous. Online-to-offline or offline-to-online (O2O) is an electronic commerce (e-commerce) model used to combine the online and physical services. Data analysis is usually performed offline. In the present paper, to extend its benefits to online and to efficiently apply the big data analysis to the freight management system, we suggested a system architecture based on O2O services. We analyzed and extracted the useful knowledge from the real-time freight data for the period 2014-2017 aiming at further business development. The proposed system was deemed useful for truck management companies as it allowed dynamically obtaining the big data analysis results based on O2O services, which were used to optimize logistic freight, improve customer services, predict customer expectation, reduce costs and overhead by improving profit margins, and perform load balancing.

NOETHER INEQUALITY FOR A NEF AND BIG DIVISOR ON A SURFACE

  • Shin, Dong-Kwan
    • 대한수학회논문집
    • /
    • 제23권1호
    • /
    • pp.11-18
    • /
    • 2008
  • For a nef and big divisor D on a smooth projective surface S, the inequality $h^{0}$(S;$O_{s}(D)$) ${\leq}\;D^2\;+\;2$ is well known. For a nef and big canonical divisor KS, there is a better inequality $h^{0}$(S;$O_{s}(K_s)$) ${\leq}\;\frac{1}{2}{K_{s}}^{2}\;+\;2$ which is called the Noether inequality. We investigate an inequality $h^{0}$(S;$O_{s}(D)$) ${\leq}\;\frac{1}{2}D^{2}\;+\;2$ like Clifford theorem in the case of a curve. We show that this inequality holds except some cases. We show the existence of a counter example for this inequality. We prove also the base-locus freeness of the linear system in the exceptional cases.

Hadoop과 HBase 기반의 빅 데이터 처리 응용을 위한 가상 컴퓨팅 자원 이용률 분석 (An Analysis of Utilization on Virtualized Computing Resource for Hadoop and HBase based Big Data Processing Applications)

  • 조나연;구민오;김바울;;민덕기
    • 정보화연구
    • /
    • 제11권4호
    • /
    • pp.449-462
    • /
    • 2014
  • 빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.

CPC: A File I/O Cache Management Policy for Compute-Bound Workloads

  • Bahn, Hyokyung
    • International journal of advanced smart convergence
    • /
    • 제11권2호
    • /
    • pp.1-6
    • /
    • 2022
  • With the emergence of the new era of the 4th industrial revolution, compute-bound workloads with large memory footprint like big data processing increase dramatically. Even in such compute-bound workloads, however, we observe bulky I/Os while loading big data from storage to memory. Although file I/O cache plays a role of accelerating the performance of storage I/O, we found out that the cache hit rate in such environments is not improved even though we increase the file I/O cache capacity because of some special I/O references generated by compute-bound workloads. To cope with this situation, we propose a new file I/O cache management policy that improves the cache hit rate for compute-bound workloads significantly. Trace-driven simulations by replaying file I/O reference logs of compute-bound workloads show that the proposed cache management policy improves the cache hit rate compared to the well-acknowledged CLOCK algorithm by a large margin.

대용량 영구 메모리 기반 실시간 빅데이터 검색 플랫폼 성능 분석 (Performance Analysis of Real-Time Big Data Search Platform Based on High-Capacity Persistent Memory)

  • 이은서;박동철
    • Journal of Platform Technology
    • /
    • 제11권4호
    • /
    • pp.50-61
    • /
    • 2023
  • 다양한 빅데이터 기술의 발전은 많은 산업에 큰 영향을 미치고 있으며, 방대한 양의 데이터를 빠르게 처리하고 분석하기 위해 여러 연구가 진행되고 있다. 이러한 상황에서 인텔 차세대 대용량 영구 메모리 모듈이나 CXL과 같은 새로운 형태의 메모리와 컴퓨팅 기술이 크게 주목받고 있다. 그러나, 현존하는 대부분의 빅데이터 소프트웨어 플랫폼들은 여전히 기존의 전통적인 DRAM 환경을 기반으로 최적화되어 있으며, 특히 빅데이터 실시간 검색 플랫폼 관련 연구는 상대적으로 미흡한 실정이다. 본 연구에서는 차세대 영구 메모리인 인텔 옵테인 영구 메모리의 기본 성능을 평가하고, 옵테인 영구 메모리 기반 시스템에서 빅데이터 실시간 검색 플랫폼으로 유명한 Elasticsearch의 다양한 성능 분석 결과를 통해 대용량 영구 메모리의 효용성과 가능성을 검증한다. 본 논문은 대용량 영구 메모리 기반 시스템이 기존 DRAM 기반 시스템에 비하여 색인과 검색 측면에서 각각 1.45배, 3.2배의 성능 향상을 확인하였고, 이를 통해 고성능 I/O와 대용량, 비휘발성 등의 다양한 이점을 가진 차세대 영구 메모리가 Elasticsearch와 같은 빅데이터 검색 플랫폼에서 좋은 대안이 될 수 있음을 확인하였다.

  • PDF

WHAT CAN WE SAY ABOUT THE TIME COMPLEXITY OF ALGORITHMS \ulcorner

  • Park, Chin-Hong
    • Journal of applied mathematics & informatics
    • /
    • 제8권3호
    • /
    • pp.959-973
    • /
    • 2001
  • We shall discuss one of some techniques needed to analyze algorithms. It is called a big-O function technique. The measures of efficiency of an algorithm have two cases. One is the time used by a computer to solve the problem using this algorithm when the input values are of a specified size. The other one is the amount of computer memory required to implement the algorithm when the input values are of a specified size. Mainly, we will restrict our attention to time complexity. To figure out the Time Complexity in nonlinear problems of Numerical Analysis seems to be almost impossible.

빅데이터에 기반한 지역 상점 관련 정보제공 서비스 (Big data-based Local Store Information Providing Service)

  • 문창배;박현석
    • 한국콘텐츠학회논문지
    • /
    • 제20권2호
    • /
    • pp.561-571
    • /
    • 2020
  • 빅데이터를 활용한 위치정보 서비스가 지속적으로 발전하고 있다. 네비게이션의 측면에서는 지도 API서비스부터 선박 항해정보에 이르기까지 서비스의 범위가 확대되었고, 시스템 응용정보로서는 각 위치에 대한 SNS와 블로그 검색 기록에까지 확장되고 있다. 특히 최근에는 위치기반 검색 및 광고, 무인 자동차, IoT(Internet of Things) 및 O2O (Online to Offline) 서비스 등 신규 산업으로 활용되고 있다. 본 연구에서는 사용자가 특정 경로를 이동할 때, 빅데이터를 활용하여 근처 상점에 대한 정보를 보다 효과적으로 수신할 수 있도록 하는 인터넷 서비스를 제안하였다. 또한 지역 상점은 이 시스템을 사용하여 저렴한 비용으로 효과적으로 홍보할 수 있도록 시스템을 설계하였다. 특히 실시간으로 웹 기반 정보를 분석하여 사용자에게 제공하는 상점 정보의 정확도를 높이고자 하였다. 이 시스템을 통해 시스템 이용자인 일반 사용자와 상점 업주는 보다 효과적으로 정보를 활용할 수 있게 될 것이다. 또한 시스템 관점에서, 다양한 웹서비스와 통합하여 신규 서비스를 창출하는 것에 활용할 수 있을 것이다.

The Creation and Placement of VMs and Tasks in Virtualized Hadoop Cluster Environments

  • Kim, Tae-Won;Chung, Hae-jin;Kim, Joon-Mo
    • 한국멀티미디어학회논문지
    • /
    • 제15권12호
    • /
    • pp.1499-1505
    • /
    • 2012
  • Recently, the distributed processing system for big data has been actively investigated owing to the development of high speed network and storage technologies. In addition, virtual system that can provide efficient use of system resources through the consolidation of servers has been increasingly recognized. But, when we configure distributed processing system for big data in virtual machine environments, many problems occur. In this paper, we did an experiment on the optimization of I/O bandwidth according to the creation and placement of VMs and tasks with composing Hadoop cluster in virtual environments and evaluated the results of an experiment. These results conducted by this paper will be used in the study on the development of Hadoop Scheduler supporting I/O bandwidth balancing in virtual environments.

Automatic Switching of Clustering Methods based on Fuzzy Inference in Bibliographic Big Data Retrieval System

  • Zolkepli, Maslina;Dong, Fangyan;Hirota, Kaoru
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제14권4호
    • /
    • pp.256-267
    • /
    • 2014
  • An automatic switch among ensembles of clustering algorithms is proposed as a part of the bibliographic big data retrieval system by utilizing a fuzzy inference engine as a decision support tool to select the fastest performing clustering algorithm between fuzzy C-means (FCM) clustering, Newman-Girvan clustering, and the combination of both. It aims to realize the best clustering performance with the reduction of computational complexity from O($n^3$) to O(n). The automatic switch is developed by using fuzzy logic controller written in Java and accepts 3 inputs from each clustering result, i.e., number of clusters, number of vertices, and time taken to complete the clustering process. The experimental results on PC (Intel Core i5-3210M at 2.50 GHz) demonstrates that the combination of both clustering algorithms is selected as the best performing algorithm in 20 out of 27 cases with the highest percentage of 83.99%, completed in 161 seconds. The self-adapted FCM is selected as the best performing algorithm in 4 cases and the Newman-Girvan is selected in 3 cases.The automatic switch is to be incorporated into the bibliographic big data retrieval system that focuses on visualization of fuzzy relationship using hybrid approach combining FCM and Newman-Girvan algorithm, and is planning to be released to the public through the Internet.

유튜브 실시간 방송 시청자의 지속시청 및 유료후원 의도에 영향을 미치는 요인: S-O-R 프레임워크를 기반으로 (Factors Influencing the Continuous Watching and Paid Sponsorship Intentions of YouTube Real-Time Broadcast Viewers: Based on the S-O-R Framework)

  • 권지윤;양선욱;양성병
    • 지식경영연구
    • /
    • 제23권3호
    • /
    • pp.285-311
    • /
    • 2022
  • 본 연구에서는 S-O-R 프레임워크를 기반으로 개인에 대한 자극(유튜브 채널의 영상 특성, 유튜버 특성, 실시간 방송 특성)이 어떻게 유기체(지각된 유용성, 지각된 즐거움, 사회적 존재감)를 형성하고, 이것이 시청자 반응(지속시청의도, 유료후원의도)에 영향을 미치는지를 유튜브 실시간 방송 환경에서 검증해 보고자 한다. 이를 위해 연구모형 및 가설을 구성하였고, 유튜브 플랫폼의 실시간 방송 채널 서비스 이용자를 대상으로 수집한 369부의 설문자료를 분석하였다. 분석결과, 일부 영상 특성, 유튜버 특성, 실시간 방송 특성이 시청자의 지각된 유용성, 지각된 즐거움, 사회적 존재감에, 더 나아가 지속시청의도, 유료후원의도에 유의한 영향을 미치는 것을 확인하였다. 결론에서 연구결과의 이론적 및 실무적 시사점을 논의하였다.