• 제목/요약/키워드: large-scale data

검색결과 2,733건 처리시간 0.029초

사물인터넷 환경에서 대용량 스트리밍 센서데이터의 실시간·병렬 시맨틱 변환 기법 (Real-time and Parallel Semantic Translation Technique for Large-Scale Streaming Sensor Data in an IoT Environment)

  • 권순현;박동환;방효찬;박영택
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.54-67
    • /
    • 2015
  • 최근 사물인터넷 환경에서는 발생하는 센서데이터의 가치와 데이터의 상호운용성을 증진시키기 위해 시맨틱웹 기술과의 접목에 대한 연구가 활발히 진행되고 있다. 이를 위해서는 센서데이터와 서비스 도메인 지식의 융합을 위한 센서데이터의 시맨틱화는 필수적이다. 하지만 기존의 시맨틱 변환기술은 정적인 메타데이터를 시맨틱 데이터(RDF)로 변환하는 기술이며, 이는 사물인터넷 환경의 실시간성, 대용량성의 특징을 제대로 처리할 수 없는 실정이다. 따라서 본 논문에서는 사물인터넷 환경에서 발생하는 대용량 스트리밍 센서데이터의 실시간 병렬처리를 통해 시맨틱 데이터로 변환하는 기법을 제시한다. 본 기법에서는 시맨틱 변환을 위한 변환규칙을 정의하고, 정의된 변환규칙과 온톨로지 기반 센서 모델을 통해 실시간 병렬로 센서데이터를 시맨틱 변환하여 시맨틱 레파지토리에 저장한다. 성능향상을 위해 빅데이터 실시간 분석 프레임워크인 아파치 스톰을 이용하여, 각 변환작업을 병렬로 처리한다. 이를 위한 시스템을 구현하고, 대용량 스트리밍 센서데이터인 기상청 AWS 관측데이터를 이용하여 제시된 기법에 대한 성능평가를 진행하여, 본 논문에서 제시된 기법을 입증한다.

대규모 USN을 위한 클라우드기반 데이터 관리 시스템 설계 및 구현 (Design and Implementation of Cloud-based Data Management System for Large-scale USN)

  • 김경옥;정경진;박경욱;김종찬;장문석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.352-354
    • /
    • 2010
  • 최근 센서 네트워크의 구축이 증가하면서 대규모의 센서 데이터를 효율적으로 관리하는 시스템이 요구되고 있다. 기존의 연구는 단일 서버 또는 그리드로 구축된 다수의 서버에 분산 데이터베이스 시스템을 이용하여 센서 데이터를 관리하므로 시스템 확장이 용이하지 않으며 시스템 구축 및 관리 비용이 많이 드는 단점이 있다. 본 논문에서는 저비용, 높은 확장성과 효율성을 지닌 클라우드 기반의 센서 데이터 관리 시스템을 제안한다. 제안된 시스템은 REST 기반의 웹서비스를 통해 제공되므로 다양한 응용프로그램과 연동이 가능하다.

  • PDF

MarSel : Large-scale Dataset에 대한 LD기반의 Marker 선택 시스템 (MarSel : The LD-based Marker Selection System for the Large-scale Datasets)

  • 김상준;여상수;김성권
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.253-255
    • /
    • 2004
  • 인간(human)에게 나타나는 다양성(variation)은 인체의 유전체(genome) 안에서 발생된 SNP(Single Nucleotide Polymorphism)에 의해 나타난다고 알려져 있다. 유전체내의 SNP과 다양성에 대한 연관 연구(Associate study)를 할 때에 약 30여 억 개로 추정되는 염기서열(DNA sequence)물 모두 분석한다면 많은 비용과 시간을 필요로 할 것이다. 이런 비용과 시간을 줄이기 위친 적은 수의 대표 SNP(=tagSNP)을 찾는 연구가 현재 진행 중이다. 우리는 LD계수|D;|을 block 분할에 이용하여 생물학적인 의미를 부여한 후, 전산적인 최적해를 찾는 접근을 이용했다. 또한, 기존 연구에서는 large-scale data에 대한 처리가 불가능해서 chromosome의 일부분의 데이터에 대해서안 분석이 시도되었다. 더욱 광범위한 분석을 위해서 chromosome 단위의 처리가 필요하다. 우리는 chromosome단위의 SNP data를 한 번에 처리가 가능한 시스템인 MarSel를 구현하였다

  • PDF

Testing Web Feeding Model for Star Formation in Galaxy Clusters in the COSMOS Field

  • Ko, Eunhee;Im, Myungshin;Lee, Seong-Kook;Hyun, Minhee
    • 천문학회보
    • /
    • 제46권1호
    • /
    • pp.52.3-53
    • /
    • 2021
  • It is yet to be understood what controls the star formation activity in high-redshift galaxy clusters. One recently proposed mechanism is that the star formation activity in galaxy clusters are fed by gas and galaxies in large-scale structures surrounding them, which we call as "web feeding model". Using galaxies in the COSMOS2015 catalog, with mass completeness at log(M/M⦿)≥9.54 and reliable photometric redshift data (σΔz/(1+z) ≲ 0.01), we study the star formation activities of galaxy clusters and their surrounding environment to test the web feeding model. We first identify the overdense regions with number density exceeding the 4σ-level from photometric redshift data as galaxy clusters, and we find that they are well matched with clusters identified in the X-ray extended source catalog. Furthermore, we identify galaxy large scale structures, and will present the correlation or anti-correlation between quiescent galaxy fraction, an indicator of star-forming activity, and the prevalence of galaxy large scale structures.

  • PDF

반복기법을 이용한 대규모, 소선형시스템의 병렬처리에 관한 연구 (An experimental study on parallel implementation of an iterative method for large scale, sparse linear system)

  • 김상원;장수영
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 1991년도 춘계공동학술대회 발표논문 및 초록집; 전북대학교, 전주; 26-27 Apr. 1991
    • /
    • pp.6-22
    • /
    • 1991
  • This thesis presents a parallel implementation of an iterative method for large scale, sparse linear system and gives result of computational experiments performed on both single transputer and multi transputer parallel computers. To solve linear system, we use conjugate gradient method and develope data storage techinique, data communication scheme. In addition to the explanation of conjugate gradient method, the result of computational experiment is summarized.

  • PDF

대형 이미지 데이터셋 구축을 위한 이미지 이진화 기반 데이터 증강 기법 (Data augmentation technique based on image binarization for constructing large-scale datasets)

  • 이주혁;김미희
    • 전기전자학회논문지
    • /
    • 제27권1호
    • /
    • pp.59-64
    • /
    • 2023
  • 딥러닝은 다양한 컴퓨터 비전 문제를 해결할 수 있지만, 대량의 데이터셋이 필요하다. 본 논문에서는 대형 이미지 데이터셋을 구축하기 위해 이미지 이진화 기반 데이터 증강 기법을 제안한다. 이미지 이진화를 사용하여 특성을 추출하고 추출된 나머지 픽셀을 랜덤하게 배치하여 새로운 이미지를 생성한다. 생성된 이미지는 원본 이미지와 유사한 품질을 보여주며, 딥러닝 모델에서도 뛰어난 성능을 보였다.

The Relationship between Food and Labor Expense, Profit Margin, and Customer Satisfaction within University Union Foodservice Operations in Korea

  • Won, Sun-Im;Lee, Jin-Mee
    • Food Quality and Culture
    • /
    • 제1권1호
    • /
    • pp.58-61
    • /
    • 2007
  • The purpose of this study was to develop an effective cost control model for university foodservice operations by analyzing student satisfaction, as well as foodservice income statements for operational characteristics. The specific objectives were to examine the satisfaction of students for various foodservice quality dimensions, to determine the financial activities performed in foodservice operations by operational type, to examine their income statement data, and lastly, to compare the student satisfaction for foodservice quality with the financial data of the income statements. A total of 545 students from one university answered a satisfaction survey. The one-year income statements of three union foodservices (self-operated, small-scale contracted, and large-scale contracted) at the same university were analyzed. The results showed that the self-operated union foodservice had lower student satisfaction scores and higher food and labor cost ratios. The small-scale contract management foodservice data indicated the highest student satisfaction scores and the lowest food and labor cost ratios. The large-scale contract management foodservice data showed medium scores when comparing the three union foodservice operations. Overall, by comparing the satisfaction scores and operational profits, the small-scale union foodservices showed the highest satisfaction scores and profit.

  • PDF

파이썬 활용한 데이터 처리 성능 향상방법 제안 (Proposal For Improving Data Processing Performance Using Python)

  • 김효관;황원용
    • 한국정보전자통신기술학회논문지
    • /
    • 제13권4호
    • /
    • pp.306-311
    • /
    • 2020
  • 본 논문은 대량의 데이터를 활용한 모델 개발 시 다양한 라이브러리를 갖춘 파이썬 언의의 성능 향상방법을 다룬다. 파이썬 언어는 엑셀과 같은 스프레드시트 형태 데이터 처리 시 Pandas 라이브러리를 사용한다. 데이터 처리 시파이썬은 기가단위 이하 데이터 처리 시에는 인-메모리로 연산하여 성능 측면에서 크게 이슈가 없다. 하지만 기가단위 이상 데이터 처리 시 성능 이슈가 발생한다. 이에 본 논문은 데이터 처리 시 Pandas와 같이 사용할 수 있는 Dask 라이브러리를 활용하여 단일 클러스터 및 다중 클러스터에서 실행 작업을 분산처리 가능한 방법을 소개한다. 실험은 동일 사양의 하드웨어에서 간단한 지수산출 모델을 Pandas만 사용해서 처리하는 속도와 Dask를 같이 사용해서 처리하는 속도를 비교한다. 본 논문은 파이썬의 장점인 다양한 라이브러리를 쉽게 사용할 수 있다는 점을 유지하면서 성능측면에서도 대량의 데이터를 CPU 코어들이 분산 처리하여 모델을 개발할 수 있는 방법을 제시한다.

Development of the Design Methodology for Large-scale Data Warehouse based on MongoDB

  • Lee, Junho;Joo, Kyungsoo
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.49-54
    • /
    • 2018
  • A data warehouse is a system that collectively manages and integrates data of a company. And provides the basis for decision making for management strategy. Nowadays, analysis data volumes are reaching critical size challenging traditional data ware housing approaches. Current implemented solutions are mainly based on relational database that are no longer adapted to these data volume. NoSQL solutions allow us to consider new approaches for data warehousing, especially from the multidimensional data management point of view. In this paper, we extend the data warehouse design methodology based on relational database using star schema, and have developed a consistent design methodology from information requirement analysis to data warehouse construction for large scale data warehouse construction based on MongoDB, one of NoSQL.

대규모 단지조성 미세먼지 관리 방안 (Management Scheme According to Characteristics of PM-10 Occurred from Large Scale Development Site)

  • 권우택;이우식;홍상표
    • 환경영향평가
    • /
    • 제22권1호
    • /
    • pp.79-87
    • /
    • 2013
  • The purpose of this study is to establish PM-10 management manual for developing large scale sites by assessing the status of PM-10 reduction at ongoing large scale development sites. After analyzing the meteorological conditions and air quality characteristics of Sihwa MTV development site, ISCST3 (Industrial Source Complex Short Term Model 3) was implemented to predict PM-10 generation. The outcomes of ISCST3 modelling were utilized for verification of site survey data. As a result of applying air pollution modeling, the diffusion rate of PM-10 decreases according as the wind speed decreases. And the emission rate of PM-10 increase is linear to the concentration of PM-10. The reduction target of PM-10 can be derived quantitatively from the difference between the forecasted emission rate and the permissible emission limit of PM-10. The assessment of PM-10 characteristics which is deduced from ISCST3 and site survey can be practically applied to accomplish environmentally acceptable air quality manual for large scale development sites.