• Title/Summary/Keyword: 데이터 비만도

Search Result 10,504, Processing Time 0.039 seconds

Analysis and Evaluation of Data Partitioning Methods or On-line Scaling in a Shared Nothing Database Cluster (비공유 데이터베이스 클러스터에서 온-라인 확장을 위한 데이터 분할 기법의 분석 및 평가)

  • Jang, Yong-Il;Lee, Chung-Ho;Lee, Jae-Dong;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11c
    • /
    • pp.1859-1862
    • /
    • 2002
  • 비공유 데이터베이스 클러스터는 그 구조의 특성 상 동적인 질의 패턴의 변화, 특정 데이터에 대한 질의 집중에 의한 부하 불균형 및 집중, 사용자 증가에 의한 처리량 한계 등의 문제가 발생한다. 이러한 문제를 해결하기 위해 데이터베이스 클러스터는 최근에 제안된 온-라인 확장기법을 사용하며, 이 기법은 데이터 베이스의 확장성에 의해 큰 영향을 받는다. 일반적으로 클러스터 시스템에서 사용되는 데이터 분할 기법에는 키 값의 순서대로 분할하는 라운드-로빈 분할 기법, 해쉬 함수를 이용해 데이터를 분할하는 해쉬 분할 기법, 범위에 따라 각 노드에 데이터를 분할하는 범위 분할기법, 그리고 조건식에 따라 데이터를 분할하는 조건식 분할 기법이 있다. 본 논문에서는 이 네 가지 분할 기법의 특성을 정리하고, 비공유 데이터베이스 클러스터에서 확장성에 있어서 우수한 분할 기법을 각 분할 기법의 성능평가를 통해 얻는다. 성능평가에서는 각각의 분한 기법을 평가하기 위해 확장 시 발생되는 이동 데이터의 크기, 질의처리에 대한 영향, CPU 사용률, 그리고 온-라인 확장기법의 수행 시 발생되는 특성에 대한 영향을 분석하며, 얻어진 결과를 토대로 비공유 데이터베이스 클러스터에서 가장 적합하면서도 온-라인 확장 기법적용을 위해 확장성이 우수한 데이터 분할기법을 찾는다.

  • PDF

Design of Streaming based Unstructured-Data Collecting Framework in IoT Environment (IoT 환경에서 스트리밍 기반의 비정형 데이터 수집 프레임워크 설계)

  • Lee, Hoo-Young;Park, Koo-Rack;Kim, Dong-Hyun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2017.01a
    • /
    • pp.57-58
    • /
    • 2017
  • 사물인터넷 환경의 다양한 기기에서는 매초마다 시스템 로그 데이터, 온도, 습도, 조도 및 위치 정보 등과 같은 데이터를 지속적으로 생성한다. 이렇게 생성된 데이터는 기기 안에서 대부분 소멸되거나 수집된다 하더라도 시스템 개선의 일부 목적으로 활용하는데 그칠 뿐이다. 본 논문에서는 각각의 사물인터넷 기기에서 발생하는 비정형 데이터를 스트리밍 방식을 통해 수집 서버로 전송하고 이를 유연한 스키마 구조를 가지는 NoSQL 데이터베이스에 적재하는 프레임워크 설계를 제안한다. 이렇게 수많은 장비로부터 수집된 로그 및 센싱 데이터는 빅데이터 분석을 통해 산업의 현장에서 생산성 향상을 위해 사용할 수 있으며 공공의 목적으로 도심지의 교통문제 해소와 재난 및 재해 예측에 활용될 수 있다.

  • PDF

A Study on Node Estimation Method to Assign Priority based on Emergency data and Network Environment (Emergency 데이터 및 네트워크 환경 기반 노드 우선순위 선정 모델 연구)

  • Kim, Se-Jun;Lim, Hwan-Hee;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2018.01a
    • /
    • pp.87-88
    • /
    • 2018
  • 본 논문에서는 IIoT 환경에서 중요한 비정상적 데이터 수집을 위한 노드 우선순위 선정 모델을 제안하였다. 제안하는 모델은 비정상적 데이터 수집과 다른 노드로 부터의 정상 데이터의 수집 격차를 적절히 조절하기 위하여 Fair and Delay-aware Cross-layer(FDRX) 기법과 데이터 Classification 기법을 이용, 데이터의 긴급성과 네트워크 환경을 분석하여 노드를 평가한다. 이를 통하여 IIoT 환경에서의 데이터 분석에 중요한 비정상적 데이터를 원활하게 수집하면서도 다른 노드와의 전송 격차를 줄일 수 있을 것으로 기대된다.

  • PDF

Implementation of algorithm for effective k-RDFAnonymity (효과적인 k-RDFAnonymity를 위한 알고리즘 구현)

  • Jeon, Min-Hyuk;Temuujin, Odsuren;Seo, Kwangwon;Ahn, Jinhyun;Im, Dong-Hyuk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.285-287
    • /
    • 2018
  • 최근 정부 및 기업단체에서 배포하는 데이터의 규모가 점점 방대해지고 있다. 민간에서는 이러한 공개데이터를 자유롭게 사용할 수 있으나, 공개 데이터에는 개인의 프라이버시를 침해할 수 있는 개인정보도 포함되어 있다. 그에 따라 대두된 문제가 공개데이터 중 개개인의 정보를 식별해낼 수 없도록 하는 데이터의 비식별화이며 그로 인해서 비식별화에 관한 많은 익명화 기법과 프라이버시 모델이 발표되었다. 그중 본 논문에서 사용하는 Mondrian algorithm은 k-익명화 모델을 사용하여 효과적으로 데이터를 비식별화 할 수 있다. 또한 방대한 웹 데이터 자원 간의 관계를 표현해놓은 RDF 모델은 DB로 변환시켜 k-익명화 방법인 kRDF에 Mondrian algorithm의 Multi-dimensional 방식을 따라 익명화하여 범용적이고 효과적인 개인정보 데이터의 프라이버시 보호를 구현하고자 한다.

Implementation and Analysis of Asynchronous data and Control data capture application in MOST Network (MOST Network의 Asynchronous data와 control data 캡처 application 구현 및 분석)

  • Kim, Seon-Nam;Kwak, Gil-Bong;Ahn, Gwi-Im
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2010.10a
    • /
    • pp.427-430
    • /
    • 2010
  • MOST Network는 오디오와 비디오 데이터를 실시간으로 전송하는 동기식데이터 영역과 패킷데이터를 전송하는 비동기식 데이터 영역, 네트워크 관리를 위한 명령, 상태, 진단 정보를 전송하는 control Channel로 구성되어 있다. 본 논문에서는 비동기식 데이터 영역과 Control Channel의 데이터를 캡처 및 분석하는 모듈을 설계 및 구현한 후 실제 MOST 네트워크를 구축하여 검증해 보았다. 구현한 시스템을 바탕으로 고가의 장비를 별도로 보유하지 않더라도 MOST Network의 비동기식 데이터 영역과 Control Channel의 데이터를 확인할 수 있으며, 분석이 가능한 시스템을 제안하였다.

  • PDF

K-means를 활용한 항로표지 센서 데이터 군집화

  • 김두환;성상하;최형림
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2022.06a
    • /
    • pp.54-55
    • /
    • 2022
  • 해양에 설치된 항로표지는 선박의 안전한 항해를 위해 위치 정보를 제공하고, 항로표지에 부착된 센서를 통해 다양한 해양 정보를 수집하고 있다. 하지만 항로표지는 육지와 멀리 떨어진 해상이라는 특수한 작업환경으로 인해 항로표지 유지보수를 위한 많은 시간과 비용이 발생하게 된다. 현재 항로표지에 부착된 센서를 통해 다양한 정보를 수집하고 있지만, 정상 데이터와 비정상 데이터를 구분할 수 있는 정보가 없어 고장진단에 어려움이 있다. 따라서 본 연구에서는 항로표지 센서 고장진단을 위해 머신러닝 비지도학습 중 하나인 K-means 알고리즘을 활용하여 정상 데이터와 비정상 데이터로 군집화하였으며, 분류가 잘 되는 것을 확인할 수 있었다. 향후 연구방향으로는 2개의 클러스터로 구분된 데이터가 실제로 정상 데이터인지, 비정상 데이터인지에 대한 비교·분석이 필요하다.

  • PDF

Power Allocation Scheme to Enhance Data-Rate Fairness for Non-orthogonal Multiple Access Systems in the Presence of Interference (간섭이 존재하는 비직교 다중접속 시스템에서 데이터 전송률 공정성 개선을 위한 전력 할당 기법)

  • Lee, In-Ho
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.23 no.11
    • /
    • pp.1407-1413
    • /
    • 2019
  • In this paper, we assume that another transmitter can transmit its data signal in the same frequency band in order to maximize the frequency efficiency of non-orthogonal multiple access(NOMA) systems. We also focus on the improvement in fairness performance of receiver's data rates, not the maximization of sum data rate for NOMA systems. Thus, in this paper, we propose a power allocation scheme to enhance the fairness performance of average data rates of receivers considering the NOMA systems in the presence of interference. Assuming Rayleigh fading channels, the average data rates of receivers are defined, and the power allocation coefficients to improve the data-rate fairness are derived by using high signal-to-noise power ratio approximation. In addition, through simulations, it is shown that the proposed power allocation scheme can improve the data-rate fairness in the NOMA system with interference.

An Efficient Data Replacement Algorithm for Performance Optimization of MapReduce in Non-dedicated Distributed Computing Environments (비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘)

  • Ryu, Eunkyung;Son, Ingook;Park, Junho;Bok, Kyoungsoo;Yoo, Jaesoo
    • The Journal of the Korea Contents Association
    • /
    • v.13 no.9
    • /
    • pp.20-27
    • /
    • 2013
  • In recently years, with the growth of social media and the development of mobile devices, the data have been significantly increased. MapReduce is an emerging programming model that processes large amount of data. However, since MapReduce evenly places the data in the dedicated distributed computing environment, it is not suitable to the non-dedicated distributed computing environment. The data replacement algorithms were proposed for performance optimization of MapReduce in the non-dedicated distributed computing environments. However, they spend much time for date replacement and cause the network load for unnecessary data transmission. In this paper, we propose an efficient data replacement algorithm for the performance optimization of MapReduce in the non-dedicated distributed computing environments. The proposed scheme computes the ratio of data blocks in the nodes based on the node availability model and reduces the network load by transmitting the data blocks considering the data placement. Our experimental results show that the proposed scheme outperforms the existing scheme.

Invisible Data Hiding for Few-Color Image (다치 컬러 영상을 위한 비가시적 데이터 은닉)

  • 박영란;박지환
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2003.11a
    • /
    • pp.69-72
    • /
    • 2003
  • 스테가노그라피는 송/수신자간에 비밀 통신을 할 때 제3자가 기밀 정보를 인식하지 못하도록 디지털화된 각종 미디어에 몰래 숨겨서 통신을 한 수 있는 데이터 은닉의 한 분야이다. 특히 흑/백으로만 구성된 이진 영상 및 색상의 표현이 제한된 다치 영상 등에서 비시각적으로 기밀정보를 숨긴다는 것이 일반 컬러 영상에 비해 많은 어려움을 수반한다. 본 제안방식은 시각적인 영향을 작게 주는 패턴에만 기밀 데이터를 삽입하는 방식으로 기밀 데이터를 은닉시킨 후에도 화질의 열화가 거의 발생하지 않아 시각적으로 인지하기 어렵도록 개선한 방식이다.

  • PDF

Excluding the Control Prefixes on Asynchronous Secure Communication (안전한 비동기 통신에서 제어접두문자의 제거 방법)

  • 정현철
    • Proceedings of the Korea Institutes of Information Security and Cryptology Conference
    • /
    • 1996.11a
    • /
    • pp.297-304
    • /
    • 1996
  • 본 논문에서는 비동기 프로토콜 상으로 데이터를 암호화하여 전송할 때 발생하는 모의 제어문자에 대해 제어접두문자를 추가하지 않고 일정한 변환만 하여 송신하므로써 데이터의 길어짐을 방지하고 전체 통신 속도를 높이는 문자 변환 방법을 제시하였다. 이러한 변환을 위해 전송 데이터의 유효 범위를 가정하고 이 범위를 벗어나지 않도록 하였으며 실험을 통하여 이 방법이 기존의 방법에 비해 통신속도가 향상됨을 보이고 암호화된 데이터의 임의성을 확인하므로써 암호화에 문제가 없음을 보였다.

  • PDF