• 제목/요약/키워드: 데이터 처리

검색결과 17,628건 처리시간 0.044초

다변량 데이터 스트림을 위한 아파치 스톰 기반 질의 필터링 시스템 (Apache Storm based Query Filtering System for Multivariate Data Streams)

  • 김영국;손시운;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.561-564
    • /
    • 2018
  • 최근 빠르게 발생하는 빅데이터 스트림이 다양한 분야에서 활용되고 있다. 이러한 빅데이터 전체를 수집하고 처리하는 것은 매우 비경제적이므로, 데이터 스트림 중 필요한 데이터를 걸러내는 필터링 과정이 필요하다. 본 논문에서는 아파치 스톰(Apache Storm)을 사용하여 데이터 스트림의 질의 필터링 시스템을 구축한다. 스톰은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이다. 하지만, 스톰은 입력 데이터 구조나 알고리즘 변경 시, 코드의 수정과 재배포, 재시작 등이 필요하다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 아파치 카프카(Apache Kafka)를 사용하여 데이터 수집 모듈과 스톰의 처리 모듈을 분리함으로써 시스템의 가용성을 크게 높인다. 또한, 시스템을 웹 기반 클라이언트-서버 모델로 구현하여 사용자가 언제 어디에서든 질의 필터링 시스템을 사용할 수 있게 하며, 웹 클라이언트를 통해 입력한 질의를 자동적 분석하는 쿼리 파서를 구현하여 별도의 프로그램의 수정 없이 질의 필터링을 적용할 수 있다.

MQTT 기반 유아 신체활동 에듀테크 플랫폼 구현 (MQTT-based physical activity edutech for infants Platform Implementation)

  • 허지혜;김규린;박우정;신대현;김범중
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.937-939
    • /
    • 2022
  • 최근 에듀테크 산업은 코로나 19와 4차 산업사회의 발달로 교육의 디지털 트랜스포메이션이 진행되고 있다. 그러나 기존 에듀테크 기술들은 코로나 19로 인해 예기치 못한 환경에서의 교육 불균형과 영유아들의 언어적, 신체적 발달에 대한 방향을 제시하고 있지 못하다. 이에 본 논문에서는 MQTT 기반 유아 신체활동 에듀테크 플랫폼을 제안한다. 제안하는 플랫폼의 적용된 기술은 MQTT와 아두이노 센서를 활용하여 학습 동기를 유발하고 자발적인 참여를 유도한다. 성능평가는 제안하는 플랫폼의 주요 기능인 센서 데이터 처리 정확도를 분석하기 위해 QoS(Quality of Service)레벨별 데이터 처리율과 초당 처리량을 분석한다. 부하 테스트 성능평가를 통해 QoS2 레벨이 요청된 데이터 처리를 모두 정상적으로 완료하여 제안하는 플랫폼의 데이터의 신뢰성을 보장하기 위해 QoS 레벨 2를 적용하고자 한다.

불완전 데이터를 위한 효율적 Top-k(g) 스카이라인 그룹 질의 처리 기법 (An Efficient Processing Method of Top-k(g) Skyline Group Queries for Incomplete Data)

  • 박미라;민준기
    • 정보처리학회논문지D
    • /
    • 제17D권1호
    • /
    • pp.17-24
    • /
    • 2010
  • 최근에 스카이라인 질의에 대한 관심이 점차 증가하고 있다. 대부분의 스카이라인 질의에 대한 연구는 데이터들이 널 값을 가지지 않는다는 가정에서 이루어진다. 그러나 우리가 웹이나 다른 도구로 데이터베이스에 자료를 입력할 때는 널 값을 가지는 불완전한 데이터가 존재한다. 따라서 불완전한 데이터를 위한 다양한 스카이라인 처리 기법들이 제안되었다. 그러나 기존의 불완전한 데이터를 위한 스카이라인 질의 처리 기법은 불완전한 데이터만을 고려함으로써 완전한 데이터와 불완전한 데이터가 공존하는 환경을 고려하지 않았다. 본 논문에서는 완전한 데이터를 위한 스카이라인 질의와 불완전한 데이터를 위한 스카이라인 질의를 모두 처리 하는 스카이라인 그룹 질의 처리 기법을 제안한다. 이를 위하여, 사용자 정의에 의한 차원의 선호도에 따라서 g개의 스카이라인 그룹을 검색하는 top-k(g) 스카이라인 그룹 질의를 도입하고, 이를 질의 처리하는 기법을 제안한다. 그리고 모의실험을 통하여 제안한 방식의 성능을 보인다.

데이터 스트림에서 다중 조인 질의의 최적화 기법 (Optimization of Multiple Join Queries over Data Streams)

  • 박연경;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.38-41
    • /
    • 2007
  • 최근 산업발달과 더불어 금융, 의료, 건설 등 다양한 산업분야에서는 대용량의 데이터 들이 실시간에 연속적으로 빠르게 발생되는 경우가 많다. 이런 스트림데이터 형태의 경우 전통적인 DBMS에서 처리하는 방식으로는 모든 데이터를 처리하는 것이 불가능하기 때문에 기존의 방식과 다른 데이터 처리방식이 요구된다. 본 논문에서는 데이터 스트림에 대한 다중 연속 질의들 사이에서 2개 이상의 스트림을 조인하는 다중 조인 연속 질의를 효율적으로 처리하는 방법을 연구하였다. 다중 조인 연속 질의에 사용되는 조인 조건들 가운데 공통으로 사용된 조인 조건을 공유해 불필요하게 반복되는 질의 수행을 최소화시키고 공통부분을 우선적으로 수행시킴으로써 그 조인 결과의 공유 최대화 및 질의 수행비용의 최소화 할 수 있는 질의 수행 최적화 기법을 제안하고 실험을 통해 제안된 공유 기반의 질의 수행 최적화 기법을 검증하고자 한다.

  • PDF

보안 정보 보호를 위한 프로그램 데이터 근원 분석 (Tracking Sensitive Data Source for Secret Information Protection)

  • 안선우;신장섭;방인영;백윤흥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.426-428
    • /
    • 2016
  • 컴퓨터 시스템은 악성 프로그램 또는 프로그램의 취약점을 통한 해커의 공격 등 위험에 항시 노출되어 있다. 따라서 이러한 컴퓨터 시스템에서 처리되는 보안적으로 중요한 데이터는 언제나 노출될 위험이 있다. 이 문제를 해결하기 위해 보안적으로 중요한 데이터의 처리 과정을 다른 프로그램 부분과 분리하여 다른 프로그램 부분의 취약점을 통해 해당 데이터까지 위험에 노출되는 것을 막으려는 연구들이 있다. 이러한 연구들에서 필요한 것은 보안적으로 중요한 데이터가 프로그램 상에서 처리되는 시작점을 찾고, 해당 데이터가 처리되는 부분을 분석하는 것이다. 본 연구에서는 그 중 첫 번째 문제를 자동적으로 풀기 위한 컴파일러 기반 분석 도구를 개발하였다.

공통 조인 작업 공유를 통한 다중 연속 질의 처리 (Processing Multiple Continuous Queries by sharing common join operations)

  • 박홍규;이원석
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2008년도 추계학술대회
    • /
    • pp.187-190
    • /
    • 2008
  • 데이터 스트림이란 제한 없이 끊임없이 흘러 들어오는 일련의 많은 양의 데이터 객체들을 의미하며, 센서 데이터 처리, 인터넷 트래픽 분석, 웹 서버 로그와 같은 다양한 트랜잭션 로그 분석등과 관련된 수많은 응용 분야에 적용 가능하기 때문에 이들을 처리 하기 위해 많은 연구가 진행되었다. 데이트 스트림을 처리하기 위해서는 미리 등록된 질의들(연속 질의)을 새롭게 들어오는 스트림 데이터들로 계산하여 그 결과를 계속적으로 생성하여야 하므로 연속 질의들은 스트림 데이터가 들어올 때마다 반복적으로 수행되며, 데이터 스트림은 매우 빠르게 입력되는 특성을 가지고 있기 때문에 보다 빠르게 질의를 처리하여야만 한다. 본 논문에서는 다수의 조인 연속 질의들이 시스템에 등록되어 있을 때, 이들을 보다 빠르게 처리할 수 있도록 여러 개의 질의에 반복적으로 적용되는 조인 연산들을 공유함으로써 최적의 질의 계획을 생성하는 기법을 제안한다.

  • PDF

$^1TA$를 통한 레거시 시스템 재사용 (Reuse of Legacy System by TA(Transaction Adapter))

  • 김정아;김종윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1681-1684
    • /
    • 2003
  • 본 연구는 트랜잭션 어댑터 서버(이하 TA 서버)를 이용한 레거시 보험 업무 관리 시스템 재사용 및 통합 관련 연구이다. 클라이언트 애플리케이션으로부터 입력받은 보험 업무 관한 처리 데이터는 XML 데이터로 변환되어 TA 서버로 전송되고, TA 서버는 수신된 XML 데이터를 분석 변환하여 레거시 시스템이 처리하는 레이아웃 데이터를 생성한 후, 레거시 시스템에 접속하여 레이아웃 데이터를 전송하는 방식으로 TA서버를 이용한 레거시 보험 관리 시스템의 재사용 및 통합 방법에 관한 것이다. 이로써 보험 상품의 종류와 클라이언트 플랫폼에 관계없이 TA 서버가 데이터 변환처리를 통일적으로 수행하여 시스템 운영시 공통된 모듈의 재사용 및 보험 업무처리를 효율적으로 수행하는 효과를 제공한다. 또한, XML 기반의 레거시 시스템의 e-비즈니스로의 전환을 가능하게 한다.

  • PDF

다형구조 검색질의를 지원하는 XML 데이터 시스템의 설계 및 개발 (A Design and Developement of XML Data System for Hybrid Retrieval)

  • 신주열;변정용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 춘계학술발표논문집 (상)
    • /
    • pp.39-42
    • /
    • 2001
  • XML 데이터 검색 질의처리를 위해서 개개의 데이터베이스 시스템은 여러 형태로 대안을 제시하고 있다.. 그런데 데이터베이스관리 시스템별로 XML 질의처리방식과 함수처리 방식이 달라서 다형 구조의 데이터를 통합하여 검색하는데 어려움이 있으며 여기에 관계형 데이터베이스시스템과 XML 스키마 결합의 불일치 문제점도 해결 과제로 남아 있다. 본 논문에서는 이런 문제점을 해결하는 방안으로 XML 데이터 검색 질의처리 시스템을 제안한다. 또한 다형적 구조의 환경에서 XML 데이터 시스템와 구조적인 데이터 시스템의 연계방안과 검색질의 시스템에 관해서도 논의한다.

  • PDF

실시간 공간데이터베이스 시스템에서의 시간제약조건을 갖는 공간질의 처리 (Timing Constrained Spatial Query Processing for Real-time Spatial Database System)

  • 임정옥;조숙경;김경배;이순조;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.278-280
    • /
    • 1999
  • 실시간 GIS 응용 프로그램에서는 기존의 GIS 시스템과는 달리 동적인 공간데이터가 신뢰성을 위해 일정한 시간 내에 갱신되어야 유효성을 유지하며, 사용자가 요청하는 질의는 일정 시간 내에 처리되어야 하는 시간제약조건을 갖는다. 이러한 GIS응용프로그램을 지원하기 위한 실시간 공간데이터베이스 시스템에서는 기존의 실시간 데이터베이스 시스템에서 고려되지 않은 동적 실시간 공간데이터와 실시간 공간질의에 대한 처리가 필요하며 질의 처리 시 실시간 데이터와 실시간트랜잭션의 시간제약조건의 만족을 초대화하기 위한 고려가 필요하다. 본 논문에서는 실시간 공간질의 처리 시 예측성을 최대화 하기 위해 질의에서 빈번히 사용되는 데이터를 주기억상주 데이터베이스에 저장하였고, 실시간 공간데이터의 관리를 위하여 공간질의어를 확장하였다. 또한 실시간 공간질의 처리 시에 실시간 데이터와 실시간트랜잭션의 시간제약조건을 최대한 만족시키기 위해 공간질의 분석과 연산 순서의 재배치 기법을 사용하였다.

  • PDF

무선방송환경에서 클라이언트의 질의처리 시간을 줄이기 위한 데이터 스케줄링 관리 (Data Scheduling Management to Reduce Client's Query Processing Time in Wireless Broadcast Environments)

  • 송두희;박광진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1110-1112
    • /
    • 2013
  • 본 논문에서는 무선방송 환경을 기반으로 한 서버가 클라이언트에게 데이터를 전송할 때 클라이언트의 질의처리 시간을 줄일 수 있는 방안을 제안한다. 서버는 무선방송을 통해 공간 데이터를 클라이언트에게 전송한다. 데이터 스케줄링 관리의 목적은 서버의 데이터 전송 순서를 효과적으로 배치하여 클라이언트의 질의처리시간을 줄이기 위함이다. 본 논문에서 서버는 클라이언트에게 위치기반 서비스를 제공하기 위하여 영역별 클라이언트의 수에 따라 hot-cold기법을 접목시킨 Number of Clients number Hot-Cold(NCHC)를 제안한다. NCHC의 장점은 클라이언트의 분포에 따라 데이터(객체)를 분류하기 때문에 클라이언트들의 평균 질의처리 시간을 줄일 수 있다.