• 제목/요약/키워드: 순차적 배치 데이터

검색결과 12건 처리시간 0.025초

전진적 단계 알고리즘을 이용한 대용량 데이터와 순차적 배치 데이터의 분류 (Classification of large-scale data and data batch stream with forward stagewise algorithm)

  • 윤영주
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권6호
    • /
    • pp.1283-1291
    • /
    • 2014
  • 본 논문에서는 대용량이거나 시간에 따라 순차적으로 들어오는 데이터의 분류를 위한 전진적 단계 알고리즘을 제안한다. Adaboost 알고리즘은 노이즈가 있는 데이터에 대하여 성능이 떨어지는 것으로 알려져 있다. 이를 해결하기 위한 한 가지 방법으로 전진적 단계 선형 회귀 방법을 사용한다. 대용량 데이터나 순차적 배치 데이터의 경우에도 이러한 상황을 극복하기 위해 전진적 단계 알고리즘 방법을 적용한 방법을 제안한다. 모의실험과 실제 자료 분석을 통해 제안된 알고리즘이 좋은 성능을 보임을 알 수 있었다.

EAI에서 대용량 배치 데이터의 통합 성능 향상을 위한 Process-level 방식 (Process-level integration method for performance improvement of large scaled batch data processing in EAI environment)

  • 김용희;권주흠
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.19-22
    • /
    • 2004
  • 분산 시스템 환경에서 여러 시스템에 정보를 전송하기 위한 방법으로 최근 EAI 의 DB Trigger 및 Redo Log 등을 이용한 실시간 데이터 통합 방식을 적용해 왔다. 그러나 기업에서 순차적인 배치 프로세스들을 통해 처리하는 대량의 데이터에 대해 기존의 EAI 의 데이터 통합 방식을 사용할 경우 모든 변경 건수에 대해 이벤트가 발생하여 Source 시스템의 부하 및 통합 성능상의 문제점이 있다. 본 논문에서는 순차적인 배치 프로세스들을 EAI 의 프로세스 레벨 통합을 적용하여 최종 변경된 데이터에 대해서만 통합하도록 하여 통합 처리 시간을 단축할 수 있는 방법을 제시하고자 한다.

  • PDF

단계 선형 배치 트리를 이용한 순차 패턴 추출 (Mining Sequential Patterns Using Multi-level Linear Location Tree)

  • 최현화;이동하;이전영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
    • /
    • pp.70-72
    • /
    • 2003
  • 대용량 데이터베이스로부터 순차 패턴을 발견하는 문제는 지식 발견 또는 데이터 마이닝(Data Mining) 분야에서 주요한 패턴 추출 문제이다. 순차 패턴은 추출 기법에 있어 연관 규칙의 Apriori 알고리즘과 비슷한 방식을 사용하며 그 과정에서 시퀀스는 해쉬 트리 구조를 통해 다루어 진다. 이러한 해쉬 트리 구조는 항목들의 정렬과 데이터 시퀀스의 지역성을 무시한 저장 구조로 단순 검색을 통한 다수의 복잡한 포인터 연산수행을 기반으로 한다. 본 논문에서는 이러한 해쉬 트리 구조의 단정을 보완한 다단게 선형 배치 트리(MLLT, Multi-level Linear Location Tree)를 제안하고, 다단계 선형 배치 트리를 이용한 효율적인 마이닝 메소드(MLLT-Join)를 소개한다.

  • PDF

멀티미디어 데이터베이스에서 연속매체의 효율적인 배치기법 (Efficient Placement Scheme of Continuous Media in Multimedia Database)

  • 김근형;박석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.9-11
    • /
    • 1999
  • 멀티미디어 DBMS는 연속매체를 서비스할 때 동시에 보다 많은 사용자들에게 일정한 서비스 품질을 유지하면서 서비스를 제공할 수 있어야 한다. 이를 위하여 멀티미디어 DBMS를 위한 저장시스템은 보다 큰 디스크 대역폭을 지원해야 하므로 디스크 배열의 구조를 갖는 것이 바람직하다. 디스크 배열 환경에서 다수의 연속매체를 병행적으로 서비스할 때 요구 데이터를 순차접근에 의하여 검색할 수 있으면 디스크 대역폭을 탐색시간 등으로 소모하지 않으므로 고속 디스크 대역폭을 유지할 수 있다. 또한, 디스크 접근시 디스브 부하 균형을 유지할 수 있으면 자원 활용율이 높은 고성능의 저장 시스템이 될 수 있다. 본 논문에서는 연속매체들을 순차접근에 의해서 처리하면서 디스크 부하 균형을 유지할 수 있는 데이터 배치 기법을 제안한다. 제안한 데이터 배치기법에 의한 성능평가는 모의 실험 전용틀인 AweSim 2.0을 사용하였다.

  • PDF

기계학습 기반 다중 레이블 분류를 이용한 실시간 전략 게임에서의 상대 행동 예측 (Opponent Move Prediction of a Real-time Strategy Game Using a Multi-label Classification Based on Machine Learning)

  • 신승수;조동희;김용혁
    • 한국융합학회논문지
    • /
    • 제11권10호
    • /
    • pp.45-51
    • /
    • 2020
  • 최근 많은 게임이 사용자의 게임 플레이와 관련된 데이터를 제공하고 있고, 이에 기계학습 기법을 결합하여 상대의 행동을 예측하는 연구들이 있다. 본 연구는 실시간 전략 게임(클래시로얄)의 경기 데이터와 기계학습 기반의 다중 레이블 분류를 사용하여 상대 플레이어의 행동을 예측한다. 초기 실험은 이진 형태의 카드 특성과 카드 배치 좌표 그리고 정규화된 시간 정보를 입력받아 카드 타입, 카드 배치 좌표를 랜덤포레스트와 다층 퍼셉트론을 이용하여 예측한다. 이후, 순차적으로 3 가지 전처리 방식을 사용하여 실험을 진행했다. 먼저 입력 데이터의 특성 정보 일부를 변환시켜 예측했다. 다음으로 입력 데이터를 연속된 카드 입력 방식까지 고려한 중첩 형태로 변환 시켜 예측했다. 마지막으로 모든 이전 단계의 데이터들을 정규화된 시간 기준에 따라 초반, 후반으로 분할하여 예측했다. 그 결과 가장 개선을 보인 전처리 방식은 중첩 형태의 데이터를 초반으로 분할하였을 경우로 카드 타입이 약 2.6%, 카드 배치 좌표가 약 1.8% 개선을 보였다.

딥러닝을 이용한 시퀀스 기반의 여행경로 추천시스템 -제주도 사례- (Sequence-Based Travel Route Recommendation Systems Using Deep Learning - A Case of Jeju Island -)

  • 이희준;이원석;최인혁;이충권
    • 스마트미디어저널
    • /
    • 제9권1호
    • /
    • pp.45-50
    • /
    • 2020
  • 딥 러닝의 발전에 따라 추천시스템에서 딥 러닝 기반의 인공신경망을 활용한 연구가 활발히 진행되고 있다. 특히, RNN(Recurrent Neural Network)기반의 추천시스템은 데이터의 순차적 특성을 고려하기 때문에 추천시스템에서 좋은 성과를 보여주고 있다. 본 연구는 RNN기반의 알고리즘인 GRU(Gated Recurrent Unit)와 세션 기반 병렬 미니배치(Session Parallel mini-batch)기법을 활용한 여행경로 추천 시스템을 제안한다. 본 연구는 top1과 bpr(Bayesian personalized ranking) 오차함수의 앙상블을 통해 추천 성과를 향상시켰다. 또한, 데이터 내에 순차적인 특성을 고려한 RNN기반 추천 시스템은 여행경로에 내재된 여행지의 의미가 반영된 추천이 이루어진다는 것을 확인되었다.

스트리밍 데이터에 대한 최소제곱오차해를 통한 점층적 선형 판별 분석 기법 (Incremental Linear Discriminant Analysis for Streaming Data Using the Minimum Squared Error Solution)

  • 이경훈;박정희
    • 정보과학회 논문지
    • /
    • 제45권1호
    • /
    • pp.69-75
    • /
    • 2018
  • 시간에 따라 순차적으로 들어오는 스트리밍 데이터에서는 전체 데이터 셋을 한꺼번에 모두 이용하는 배치 학습에 기반한 차원축소 기법을 적용하기 어렵다. 따라서 스트리밍 데이터에 적용하기 위한 점층적 차원 감소 방법이 연구되어왔다. 이 논문에서는 최소제곱오차해를 통한 점층적 선형 판별 분석법을 제안한다. 제안 방법은 분산행렬을 직접 구하지 않고 새로 들어오는 샘플의 정보를 이용하여 차원 축소를 위한 사영 방향을 점층적으로 업데이트한다. 실험 결과는 이전에 제안된 점층적 차원축소 알고리즘과 비교하여 이 논문에서 제안한 방법이 더 효과적인 방법임을 입증한다.

식이 데이터 분석을 위한 분산 컴퓨팅 문제풀이환경 설계 (A Design of a Distributed Computing Problem Solving Environment for Dietary Data Analysis)

  • 최지은;안윤선;김윤희
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.834-839
    • /
    • 2015
  • 개인의 건강과 삶의 질의 향상을 위해 웰니스에 대한 사람들의 관심이 증가하고 있다. 개인의 건강 데이터 분석을 위해 체중, BMI, 혈압과 같은 신체 측정 데이터를 사용하거나 일상생활의 식사 기록이나 운동량 기록으로 축적된 데이터를 사용한다. 축적된 건강 데이터는 개인이 가진 잠재적인 질병을 예측하거나 식사 또는 운동 패턴의 분석이 가능하다. 식품 영양학 분야에서는 여러 명의 식이 데이터와 건강정보를 설문을 통해 수집하여 입력 데이터에 대한 하나의 가설을 세우고 여러 통계 분석을 통해 가설을 검증하는 방식으로 데이터 분석 실험을 진행한다. 한편, 과학자들의 실험의 편리성을 위한 문제풀이환경에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 식품 영양학적으로 식이 데이터 분석의 효율적인 실험환경을 위한 문제풀이환경을 설계한다. 제안된 문제풀이 환경은 반복적인 실험 단계를 자동화하고 순차적인 작업을 병렬 수행 가능하도록 분산 컴퓨팅 환경에 배치하여 전체 실험의 속도를 높인다.

사용자 수 증대와 초기 대기시간 감소를 위한 비디오 저장 서버의 설계 (Design of a Vido Storage Server that Maximizes Concurrent Streams and Minimizes Initial Latency)

  • 마평수;조창식;진윤숙;신규상
    • 한국정보처리학회논문지
    • /
    • 제6권10호
    • /
    • pp.2608-2617
    • /
    • 1999
  • 동시에 지원할 수 있는 사용자 수의 증대와 초기 대기시간의 감소는 비디오 저장 서버가 상용 서비스에 사용되기 위해서 갖추어야 할 필수적인 요소이다. 본 논문에서는 기존의 스트라이핑 방법에 비하여 각 디스크에서 읽어오는 데이터의 크기가 2배가 될 수 있는 데이터 배치 방법을 제안한다. 이러한 방법은 디스크의 회전 대기시간이 차지하는 비율이 작아지도록 하므로 디스크를 효율적으로 활용하게 되어 사용자 수가 크게 증대되는 성능의 향상을 보인다. 또한 초기 대기시간이 일정 시간을 넘지 않도록 하는 디스크 스케쥴링 방법을 제안하였고, 허용 가능한 초기 대기시간 개념을 도입하여 저장 서버의 순차적인 설계 방법을 제안한다. 구현 사례와 기존의 방법과의 비교를 통하여 제안한 방법의 우수한 성능 향상이 있음을 보인다.

  • PDF

재해예방 모니터링 시스템의 효율적인 데이터 전송을 위한 플래시 메모리의 활용 (Integration of flash memory for effective Weather monitoring system)

  • 유재호;이승철;권태하;정완영
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 춘계학술대회
    • /
    • pp.223-225
    • /
    • 2010
  • 최근 국지적 지형이나 지역에서 급작하게 나타나는 기상현상에 대한 정보의 수집으로 인명피해 및 재난피해를 최소화시키기 위한 재해예방 모니터링 시스템에 대한 연구가 활발하게 진행 중이다. 기존의 재해예방 시스템은 일정한 국지적 장소에 배치되어 재해요소를 무선센서네트워크를 적용하여 베이스 스테이션으로 일정한 시간 간격을 두고 연속적으로 전송함으로써 효율적인 전력에 대한 문제점들이 제기되어 왔다. 본 논문에서는 재해예방 모니터링 시스템의 효율적인 데이터 전송을 위하여 일정 시간 간격으로 측정되는 온도, 습도, 조도 등의 기상데이터들을 센서노드의 플래시 메모리에 순차적이고 신속하게 저장한 후 한 번에 버스트(Burst) 형태로 전송하는 방법을 제시하고, 이를 Telosb 계열의 센서노드에 nesC 언어를 사용한 초소형 무선센서네트워크 플랫폼인 TinyOS로 프로그램 하였다.

  • PDF