• 제목/요약/키워드: 빅데이터 기법

검색결과 785건 처리시간 0.033초

최근접 이웃 탐색 기반의 향상된 스카이라인 질의를 위한 전처리 기법 (Nearest Neighbor-based Pre-processing Scheme for Advanced Skyline Query)

  • 김지현;이상민;전형준;진창균;김지윤;권진영;김종완;오덕신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.420-423
    • /
    • 2020
  • 스카이라인 질의는 객체의 속성을 기준으로 사용자의 선호에 적합한 대상을 탐색하는 기법이다. 기존 스카이라인 질의는 일괄처리 방식으로 탐색 결과를 반환하지만 대화형 앱이나 모바일 환경과 같이 잦은 위치이동 발생 시 일괄처리 방식으로 스카이라인 질의 결과를 신속하게 받기 어렵다. 최근접 이웃(Nearest Neighbor) 알고리즘은 사용자와 상호 작용이 필요한 대화형 앱에서 실시간으로 선호 객체를 탐색하여 사용자에게 전달함으로써 객체의 반환 속도를 향상시켰다. 그러나 최근접 이웃 알고리즘은 객체 탐색 과정에서 반복적인 비교 연산을 수행하여 불필요한 탐색 시간이 소요된다. 본 논문은 대화형 앱에서 신속한 스카이라인 결과를 산출하고자 연산 대상 객체의 범위를 축소함으로써 최근접 이웃 스카이라인 질의 알고리즘의 성능을 향상시킨 전처리 기법을 제안한다. 데이터 객체는 최대 40,000 개의 실험에서 제안 기법은 최근접 이웃 알고리즘보다 50% 빠른 성능을 나타내어 본 연구의 가용성이 증명되었다.

차세대 클라우드 저장 시스템을 위한 소실 복구 코딩 기법 동향

  • 김정현;박진수;박기현;남미영;송홍엽
    • 정보와 통신
    • /
    • 제31권2호
    • /
    • pp.105-111
    • /
    • 2014
  • 클라우드 컴퓨팅과 빅데이터 시대의 개막으로 클라우드에 저장되는 데이터가 급속도로 증가함에 따라 최근 클라우드 컴퓨팅의 주요한 요소로 클라우드 저장 시스템이 주목받고 있다. 클라우드 저장 시스템은 크게 두 가지 목적에 의해 동작한다. 첫 번째는 사용자에게 데이터를 소실 없이 정확하게 전달해주는 것이고, 두 번째는 네트워크 상에서 소실된 데이터를 복구해 내는 것이다. 데이터 소실은 분산 노드 내 장비의 결함, 소프트웨어 업데이트 등과 같은 요인에 의해 발생하는데, 이와 같은 데이터 소실에 대응하기 위해 소실 복구 코딩 기법을 사용한다. 본 고에서는 클라우드 저장 시스템의 요구사항들을 토대로 현재 클라우드 저장 시스템에 사용되는 다양한 코딩 기법을 살펴보고 차세대 클라우드 저장 시스템을 위한 코딩 기법에 대해 논의해본다.

분산 파일시스템 청크서버 로드밸런싱 기법 비교분석 및 제안 (Analysis of chunk server load balancing and suggest an efficient technique on Distributed FileSystem)

  • 최규필;이세호;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.115-117
    • /
    • 2013
  • 빅데이터 시대가 도래하고 네트워크가 발달함에 따라 다수의 클라이언트와 서버가 통신하며 사용하는 데이터량이 급증하고 있다. 과도한 데이터 부하를 해결하는 방법 중 여러 서버로 부하를 분산하는 기법을 로드밸런싱이라고 하며 이 기법에 따라 데이터가 서버에 분산되는 방식이 달라진다. 본 논문에서는 현재 사용중인 다양한 로드밸런싱 기법에 대해 분석하고 보다 효율적인 기법을 제안한다. 그리고 오픈소스 기반의 분산 파일 시스템 중 하나인 Moose File System에 제안한 기법을 적용한 경우의 효과에 대해 논의한다.

대용량 그래프에서 k-차수 인덱스 테이블을 이용한 RDBMS 기반의 효율적인 최단 경로 탐색 기법 (RDBMS based Efficient Method for Shortest Path Searching over Large Graphs using K-degree Index Table)

  • 홍지혜;한용구;이영구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1186-1188
    • /
    • 2013
  • 최근 소셜 네트워크의 등장과 기술의 발달로 인해 빅 데이터가 등장하였다. 특히, 소셜 네트워크나 웹 데이터 등과 같은 빅 데이터를 이용하는 애플리케이션이 많아지고 있다. 이러한 그래프 데이터는 크기가 매우 방대하여 인-메모리 기법을 통해 연산하기 어렵다. 최근 대용량 그래프 상에서 효율적인 최단 경로 탐색을 위해 부분 최단 경로를 저장하는 인덱스 테이블을 활용한 기법이 제안되었으나, 인덱스 참조율을 고려하지 않아 비효율적이다. 본 논문에서는 인덱스 참조율이 높은 노드의 차수를 이용한 k-차수 인덱스 테이블을 이용한 효율적인 최단 경로 탐색 기법을 제안한다. 실험을 통하여 제안하는 기법이 거리 기반 인덱스를 이용한 기존의 기법에 비해 약 12% 정도 성능이 향상됨을 보였다.

크라우드 소싱 기반의 지역 교통 이벤트 검출 기법 (Crowdsourcing based Local Traffic Event Detection Scheme)

  • 김윤아;최도진;임종태;김상혁;김종훈;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제22권4호
    • /
    • pp.83-93
    • /
    • 2022
  • 운전자가 모바일기기를 사용하여 직접 교통 정보를 제공하는 크라우드 소싱을 활용하여 교통 문제를 해결하려는 연구들이 진행 중이다. 크라우드 소싱을 통해 수집된 데이터를 교통 이벤트 검출에 사용한다면 관련된 데이터를 수집하는 작업이 줄어들어 시간 비용이 낮아지고 정확도는 높아지는 장점이 있다. 본 논문에서는 크라우드 소싱을 활용하여 교통과 관련된 데이터를 수집하고, 이를 통해 교통에 영향을 미치는 이벤트를 검출하는 기법을 제안한다. 제안하는 기법은 대용량 데이터 처리를 위해 기계 학습 알고리즘을 사용하여 수집된 데이터의 이벤트 유형을 판별한다. 또한, 이벤트가 발생된 위치를 추출하기 위하여 수집된 데이터에서 위치를 나타내는 키워드를 추출하고 키워드의 행정구역을 반환한다. 이를 통해 기존 제공되는 위치 정보에서 광범위하게 정의된 위치나 잘못된 위치 정보를 해결할 수 있다. 제안하는 기법의 타당성을 입증하기 위해 다양한 성능 평가를 수행한다.

MongoDB에 대한 디지털 포렌식 조사 기법 연구 (Digital forensic investigation of MongoDB)

  • 윤종성;정두원;이상진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.658-661
    • /
    • 2013
  • 최근 데이터의 대용량화와 급격한 증가로 인해 빅데이터 처리를 위한 NoSQL DBMS 사용이 증가하고 있다. 그러나 기존 관계형 DBMS에 비해 NoSQL DBMS에 대한 포렌식 조사 기법에 대한 연구는 거의 없는 실적이다. 따라서, 본 논문에서는 NoSQL DBMS 중 가장 활발히 사용되고 있는 MongoDB에 대한 디지털 포렌식 조사 절차와 기법에 대해 연구하였다.

재난 관련도에 기반한 소셜 빅데이터에서의 재난이슈 탐지 모델 (The Sensing Model of Disaster Issues based on Relevance to Disaster from Social Big Data)

  • 최선화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.829-832
    • /
    • 2014
  • 최근 사람 간 소통채널인 소셜미디어는 매스미디어 중심의 정보유통의 흐름을 바꿔놓으며 기업, 공공기관 등에서 가치를 찾는 핵심자원으로 관심을 받고 있다. 재난관리도 기존의 정부중심 대응에서 벗어나 소셜미디어, 즉 소셜 빅데이터를 활용한 국민 참여형 재난관리의 필요성이 대두되고 있다. 본 논문에서는 재난관리를 위해 실시간 소셜 빅데이터를 모니터링하는 시스템인 국립재난안전연구원의 소셜 빅보드(Social Big Board)를 소개하고, 이 시스템의 재난이슈 탐지의 정확성 향상을 위해 새롭게 개발된 재난유형별 관련도에 기반한 재난이슈 탐지기법을 설명하며 실험 및 평가결과를 제시하고자 한다.

차륜 및 차축베어링 고장진단을 위한 빅데이터 기반 머신러닝 기법 연구 (A Study of Big data-based Machine Learning Techniques for Wheel and Bearing Fault Diagnosis)

  • 정훈;박문성
    • 한국산학기술학회논문지
    • /
    • 제19권1호
    • /
    • pp.75-84
    • /
    • 2018
  • 본 철도 유지보수 산업의 효율화를 위해서는 핵심부품의 적시 관리를 통한 부품 가동률 향상 및 철도 운행의 안정성 향상이 필요하다. 또한 유지보수 시스템 고속화에 따른 신뢰성 향상과 핵심부품의 유지보수 비용 절감의 두 가지 측면을 모두 만족시키기 위해, 부품 이력관리와 대규모 빅데이터의 자동화된 분석 기술을 활용한 부품 상태 진단 기술 수요가 증가하고 있다. 이 논문에서는 철도차량의 차상 및 지상 장치로부터 발생되는 실시간 빅데이터 수집, 처리, 분석을 위해서 빅데이터 플랫폼 기반의 철도차량 부품의 상태 데이터 관리시스템을 개발하였으며, 이 시스템의 활용으로 철도차량의 부품 상태정보 및 시스템 리소스에 대한 실시간 모니터링이 가능하다. 또한 빅데이터 플랫폼으로부터 수집된 상태 데이터를 기반으로 분산/병렬처리 및 자동화된 부품 고장진단이 가능한 머신러닝 기법을 제안하였다. 실험결과, 분산/병렬처리 기술이 적용된 알고리즘의 실행시간 단축을 아마존 웹서비스의 가상 인스턴스 생성 시스템을 통해 증명하였으며, random forest 머신러닝 기법을 활용한 고장 진단 모델의 베어링 및 차륜 부품에 대한 상태 예측 정확도가 83%임을 확인하였다.

클라우드 환경에서의 효율적인 빅 데이터 처리를 위한 로그 데이터 수집 아키텍처 (An Efficient Log Data Management Architecture for Big Data Processing in Cloud Computing Environments)

  • 김주리;반효경
    • 한국인터넷방송통신학회논문지
    • /
    • 제13권2호
    • /
    • pp.1-7
    • /
    • 2013
  • 최근 빅 데이터 관리가 정보기술 분야의 학계와 업계에서 중요한 이슈로 떠오르고 있다. 빅 데이터 중 소프트웨어 시스템에서 필연적으로 생성되는 대표적인 유형 중 하나가 로그 데이터이다. 로그 데이터는 서비스 제공자가 더 나은 서비스를 제공하고 소프트웨어의 품질을 향상시키기 위해 필요하다. 따라서 적절한 방법으로 로그 데이터를 수집하고 이를 분석할 수 있는 인프라 환경을 구축하는 것은 매우 중요하다. 본 논문은 로그 데이터에 특화된 새로운 빅 데이터 관리 기법을 제안한다. 제안하는 기법은 다수의 클라이언트 어플리케이션에서 생성되는 로그 데이터를 네트워크를 통해 전송하고 이를 실시간으로 저장한 후 분석할 수 있는 아키텍처를 제공한다. 해당 아키텍처는 서버-클라이언트 환경에서 로그의 비동기적인 처리를 지원하여 원격 로깅임에도 불구하고 데이터 처리의 병목 현상이나 클라이언트의 성능 저하를 발생시키지 않는다. 제안하는 기법을 실제 시스템에 구현하고 실측한 결과 확장성 있는 로그 데이터 관리가 이루어짐을 확인하였다. 특히, 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 개발 프로토타입 또한 오픈소스 소프트웨어 형태로 공개하여 누구나 사용할 수 있도록 하였다.