• 제목/요약/키워드: 대용량 자료 집합

검색결과 16건 처리시간 0.018초

대용량 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법 (Approximate Top-k Subgraph Matching Scheme Considering Data Reuse in Large Graph Stream Environments)

  • 최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제20권8호
    • /
    • pp.42-53
    • /
    • 2020
  • 소셜 네트워크 서비스의 발전과 함께 다양한 응용에서 객체 간의 관계를 표현하기 위한 그래프 자료구조가 자주 활용되고 있다. 최근에는 실시간 그래프 스트림에서 서브 그래프 매칭의 요구가 늘어나고 있다. 따라서 실시간 그래프 스트림에서 높은 응답성을 위한 효율적인 근사 Top-k 매칭 기술이 필요하다. 본 논문에서는 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법을 제안한다. 제안하는 기법은 대용량 스트림을 효율적으로 처리하기 위해서 기존 분산 스트림 처리 플랫폼인 스톰을 활용하고 스트림 처리 비용을 감소시키기 위한 기존 데이터 재사용 방법을 활용한다. Top-k 결과 생성을 위해서 거리 기반의 요약 색인 기법을 제안한다. 제안하는 요약 색인은 사전에 선택된 정점 간의 거리 값만을 저장하기 때문에 색인의 부하가 적다. 제안하는 요약 색인에서의 근사 Top-k를 수행하여 사용자에게 근사한 k개의 결과를 제공한다. 제안하는 기법의 우수성을 입증하기 위해 다양한 실세계 그래프 데이터 집합에서의 성능 평가를 수행한다.

대용량 소스코드 시각화기법 연구 (Visualization Techniques for Massive Source Code)

  • 서동수
    • 컴퓨터교육학회논문지
    • /
    • 제18권4호
    • /
    • pp.63-70
    • /
    • 2015
  • 프로그램 소스코드는 텍스트를 기반으로 하는 정보이며 동시에 논리 구조를 포함하고 있는 복잡한 구문의 집합체이다. 특히 소스코드의 규모가 수만 라인에 이르는 경우 구조적, 논리적인 복잡함으로 인해 기존의 빅데이터 시각화 기법이 잘 적용되기 힘들다는 문제가 발생한다. 본 논문은 소스코드가 갖는 구조적인 특징을 시각화하는데 있어 필요한 절차를 제안한다. 이를 위해 본 논문은 파싱 과정을 거쳐 생성된 추상구문트리를 대상으로 프로그램의 구조특징을 표현하기 위한 자료형의 정의, 함수간 호출관계를 표현한다. 이들 정보를 바탕으로 제어 정보를 네트워크 형태로 시각화함으로써 모듈의 구조적인 특징을 개괄적으로 살펴볼 수 있는 방법을 제시한다. 본 연구의 결과는 대규모 소프트웨어의 구조적 특징을 이해하거나 변경을 관리하는 효과적인 수단으로 활용할 수 있다.

빈발 패턴 네트워크에서 아이템 클러스터링을 통한 연관규칙 발견 (Discovering Association Rules using Item Clustering on Frequent Pattern Network)

  • 오경진;정진국;하인애;조근식
    • 지능정보연구
    • /
    • 제14권1호
    • /
    • pp.1-17
    • /
    • 2008
  • 데이터 마이닝은 대용량의 데이터에 숨겨진 의미있고 유용한 패턴과 상관관계를 추출하여 의사결정에 활용하는 작업이다. 그 중에서도 고객 트랜잭션의 데이터베이스에서 아이템(item) 사이에 존재하는 연관규칙을 찾는 것은 중요한 일이 되었다. Apriori 알고리즘 이후 연관규칙을 찾기 위해 대용량의 데이터베이스로부터 압축된 의미있는 정보를 저장하기 위한 데이터 구조와 알고리즘들이 많이 제안되어 왔다. 연관규칙을 발견하기 위한 기존의 연구들은 모든 규칙을 찾아내지만, 사람이 분석하기에 너무 많은 규칙이 생성되기 때문에 규칙을 분석하기 위한 일 또한 많은 과정을 거쳐야 한다. 본 논문에서는 빈발 패턴 네트워크(Frequent Pattern Network)라 부르는 자료 구조를 제안하고 이를 활용하였다. 네트워크는 정점과 간선으로 구성되며 정점은 아이템을 표현하고, 간선은 두 아이템 집합을 표현한다. 아이템의 빈도수를 이용하여 빈발 패턴 네트워크를 구성하고, 아이템 사이의 유사도를 측정한다. 그리고 클러스터 내의 아이템과는 유사도가 높고, 다른 클러스터의 아이템과는 유사도가 낮도록 클러스터를 생성한다. 클러스터를 이용해 연관규칙을 생성하고 실험을 통해 Apriori와 FP Growth 알고리즘과의 성능을 비교를 하였다. 그 결과 빈발 패턴 네트워크에서 신뢰도 유사도를 이용하는 것이 클러스터의 정확성을 높여줌을 볼 수 있었다. 그리고 전통적인 방법과 비교를 통해 빈발 패턴 네트워크를 이용하는 것이 최소지지도에 유연성을 가짐을 알 수 있었다.

  • PDF

스트리밍 서버를 위한 멀티미디어 파일 시스템 최적화 (Optimizing a Multimedia File System for Streaming Severs)

  • 박진연;김두한;원유집;류연승
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제31권5_6호
    • /
    • pp.268-278
    • /
    • 2004
  • 전통적인 텍스트기반의 입출력과 달리, 멀티미디어 자료의 재생은 저장장치에서 일정한 대역폭을 보장을 필요로 한다. 대용량 서버에서 가장 많이 사용되는 유닉스 계열의 파일 시스템은 대역폭 보장이 필요하고, 순차적 접근특성을 가지고 있는 멀티미디어 자료 재생에 많은 개선의 여지를 가지고 있는 것이 사실이다. 본 논문에서는 유닉스 계열 파일 시스템의 단점을 극복하고 동영상 실시간 재생에 적합한 파일 시스템 구조를 연구 개발한 결과를 기술하고자 한다. 본 파일 시스템은 세 가지 설계 목표를 가지고 개발되었다. 첫 번째는 순차적 접근 부하에 대한 효과적 지원이다. 순차적 접근 특성을 효과적으로 지원하기 위해서는 트리기반의 데이타 블록구성이 아닌 연결리스트기반의 데이타 블록 구성방식을 채택한다. 두 번째는 파일 단편화 방지이다. 순차적 읽기에 있어서 과도한 디스크 탐색(Seek) 작업은 디스크의 효율성에 부정적인 영향을 미친다. 이를 효과적으로 극복하기 위하여 파일은 데이타 유닛 그룹(Data Unit Group)이라 불리는 단위의 집합으로 구성되며, 데이타 유닛 그룹은 연결리스트를 이용하여 구성되었다. 세 번째는 논리적 유닛에 기반한 파일 접근방식의 지원이다. 멀티미디어 파일은 비디오 프레임이나 오디오 샘플들의 집합으로 구성되어 있으며, 이들은 각기 다른 크기를 가지고 띤다. 따라서, 이들에 대한 임의접근 (Random Access)를 지원하기 위해서 각 논리적 유닛의 위치를 나타내는 인덱스를 파일 메타구조에 포함하였다. 이 부분은 트리구조를 이용하여 구성한 것이다. 실험을 통해서 파일 시스템의 성능을 리눅스 기반의 EXT2 파일 시스템, SGI 사에서 개발한 XFS 파일 시스템과 비교하였으며, 본 논문에서 제안하는 파일 시스템이 기존 리눅스 기반의 EXT2 그리고 SGI 사의 XFS 파일 시스템 보다 더 우수한 성능을 나타내는 것으로 입증되었다.

이중구간중도절단된 생존자료의 생존함수 비교를 위한 검정: 한국인 암 예방연구 중 당뇨병에의 응용 (Comparing Survival Functions with Doubly Interval-Censored Data: An Application to Diabetes Surveyed by Korean Cancer Prevention Study)

  • 지선하;남정모;김진흠
    • 응용통계연구
    • /
    • 제22권3호
    • /
    • pp.595-606
    • /
    • 2009
  • 이중구간중도절단된 자료의 생존함수를 비교하기 위한 두 검정법을 소개하고 한국인 암 예방연구 (Jee 등, 2005) 자료에 적용하여 당뇨병 잠복시간의 분포를 성별과 연령에 따라 비교하였다. Kim 등 (2006)의 검정법을 이중구간중도절단된 자료로 확장한 검정법은 위험집합의 크기에만 의존하는 가중값을 사용하기 때문에 대용량 자료의 분석에서 Sun (2006)의 검정법보다 계산 시간을 대폭 줄일 수 있으며, 이산형 생존자료뿐만 아니라 연속형 생존자료에도 적용가능한 장점이 있다. 당뇨병의 잠복시간이 성별에 따라 매우 유의하게 달랐으며 여자의 잠복시간이 남자보다 긴 것으로 나타났다. 4개 연령그룹 간 당뇨병의 잠복시간도 성별에 관계 없이 매우 유의하게 달랐으며 여자의 경우가 남자의 경우보다 그 차이가 훨씬 더 유의했다. 한편, 소표본 모의실험을 통해 제안한 검정법과 Sun (2006)의 검정법의 검정력을 비교하였으며 제안한 검정법의 검정력이 Sun (2006)의 검정법보다 더 좋은 것으로 나타났다.

인체 바이오모니터링 지식 모델링 및 데이터베이스 구축 (Knowledge Modeling and Database Construction for Human Biomonitoring Data)

  • 이장우;양세희;이헌주
    • 한국식품위생안전성학회지
    • /
    • 제35권6호
    • /
    • pp.607-617
    • /
    • 2020
  • 인체 바이오모니터링(Human biomonitoring, HBM) 데이터는 뇨와 혈액 등 생체지표으로부터 환경유해물질의 측정을 통해 획득되며, 다양한 노출원과 경로로부터 노출되는 유해물질의 인체노출수준 및 건강영향과의 상관성을 파악하기 위해 매우 중요하다. 국내의 경우 식품의약품안전처를 비롯한 국가기관의 다양한 HBM 프로그램을 통하여 HBM 데이터가 생산되고 있다. 그러나, 목적, 시기, 연구자 및 측정 장비의 차이에 의하여 서로 다른 형식에 따라 생산되다 보니, 데이터의 호환성의 문제로 인하여 특정 HBM 데이터를 신속하게 조회해야 하거나 인구집단별 시간적 추이분석 내지는 다른 국가의 자료와 비교에 난점을 가지고 있다. 따라서, 본 연구에서는 HBM 데이터를 체계적으로 데이터베이스(Database, DB)화하고 활용성을 증진하게 시킬 목적으로 지식 모델링을 실시하였다. 지식 모델링은 HBM 데이터의 생산되는 변수들을 그룹화하고 관계를 분석하여 2차원 구조의 개체 및 집합론에 기초한 방법론인 관계형 데이터 모델링 기법을 활용하여 실시하였다. 지식모델은 조사대상자를 인구집단으로 중심으로 설문자료, 측정자료, 노출 평가자료 개체로 구성하고 그 안에 속성들을 정의하고, 개체간에 관계를 설정하는 방식으로 구성하였다. 또한, 도출된 지식 모델을 기반으로 식품의약품안전처에서 2006년-2018년까지 수행한 HBM의 원시데이터를 수집, 정제 및 정규화하여 통합 DB를 구축하였다. 이와 같이 통합된 HBM-DB는 개별 자료원 내지는 특정 자료원들을 선택하여 기간별 농도 수준에 대한 통계분석은 물론, 다양한 검색조건을 통하여 데이터 추출을 할 수 있는 구조로 구축하였다. 본 HBM-DB는 관계형 DB모델로 구축되어 지속적인 대용량 DB 축적이나 HBM 데이터 해석을 위한 도구로써 효율적으로 수행할 수 있을 것으로 생각된다.