• Title/Summary/Keyword: 대용량 정보처리기술

Search Result 554, Processing Time 0.033 seconds

A Method for Generating and Combining Classifiers for Large Scale Data (대용량 문서학습을 위한 분류기 생성 및 결합방법)

  • Jeong, Do-Heon;Hwang, Myung-Gwon;Sung, Won-Kyung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.04a
    • /
    • pp.1551-1554
    • /
    • 2011
  • 대용량 데이터 환경에의 적용이 가능한 대용량 학습기반의 자동범주화 기법과 범용적으로 사용할 수 있는 기법은 대량의 정보를 처리해야하는 정보분석 및 정보서비스 환경에 가장 필요한 기술요소라 할 수 있다. 본 논문에서는 대용량의 문서를 단위 컴포넌트로 분할하여 학습하고 이를 동적으로 결합하는 대용량 분류기 생성 기법을 소개하고 자동범주화 성능을 SVM 모델과 비교하여 봄으로써, 본 기술의 활용 가능성을 살펴보도록 한다.

A Study on the Improvement of Large-Volume Scalable Spatial Data for VWorld Desktop (브이월드 데스크톱을 위한 대용량 공간정보 데이터 지원 방안 연구)

  • Kang, Ji-Hun;Kim, Hyeon-Deok;Kim, Jung-Ok
    • Journal of Cadastre & Land InformatiX
    • /
    • v.45 no.1
    • /
    • pp.169-179
    • /
    • 2015
  • Recently, as the amount of data increases rapidly, the development of IT technology entered the 'Big Data' era, dealing with large-volume of data at once. In the spatial field, a spatial data service technology is required to use that various and big amount of data. In this study, firstly, we explained the technology of typical spatial information data services abroad, and then we have developed large KML data processing techniques those can be applied as KML format to VWorld desktop. The test was conducted using a large KML data in order to verify the development KML partitioned methods and tools. As a result, the index file and the divided files are produced and it was visible in VWorld desktop.

Performance Enhancement of A Massive Scientific Data Visualization System on Virtual Reality Environment by Using Data Locality (Data Locality를 활용한 VR환경에서의 대용량 데이터 가시화 시스템의 성능 개선)

  • Lee, Se-Hoon;Kim, Min-Ah;Lee, Joong-Yeon;Hur, Young-Ju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.284-287
    • /
    • 2012
  • GLOVE(GLObal Virtual reality visualization Environment for scientific simulation)는 컴퓨팅 자원의 성능 향상으로 데이터 양이 급속히 증가한 응용 과학과 전산 시뮬레이션 분야의 대용량 과학 데이터를 효율적으로 가시화하여 분석하기 위한 도구이다. GLOVE의 데이터 관리자인 GDM(GLOVE Data Manager)은 대용량 데이터의 분산 병렬 가시화를 위해 분산 공유 메모리를 제공하는 GA(Global Array)를 이용해 테라 바이트 단위의 데이터를 실시간으로 처리한다. 그러나 대용량 과학 데이터를 가시화 하는 과정에서 기존의 Data Locality를 고려하지 않은 데이터 접근 방식으로 인한 성능 저하를 확인했다. 본 논문은 기존 GLOVE에서 발견한 성능 저하 현상을 밝히고, 이에 대한 해결 방법을 제시한다.

Designing and building a DTN cluster based on massively scalable storage (대용량 스토리지 기반의 데이터 전송 노드 클러스터 설계 및 구축)

  • Hong, Wontaek;An, Dosik;Lee, Jaekook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.63-65
    • /
    • 2020
  • 과학응용분야의 원활한 협업 지원을 위해서는 원거리간 대용량 연구데이터의 고속 전송이 반드시 요구된다. 이와 관련하여, 본 논문은 기 구축된 대용량 파일 시스템을 다수의 데이터 전송 노드(DTN)에 연동하기 위해 필요한 요구사항들을 정리하고, 이에 기반하여 DTN 클러스터를 설계하고 구축한 사례를 제시한다. 추가적으로, 종단간 왕복지연 시간이 약 130ms에 달하는 원거리 종단 포인트와 대용량 실험데이터를 송수신함으로써 구축된 결과물의 전송 성능을 측정하고 확인한다.

A Method to Provide Context from Massive Data Processing in Context-Aware System (상황인지 시스템에서 대용량의 데이터 처리결과를 컨텍스트 정보로 제공하기 위한 방법)

  • Park, Yoo Sang;Choi, Jong Sun;Choi, Jae Young
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.8 no.4
    • /
    • pp.145-152
    • /
    • 2019
  • Unlike a single value from a sensor device, a massive data set has characteristics for various processing aspects; input data may be formed in a different format, the size of input data varies, and the processing time of analyzing input data is not predictable. Therefore, context aware systems may contain complex modules, and these modules can be implemented and used in different ways. In order to solve these problems, we propose a method to handle context information from the result of analyzing massive data. The proposed method considers analysis work as a different type of abstracting context and suggests the way of representing context information. In experiment, we demonstrate how the context processing engine works properly in a couple of steps with healthcare services.

Virtual Workspace on OverlayFS with Filtering layer (필터링 레이어를 추가한 OverlayFS 기반의 가상 워크스페이스)

  • Jin, Duseok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.2-4
    • /
    • 2020
  • 최근 데이터 분석을 위한 연구 환경은 고성능 컴퓨팅자원, 대용량 스토리지, 초고속 네트워크 시스템등 IT 기술이 융합된 사이버 인프라 연구 환경을 기반으로 하고 있다. 또한, 실험의 규모가 커지면서 다수의 연구자들이 협업을 통해 공동의 연구결과를 도출하는 집단연구가 증가하고 있다. 본 논문에서는 이러한 환경에서 연구자들이 대용량 실험데이터를 공유·분석할 수 있는 효율적인 스토리지 작업 공간 모델을 제안한다.

Automatic Protein Function Prediction Through Processing Large-Scale Protein Microenvironment Information (대용량 미세환경 정보처리를 통한 단백질 기능 예측 자동화)

  • Min, Hye-Young;Yoon, Sung-Roh
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.05a
    • /
    • pp.431-432
    • /
    • 2008
  • 정보처리 기술의 발전에 따라 정보기술을 통한 생명과학 문제 해결을 연구하는 생명정보학(bioinformatics) 분야에서도 보다 대용량의 바이오 정보를 처리하게 되었다. 특히 우리 몸을 이루는 핵심 요소인 단백질의 기능 예측 자동화는 다루어야 할 정보량이 매우 방대한 관계로 일찍부터 컴퓨터를 사용한 정보처리 기법이 중요하게 다루어져 왔다. 본 연구에서는 특정 단백질 주변의 미세환경 (microenvironment)에 관한 정보를 수집하고 분석하여 그 기능이 알려진 다른 종류의 단백질 주변의 미세환경과 비교함으로써 기능을 예측하는 방법에 대해 소개한다.

CEP Model Design and Revaluation Using ESPER Engine (ESPER 엔진 기반의 CEP 모델 설계 및 평가)

  • Kim, Hwan;Hwang, Buhyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.1113-1115
    • /
    • 2012
  • IT 기술이 성장함에 따라 발생되는 데이터의 양이 많아지고 기존의 방식으로 처리하기 힘든 빅 데이터가 이슈가 되고 있으며 이에 따른 대용량 데이터 처리기술 또한 발전하고 있다. 이 논문에서는 실시간 대용량 데이터 처리를 위한 Complex Event Processing을 소개하고 ESPER 엔진 기반의 Complex Event Processing 모델을 설계하고 이에 대한 성능을 평가했다.

A Method for Distributed Database Processing with Optimized Communication Cost in Dataflow model (데이터플로우 모델에서 통신비용 최적화를 이용한 분산 데이터베이스 처리 방법)

  • Jun, Byung-Uk
    • Journal of Internet Computing and Services
    • /
    • v.8 no.1
    • /
    • pp.133-142
    • /
    • 2007
  • Large database processing is one of the most important technique in the information society, Since most large database is regionally distributed, the distributed database processing has been brought into relief. Communications and data compressions are the basic technologies for large database processing. In order to maximize those technologies, the execution time for the task, the size of data, and communication time between processors should be considered. In this paper, the dataflow scheme and vertically layered allocation algorithm have been used to optimize the distributed large database processing. The basic concept of this method is rearrangement of processes considering the communication time between processors. The paper also introduces measurement model of the execution time, the size of output data, and the communication time in order to implement the proposed scheme.

  • PDF

An Efficient Graph Cycle Detection Technique based on Pregel (프리겔 기반의 효율적인 그래프 순환 검출 기법)

  • Kim, Taeyeon;Kim, Hyunwook;Park, Kisung;Lee, Young-Koo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.152-154
    • /
    • 2013
  • 페타 바이트 이상의 규모의 빅 데이터 분석은 다양한 분야에서 연구되고 있다. 최근 소셜 네트워크, XML 등과 같은 구조적인 정보를 갖는 대용량의 그래프들을 분석하는 기술이 활발히 연구되고 있다. 이러한 대용량의 그래프를 분석하기 위한 연산중의 하나로 순환 그래프가 사용되고 있다. 대용량의 그래프 환경에서 순환을 검출하는 연산은 단일 컴퓨팅 시스템에서 처리가 불가능하거나 많은 시간 비용이 발생하여 분산처리가 필요하다. 본 논문에서는 그래프 처리에 효율적인 프리겔 프레임워크를 이용하여 효율적으로 순환을 검출하고, 중복 순환을 제거하기 위해 정규 순환 코드를 제안한다. 실험을 통하여 제안하는 기법이 대용량 그래프에서 효율적으로 순환을 찾을 수 있음을 보인다.