• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.05a
• /
• pp.694-697
• /
• 2008

디지털 기술의 발전과 디지털 캠코더와 같은 장비의 대중화로 인하여, 오늘날 누구나 쉽게 영상물을 촬영하고 디지털화 하여 저장할 수 있다. 특히 이런 장비들이 제공하는 고화질의 미디어 컨텐츠는 대용량 파일의 형태로 저장된다. 대용량 파일의 필요한 부분만을 편집하여 재 저장하기 위해서는 새로운 기법이 요구된다. 현재의 리눅스 시스템에서는 편집된 파일의 내용을 새롭게 저장하는 방법을 사용하는데 미디어 컨텐츠와 같은 대용량 파일의 경우 많은 디스크 대역폭과 시간을 요구한다. 본 논문에서는 아이노드 블록 포인터 재설정 기법과 데이터 블록 공유 기법을 사용하여 대용량 파일에서 필요한 부분을 빠르고 효율적으로 편집하여 저장 및 복제할 수 있는 방법을 제시한다. 시뮬레이션을 통해 편집하여 저장할 시 리눅스 Ext3 파일 시스템에 비해 최대 16배 시간 단축을 확인하였다. 또한 편집한 내용을 새로운 파일로 저장할 경우 제안 기법은 공유 데이터 블록을 사용하므로 실제 사용하는 디스크 공간용량은 원본 동영상 파일의 크기만큼만 사용한다.

• Journal of Korea Spatial Information System Society
• /
• v.10 no.2
• /
• pp.1-12
• /
• 2008

Automatic semiconductor manufacture system generating transaction from 50,000 to 500,000 per a second needs storage management system processing very large data at once. A lot of storage management systems are researched for storing very large data. Existing storage management system is typical DBMS on a disk. It is difficult that the DBMS on a disk processes the 500,000 number of insert transaction per a second. So, the DBMS on main memory appeared to use memory. But it is difficultthat very large data stores into the DBMS on a memory because of limited amount of memory. In this paper we propose storage management system using insert transaction of a block unit that can process insert transaction over 50,000 and store data on low storage cost. A transaction of a block unit can decrease cost for a log and index per each tuple as transforming a transaction of a tuple unit to a block unit. Besides, the proposed system come cost to decompress all block of data because the information of each field be loss. To solve the problems, the proposed system generates the index of each compressed block to prevent reducing speed for searching. The proposed system can store very large data generated in semiconductor system and reduce storage cost.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.23 no.11
• /
• pp.1330-1336
• /
• 2019

As the Fourth Industrial Revolution era began, a variety of devices are running on the cloud. These various devices continue to generate various types of data or large amounts of multimedia data. To handle this situation, a large amount of storage is required, and big data technology is required to process stored data and obtain accurate information. NAS (Network Attached Storage) or SAN (Storage Area Network) technology is typically used to build high-speed, high-capacity storage in a network-based environment. In this paper, we propose a method to construct a mass storage device using Network-DAS which is an extension technology of DAS (Direct Attached Storage). Benchmark experiments were performed to verify the scalability of the storage system with 76 HDD. Experimental results show that the proposed high performance mass storage system is scalable and reliable.

• KIPS Transactions on Software and Data Engineering
• /
• v.5 no.11
• /
• pp.521-526
• /
• 2016

As on-line informal text data have massive in its volume and have unstructured characteristics in nature, there are limitations in applying traditional relational data model technologies for data storage and data analysis jobs. Moreover, using dynamically generating massive social data, social user's real-time reaction analysis tasks is hard to accomplish. In the paper, to capture easily the semantics of massive and informal on-line documents with unsupervised learning mechanism, we design and implement automatic topic extraction systems according to the mass of the words that consists a document. The input data set to the proposed system are generated first, using N-gram algorithm to build multiple words to capture the meaning of the sentences precisely, and Hadoop and Spark (In-memory distributed computing framework) are adopted to run topic model. In the experiment phases, TB level input data are processed for data preprocessing and proposed topic extraction steps are applied. We conclude that the proposed system shows good performance in extracting meaningful topics in time as the intermediate results come from main memories directly instead of an HDD reading.

• Proceedings of the Optical Society of Korea Conference
• /
• 2000.02a
• /
• pp.60-61
• /
• 2000

홀로그래픽 데이터 저장 장치(holographic data storage)는 1960년대에 이미 아이디어가 출현하였고, 1990년대에 들어서 SLM(spatial light modulator)과 CCD(charge coupled device) 등 관련 기술의 발달과 함께 향후 늘어날 대용량 저장 장치 시장에 대한 전망 등에 힘입어 주목받기 시작하였다. 홀로그래픽 데이터 저장 장치의 중요한 장점은 대용량의 정보를 고속으로 처리할 수 있고, 특히 페이지 단위로는 병렬 접근이 가능하다는 것인데, 이를 위해서 반드시 해결되어야 할 것이 픽셀 매치(pixel-match)이다. (중략)

• Proceedings of the Korean Society of Precision Engineering Conference
• /
• 2004.05a
• /
• pp.307-307
• /
• 2004

본 논문에서는 3차원 스캔기기에서 실제 모델을 측정하여 얻어지는 점 데이터로부터 모델의 표면을 생성하는 알고리즘을 제안한다. 3차원 스캔기기가 정밀해지고 스캔 규모도 커짐에 따라 측정 데이터의 크기도 증가되어, 이러한 대용량 측정 데이터의 복원 알고리즘이 필요로 되고 있다. 그리고 여러 다른 각도에서 스캔닝 된 점 데이터들은 이어지는 부분이 정확히 맞지 않아 중첩되어 표현되거나 기계적인 또는 환경적인 제약 등의 이유로 오류가 포함될 수도 있다. 그러므로 복원 알고리즘은 이러한 중첩된 표현을 정리하고 오류를 보정해 주어야 한다.(중략)

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.05c
• /
• pp.49-53
• /
• 2002

본 논문은 광학 현미경으로 관찰된 데이터들을 분산 시스템이나 병렬 시스템에 구현한 소프트웨어 시스템의 설계에 대한 것으로, 이 시스템이 처리하는 데이터들이 대용량이라는 특성과 함께 다중 해상도의 특성을 갖는다. 본 시스템은 고객/서버 모델을 기반으로 하였으며, 대용량 데이터 처리시 성능에 중요한 디스크 입출력의 대역폭을 높이기 위해 힐버트 곡선 기반의 분산 알고리즘을 적용하였다. 서버부는 조정자 노드와 서비스 노드로 구성되며, 시스템의 제 구성 요소들간에는 정해진 통신 규약에 따라 메시지를 주고 받고, 상호 독립적이다. 이 시스템은 의학 교육, 원격 병리, 가상 학술 회의 등에 응용될 때 활용 가치가 높을 것으로 기대된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.1113-1115
• /
• 2012

IT 기술이 성장함에 따라 발생되는 데이터의 양이 많아지고 기존의 방식으로 처리하기 힘든 빅 데이터가 이슈가 되고 있으며 이에 따른 대용량 데이터 처리기술 또한 발전하고 있다. 이 논문에서는 실시간 대용량 데이터 처리를 위한 Complex Event Processing을 소개하고 ESPER 엔진 기반의 Complex Event Processing 모델을 설계하고 이에 대한 성능을 평가했다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.652-654
• /
• 2004

PC 그래픽스 하드웨어의 급격한 발전에 따라 과거 슈퍼컴퓨터 급에서나 가능하였던 대용량 데이터의 볼륨 렌더링을 일반 PC에서 수행하려는 시도가 계속되고 있다. 특히, PC 그래픽스 하드웨어의 꼭지점 및 픽셀 쉐이더는 기존의 고정된 그래픽스 파이프라인에서 벗어나 사용자가 렌더링 과정에 개입하여 프로그래밍을 할 수 있도록 하여 많은 각광을 받고 있다. 그러나 그래픽스 하드웨어의 텍스쳐 메모리의 크기보다 큰 볼륨 데이터의 가시화는 아직까지 충분히 빠르지 못하며 텍스쳐의 압축으로 인하여 영상 품질도 좋지 못하다. 본 논문에서는 이러한 그래픽스 하드웨어의 프로그래밍 기능 중 꼭지점 좌표 및 텍스쳐 좌프의 조작, 그리고 픽셀 쉐이더를 통한 퐁 쉐이딩 연산을 이용하여 그래픽스 하드웨어의 메모리 크기보다 큰 대용량 볼륨 데이터를 고품질로 가시화하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.81-86
• /
• 2007

RFID 미들웨어는 응용 서비스를 담당하는 어플리케이션이 등록한 비즈니스 이벤트를 빠르게 검출하여 이를 실시간적으로 전달할 수 있어야 한다. RFID 스트림 데이터는 대용량으로 발생되지만 어플리케이션에서 요구하는 비즈니스 이벤트를 항상 만족시키지는 못한다. 이에 따라, 미들웨어는 불필요한 이벤트를 처리하기 위해 많은 시간을 소요할 뿐만 아니라 대용량의 RFID 스트림 데이터를 정해진 시간 내에 처리하지 못하는 문제점이 발생한다. 이 논문에서는 대용량의 스트림 데이터에서 발생한 모든 이벤트를 처리하지 않고 어플리케이션이 등록한 비즈니스 이벤트를 구성하는 최소 조건을 만족하는 후보 집합을 찾는 연산을 제안한다. 이를 통해 후보 집합이 추출되면 실제 비교 연산을 통하여 조건을 만족하는 비즈니스 이벤트를 찾아내고 어플리케이션에 전달한다. 또한, 비트맵으로 이벤트의 발생을 표시를 하고 이 비트맵을 이용하여 실제 비즈니스 이벤트를 검출하는 기법을 제공한다.