• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권8호
• /
• pp.3182-3202
• /
• 2015

Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1342-1359
• /
• 2021

The data deduplication technique identifies the duplicates and minimizes the redundant storage data in the backup server. The chunk level deduplication plays a significant role in detecting the appropriate chunk boundaries, which solves the challenges such as minimum throughput and maximum chunk size variance in the data stream. To provide the solution, we propose a new chunking algorithm called Dynamic Prime Chunking (DPC). The main goal of DPC is to dynamically change the window size within the prime value based on the minimum and maximum chunk size. According to the result, DPC provides high throughput and avoid significant chunk variance in the deduplication system. The implementation and experimental evaluation have been performed on the multimedia and operating system datasets. DPC has been compared with existing algorithms such as Rabin, TTTD, MAXP, and AE. Chunk Count, Chunking time, throughput, processing time, Bytes Saved per Second (BSPS) and Deduplication Elimination Ratio (DER) are the performance metrics analyzed in our work. Based on the analysis of the results, it is found that throughput and BSPS have improved. Firstly, DPC quantitatively improves throughput performance by more than 21% than AE. Secondly, BSPS increases a maximum of 11% than the existing AE algorithm. Due to the above reason, our algorithm minimizes the total processing time and achieves higher deduplication efficiency compared with the existing Content Defined Chunking (CDC) algorithms.

• 한국산업정보학회:학술대회논문집
• /
• 한국산업정보학회 2002년도 추계공동학술대회
• /
• pp.425-432
• /
• 2002

본 연구는 KISTI 지식관리시스템 구축시 고려해야 할 시스템특성들의 우선순위를 제시함으로써 현재 구축해서 사용 중이거나 향후 구축 예정인 KISTI 지식관리시스템 구축에 기여하고자 하였다. 연구를 위해 기존의 문헌들에서 지식관리시스템의 시스템특성을 가져왔고, 이러한 시스템특성들을 기초로 해서 KISTI 과학기술 지식정보 콘텐트 전문가들을 대상으로 한 Delphi 설문조사를 하였다. 연구결과 검색기능 저장기능 접근성, 편의성, 분류기능 등과 같은 지식관리시스템의 기본 특성들은 우선순위가 높게 부여되었고, 지식원천통합, 지식평가, 개인화, 커뮤니케이션지원, 멀티미디어 수용 등과 같은 지식관리시스템의 부가적인 특성들은 우선순위가 낮은 것으로 나타났다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제9권1호
• /
• pp.179-187
• /
• 2019

소형 컴퓨팅 기기의 최근 발달과 더불어, 사물인터넷 기반 센서 네트워크가 광범위로 확산되고 있으며, 이제는 저렴한 비용으로 센서 연산 기능과 통신 기능을 사용가능하게 되었다. 센서 데이터 관리는 사물 인터넷 환경에서 주요한 요소이다. 센싱 장비로부터 발생되고 전파되는 엄청난 분량의 자료는 많은 유효 정보를 제공하고 사업추진을 위한 다음세대의 빅데이터로 생각되고 있다. 최신 컬럼 기반 압축 기법이 높은 공간 효율 때문에 대용량 서버에 장착되고 있다. 센서는 좁은 대역폭과 오류가 많은 무선 채널을 사용하므로, 센서 기반 저장 시스템은 불안정한 데이터 서비스에 노출되어 있다. 본 연구에서는 사물 인터넷 센서망에 대한 분석을 간략하게 서술하며, 사물 인터넷을 위한 신규 스토리지 관리 방법을 제안한다. 제안한 관리 방법은 레이드 스토리지 모형을 근거로 하고, I/O 성능의 감쇄 없이 공간 효율성을 높이기 위하여 컬럼 기반 분리 및 압축법을 활용한다. 컴퓨터 모의 성능 실험을 통하여 본 제안 저장 기법이 기존 Raid 제어 기법보다 우수하다는 결론을 얻었다.

• 한국정보기술응용학회:학술대회논문집
• /
• 한국정보기술응용학회 2002년도 추계공동학술대회 정보환경 변화에 따른 신정보기술 패러다임
• /
• pp.425-432
• /
• 2002

본 연구는 KISTI 지식관리시스템 구축 시 고려해야 할 시스템특성들의 우선순위를 제시함으로써 현재 구축해서 사용 중이거나 향후 구축 예정인 KISTI 지식관리시스템 구축에 기여하고자 하였다. 연구를 위해 기존의 문헌들에서 지식관리시스템의 시스템특성을 가져왔고, 이러한 시스템특성들을 기초로 해서 KISTI 과학기술 지식정보 콘텐트 전문가들을 대상으로 한 Delphi 설문조사를 하였다. 연구결과 검색 기능, 저장기능, 접근성, 편의성, 분류기능 등과 같은 지식관리시스템의 기본 특성들은 우선순위가 높게 부여되었고, 지식원천통합, 지식평가, 개인화, 커뮤니케이션지원, 멀티미디어 수용 등과 같은 지식관리시스템의 부가적인 특성들은 우선순위가 낮은 것으로 나타났다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2003년도 추계종합학술대회 논문집
• /
• pp.161-166
• /
• 2003

본 논문에서는 웹카메라(WebCam)을 이용한 멀티미디어 보안시스템을 설계하고 이를 구현하는 새로운 방법을 제안한다. 최근 여러 분야에서 WebCam을 응용하여 다양하고 편리한 기능의 시스템을 구현하고, 이를 웹의 편리한 기능에 접목시켜 구조적이고 향상된 성능을 실현하고 있다. 멀티미디어 동영상은 고도의 자료압축 방식과 통신회선 속도의 향상 및 인터넷을 통한 다양한 서비스가 가능해지면서 기존의 보안시스템에 대한 성능향상을 목적으로 크게 변모하고 있다. 본 논문에서 제안하는 보안시스템의 설계방식은 개방된 인터넷을 이용한 통신망 환경에서 보안시스템이 달성하고자 하는 목적을 위하여 웹의 활용성을 충분히 보여줄 수 있을 뿐 아니라 다양한 웹 서비스를 활용함으로써 기존의 것보다 뛰어난 응용성을 보장하는 형태이다. 실시간 멀티미디어 동영상 및 음성의 전송을 통한 현실감 있는 모니터링은 물론 다양한 방식으로 변환되는 정보 서비스와 멀티미디어 자료저장 및 추출을 통한 비실시간 감시 및 보안을 모두 실현할 수 있는 구조와 실현 시스템을 제시하는 것이다.

• 한국융합학회논문지
• /
• 제2권1호
• /
• pp.7-13
• /
• 2011

멀티미디어 시대의 정보는 영상을 중심으로 음향, 문자, 도형 등이 서로 결합되어 있다. 때문에 통신망이 발달하고 저장미디어의 용량이 늘어난다 하더라도 이러한 방대한 정보를 그대로 수용할 수는 없다. 이러한 의미에서 영상, 음향, 음성의 압축과 다중화를 위한 국제표준들인 H261, jPEG, ]BIG, MPEG-1, MPEG-2, MPEG-4, H263, G시리즈 등은 멀티미디어의 핵섬 기술들이다. 이러한 멀티미디어 서비스 시대의 기반을 조성하기 기반 기술의 첫걸음으로 실시간 MPEG-4 멀티미디어 서비스를 제공하기 위한 실시간 MPEG-4 전송 시스템을 개발하였다. 이 시스템은 향후 개발되어질 여러 시스템에 활용되어질 수 있는 기반 기술이 될 것이다. 화상회의, 빌딩 보안 시스템, 인터넷을 활용할 VOD 동영상 시스템 등에서 활용할 수 있게 될 것이다. 또한 테스트베드의 활용된 기술들인 임베디드 리녹스, MPEG-4 소프트웨어, 이미지 센싱 기술들은 또 다른 시스템 개발시 원천기술이 될 것이다.

• 한국멀티미디어학회논문지
• /
• 제10권6호
• /
• pp.726-736
• /
• 2007

In this paper, real-time image scanning system using linescan cameras is designed. The system is specially designed to diagnose and analyse the conditions of tunnels such as crack widths through the captured images. The system consists of two major parts, the image acquisition system and the image merging system. To save scanned image data into storage media in real-time, the image acquisition system has been designed with two different control and management modules. The control modules are in charge of controlling the hardware device and the management modules handle system resources so that the scanned images are safely saved to the magnetic storage devices. The system can be mounted to various kinds of vehicles. After taking images, the image merging system generates extended images by combining saved images. Several tests are conducted in laboratory as well as in the field. In the laboratory simulation, both systems are tested several times and upgraded. In the field-testing, the image acquisition system is mounted to a specially designed vehicle and images of the interior surface of the tunnel are captured. The system is successfully tested in a real tunnel with a vehicle at the speed of 20 km/h. The captured images of the tunnel condition including cracks are vivid enough for an expert to diagnose the state of the tunnel using images instead of seeing through his/her eyes.

• 한국멀티미디어학회논문지
• /
• 제9권10호
• /
• pp.1257-1265
• /
• 2006

XML의 사용이 증가함에 따라서 XML과 관련된 다양한 분야에 대한 연구의 필요성도 증대되고 있는데, 특히 XML로 표현된 문서를 효과적으로 저장, 관리, 검색하기 위한 XML 문서 관리 시스템에 대한 많은 연구들이 활발하게 진행되어 왔다. 이러한 시스템들 중 BitCube는 검색에서 빠른 속도를 통해 뛰어난 성능을 입증한 3차원 비트맵 인덱스 시스템이다. 그러나 문서, 경로, 단어의 세 축으로 이루어진 3차원 메모리 구조를 사용하기 때문에 클러스터 내의 문서가 증가함에 따라 인덱스의 크기가 급격하게 증가하고, 이로 인해 연산 수행속도가 저하되는 문제점을 가지고 있다. 본 논문에서는 BitCube시스템의 문제점을 개선하기 위해 XML 문서의 경로 통합 기법을 제안한다. 이 기법은 XML문서를 시스템의 하부구조에 사용되는 관계형 DBMS에 저장할 때, 유사한 경로들을 통합하여 저장하고, 기존의 3차원 비트맵 인덱스에서 단어로 구성했던 한 축을 value 단위로 구성하여 인덱스 크기를 줄인다 제안한 방법은 3차원 비트맵 인덱스를 구성할 때 인덱스의 크기를 줄이고, 이로 인하여 검객 속도 향상과 디스크 저장 공간의 효율을 가진다.

• 한국멀티미디어학회논문지
• /
• 제8권3호
• /
• pp.297-312
• /
• 2005

데이터 웨어하우스의 다차원 온라인 분석처리 시스템(MOLAP)에서 집계 연산은 중요한 기본 연산이다. 기존의 MOLAP 집계 연산은 다차원 배열구조를 기반으로 한 파일구조에 대해서 연구되어 왔다. 다차원 배열구조는 편중된 분포를 갖는 데이터에서는 잘 동작하지 못한다는 단점이 있다. 본 논문에서는 편중된 분포에도 잘 동작하는 다차원 파일구조를 사용한 MOLAP 저장구조의 물리적 설계기법을 제안한다. 먼저, 균일분포를 갖는 데이터에 대해서 집계 연산처리 성능이 다차원 파일구조상의 질의 영역의 모양과 다차원 파일구조의 도메인 공간을 이루는 페이지 영역의 모양 사이의 유사성에 따라 크게 영향 받음을 보이고, 이러한 특성을 이용하여 다차원 파일구조를 설계함으로써 다차원 온라인 분석처리의 성능을 향상시킨다. 그리고 편중된 분포에 대해서는 질의 영역별로 가중치를 부여한 정규화된 질의 영역의 모양을 이용함으로써 데이터의 분포에 따른 영향을 설계에 반영한다. 또한 본 논문에서는 실험을 통하여 이론적으로 제안한 MOLAP 저장구조의 물리적 설계기법이 실제 환경에서 정확히 동작함을 보인다. 실험결과에 의하면 이차원 파일구조의 경우 집계 연산처리를 위한 저장구조의 성능이 일곱 배 이상으로 향상됨을 확인하였다. 삼차원 이상의 파일구조에 대해서는 더욱더 큰 성능향상이 예상된다. 이러한 성능의 향상은 제안된 MOLAP 저장구조의 물리적 설계기법이 매우 유용함을 나타내는 것이다.