• 한국컴퓨터정보학회논문지
• /
• 제22권11호
• /
• pp.57-63
• /
• 2017

The recent sudden increase of big data has characteristics such as continuous generation of data, large amount, and unstructured format. The existing relational database technologies are inadequate to handle such big data due to the limited processing speed and the significant storage expansion cost. Thus, big data processing technologies, which are normally based on distributed file systems, distributed database management, and parallel processing technologies, have arisen as a core technology to implement big data repositories. In this paper, we propose a design methodology for large-scale database based on MongoDB by extending the information engineering methodology based on E-R data model.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권8호
• /
• pp.3182-3202
• /
• 2015

Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권12호
• /
• pp.895-906
• /
• 2002

분산 웹 애플리케이션에 대한 관심도가 증가함에 따라서 복잡한 분산 프레임워크와 관련된 코드의 작성 없이 비즈니스 코드 작성에 주력할 수 있게 해 주는 서버측 Java 컴포넌트 아키텍처인 EJB에 대한 관심도 또한 증가하고 있는 추세이다. 그러나 이러한 관심도의 증가에도 불구하고 지금까지는 이러한 시스템의 신뢰성 측면에 대한 노력은 미비한 것이 현실이다. 따라서 본 논문에서는 객체지향 시스템 개발에서 소프트웨어의 신뢰성을 높여줄 수 있는 접근법으로 증명되고 있는 DbC 접근법을 EJB 기반 애플리케이션의 정형 명세 작성에 적용하기 위한 명세 기법을 제안한다. 이러한 명세 기법을 통해 개발자들은 EJB 기반 애플리케이션 개발에 있어서 신뢰성 측면의 이점을 얻을 수 있다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2002년도 합동 추계학술대회 논문집 정보 및 제어부문
• /
• pp.465-468
• /
• 2002

Today large corporations are constructing distributed server environment. Many corporations are respectively operating Web server, FTP server, Mail server and DB server on heterogeneous operation. However, there is the problem that a manager must manage each server individually. In this paper, we present distributed FTP server for log mining system on ACE. Proposed log mining system is based upon ACE (Adaptive Communication Environment) framework and data mining techniques. This system provides a united operation with distributed FTP server.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.71-84
• /
• 2013

컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제20권2호
• /
• pp.689-699
• /
• 2020

국내외 학술논문을 서비스하는 국가과학기술정보센터(NDSL) 데이터베이스는 다양한 정보원으로부터 수집된 데이터가 분산적으로 수집, 구축 및 관리되고 있다. 본 연구에서는 분산된 학술논문 DB를 분석하여 논문데이터를 고부가가치화하고 효율적으로 관리할 수 있는 통합 DB 스키마 도출을 위하여 현재 구축되고 관리되는 학술논문 DB 스키마 및 DB 메타데이터를 분석하였다. 또한, 현재 구매하여 보유하고 있는 Web of Science와 SCOPUS 스키마를 활용하여 비교, 분석을 통한 최종 학술정보 데이터 항목을 정하였다. 본 연구를 통하여 구축되고 서비스되는 학술정보 데이터 항목이 논문, 저자, 초록, 기관, 주제, 저널, 참고문헌 7가지로 요약 도출되었으며 구축중인 핵심콘텐츠로 정의하였다. 본 연구를 통하여 통합 DB 스키마가 만들어졌으며, 향후 이 연구 결과는 고품질의 학술논문 통합 DB 컬렉션 구성과 시스템 최적화 설계를 위한 기반 자료로 활용하고자 한다.

• 한국지형학회지
• /
• 제27권4호
• /
• pp.71-88
• /
• 2020

This study modified the properties and boundaries of the inland wetland types through the structural edit of the National Wetland DB, and analyzed the characteristics of the different land cover by area and the entire inland wetlands of South Korea. The inland wetlands of the Gangwon Basin had a small area of waters. In addition, the ratio of natural barren was high, reflecting the characteristics of the upper reaches of the large river in the east and west part of Gangwon Province. The Geum River Basin had a high percentage of aggregate land due to the development of large alluvial land, and the ratio of artistic barren was low, so various ecosystem service of wetland elements were distributed evenly. The Nakdong River Basin had a high proportion of waters as water level in the channel rose due to the installation of 4 Major Rivers Beam, and the ratio of Natural barren was low. Moreover, the water level of the main attributes flowing into the Nakdong River drainage system was not high, so the ratio of vegetation concentration was high. The Yeongsan River Basin showed that Waters had the high proportion. And the distribution of Natural barrens represented differently according to the Yeongsan River Basin and the Seomjin River Basin. Finally, Sand and Gravels supplied to rivers during precipitation were deposited in the main stream of the Han River Basin, and the differences between the side and high side was large in the area, reflecting the characteristics of the mouth of a river, so the Natural barren of Clay was distributed.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅳ
• /
• pp.2431-2434
• /
• 2003

In this research, our goal is to realize Korean Distribute TTS system with server/client function in wireless network. The speech databases and some routines of TTS system is stuck with the server which has strong functions and we made Korean speech databases and accomplished research about DB which is suitable for distributed TTS. We designed a terminal has the minimum setting which operate this TTS and designed proper protocol so we will check action of Distributed TTS.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1615-1617
• /
• 2015

웹을 통한 데이터 공유에 대한 관심의 증가로 RDF 트리플 형태의 데이터가 폭발적으로 증가하고 있다. 대용량 RDF 데이터를 저장하고 빠른 SPARQL 질의 처리를 지원하는 트리플 저장소의 개발이 중요하다. 아파치 프로젝트 중 하나인 Jena-TDB는 가장 잘 알려진 오픈소스 트리플 저장소 중 하나로서 Jena 프레임워크 기반으로 구현됐다. 하지만 Jena-TDB 의 경우 단일 컴퓨터에서 작동하기 때문에 대용량 RDF 데이터를 다룰 수 없다는 문제점이 있다. 본 논문에서는 MongoDB를 활용한 Jena 프레임워크 기반의 트리플 저장소인 Jena-MongoDB를 제안한다. Jena 프레임워크를 사용했기 때문에 기존 Jena-TDB와 동일한 인터페이스로 사용할 수 있고 최신 표준 SPARQL 문법도 지원한다. 또한 MongoDB를 사용했기 때문에 분산환경에서도 작동할 수 있다. 대용량 LUBM 데이터셋에 대한 SPARQL 질의 처리 실험결과 Jena-MongoDB가 Jena-TDB 보다 빠른 질의 응답 속도를 보여줬다.

• 동의생리병리학회지
• /
• 제17권1호
• /
• pp.177-182
• /
• 2003

This study was carried out to understand the effects of Bambusae Caulis in Liquamen on blood sugar in the db/db mice. Refined Bambusae Caulis in Liquamen C. D(BCL.C. D)manufactured by high temperature production process and Bambusae Caulis in Liquamen(H-BCL) manufactured & distributed by HANLIM PHARM.COM., LTD were used. The Bambusae Caulis in Liquamen extracted from bamboo charooal manufacturing process was filtered and refined. The effects of Bambusae Caulis in Liquamen were administered orally to mice for 6weeks and its anti-diabetic effect examined. The effects of BCL.C. D and H-BCL were observed in terms of blood sugar. creatinine. BUN and GPT in db/db mice. The results were as follows : The amount of glucose was slightly decreased (P<0.05) in the B CL.C-treated groups compared with the control. The amount of glucose was significantly decreased (P<0.01) in the BCL.D and H-BCL-treated groups compared with the control. The amount of creatinine did not show any differences among four groups. The amount of blood urea nitrogen did not show any differences in the case of BCL.C-treated groups. but observed significant decrease in the case of BCL.D and H-BCL-treated groups. The amount of GPT did not show any differences in the case of BCL.D-treated groups. but observed significant increase in the case of BCL.C and H-BCL-treated groups.