• 제목/요약/키워드: NoSQL Database

검색결과 64건 처리시간 0.027초

토픽맵과 카산드라를 이용한 그래프 구조와 트랜잭션 동시 처리 기법 (Technique for Concurrent Processing Graph Structure and Transaction Using Topic Maps and Cassandra)

  • 신재현
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제1권3호
    • /
    • pp.159-168
    • /
    • 2012
  • SNS, 클라우드, Web3.0과 같은 새로운 IT환경은 '관계(relation)'가 중요한 요소가 되고 있다. 그리고 이들 관계(relation)는 거래, 즉, 트랜잭션을 발생시킨다. 그러나 우리가 사용하고 있는 관계형 데이터베이스(RDBMS)나 그래프 데이터베이스는 관계(relation)를 나타내는 그래프 구조와 트랜잭션을 동시에 처리하지 못한다. 본 논문은 확장 가능한 복잡 네트워크 시스템에서 활용할 수 있는 그래프 구조와 트랜잭션을 동시에 처리할 수 있는 방법을 제안한다. 제안 기법은 토픽맵의 데이터 모델을 응용하여 그래프 구조와 트랜잭션을 동시에 저장하고 탐색한다. 토픽맵은 시멘틱 웹(Web3.0)을 구현하는 온톨로지 언어 중 하나로써, 정보자원들 사이의 연관 '관계(relation)'를 통해 정보의 네비게이터로써 활용되고 있다. 또한 본 논문에서는 컬럼형 데이터베이스인 카산드라를 이용하여 제안 기법의 아키텍처를 설계, 구현하였다. 이는 분산처리를 이용하여 빅데이터 레벨의 데이터까지 처리할 수 있도록 하기 위함이다. 마지막으로 대표적인 RDBMS인 오라클과 제안 기법을 동일한 데이터 소스, 동일한 질문에 대해 저장 및 질의를 하는 과정을 실험으로 보였다. 이는 조인(join) 없이 관계(relation)를 표현함으로써 RDBMS의 역할까지 충분히 대체 가능함을 보이고자 한다.

마이크로그리드 운영 시스템 연계를 위한 IEC 61850 기반 IoT 게이트웨이 플랫폼 (IEC 61850 Based IoT Gateway Platform for Interworking to Microgrid Operational System)

  • 박지원;송병권;신인재
    • KEPCO Journal on Electric Power and Energy
    • /
    • 제4권2호
    • /
    • pp.67-73
    • /
    • 2018
  • 마이크로 그리드 환경에는 변압기, 스위치, 에너지저장장치 등 많은 종류의 전력 설비가 존재하지만, IoT 기술의 발달에 따라 온도, 압력, 습도와 같은 센서 정보를 취득할 수 있는 기회를 제공하고 있다. 기존의 마이크로 그리드 환경에서는 IEC 61850 표준에서 정의하고 있는 MMS 등의 통신 프로토콜을 준용하여 전력 설비와 플랫폼 간 통합 운용되고 있다. 그렇기 때문에 IoT 데이터를 수용하기 위해서는 IEC 61850 기반으로 구성된 데이터 수집 장치(FEP)에 IoT 데이터를 연계해 줄 수 있는 게이트웨이 기술이 필요하다. 본 논문에서는 마이크로그리드 운영 시스템 연계를 위한 IEC 61850기반 IoT 게이트웨이 플랫폼 프로토타입을 제안하고자 한다. 게이트웨이 플랫폼은 IoT 프로토콜(MQTT, CoAP, AMQP) 인터페이스 모듈과 데이터베이스, IEC 61850서버로 구성되어 있다. 데이터베이스의 경우, JSON 데이터를 저장하기 위해 오픈소스 기반의 NoSQL 데이터베이스인 Hbase와 MongoDB를 이용하였다. IoT 프로토콜을 검증하기 위해 라즈베리파이 아두이노 인텔 에디슨 SoC 기반 전력 IoT 디바이스 시뮬레이터를 이용하였고, IEC 61850은 Sisco's MMS EASY Lite를 이용하여 IoT 프로토콜과 IEC 61850 프로토콜간의 상호호환성을 검증하였다.

메가프로젝트 원가 자료 분석에 관한 연구 (A Study of cost data modeling for Megaproject)

  • 지성민;조재경;현창택
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2009년도 추계 학술논문 발표대회
    • /
    • pp.253-256
    • /
    • 2009
  • To the success of the megaproject including various and complex facilities, it is needed to establish a database system. Developments in data collection, storage and extracting technology have enabled iPMIS to manage various and complex information about cost and time. Especially, when we consider that both the go and no go decision in feasibility, Cost is an important and clear criteria in megaproject. Thus, Cost data modeling is the basis of the system and is necessary process. This research is focus on the structure and definition about CBS data which is collected from sites. We used four tools which are Function Analysis in VE, Casual loop Diagram in System Dynamics, Decision Tree in Data-mining, and Normalization in SQL to identify its cause and effect relationship on CBS data. Cost data modeling provide iPMIS with helpful guideline.

  • PDF

물류 배송 최적화 시스템 디자인 (System Design of Logistics Delivery Route Optimizing)

  • 송하윤;김태현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.571-574
    • /
    • 2018
  • 물류 배송은 우리 생활에 꼭 필요한 시스템 중 하나이다. 대한민국의 물류 시스템은 그 영토의 규모에 잘 부합되도록 체계적으로 정비되어 있으나, 배송 경로의 낭비 역시 존재한다. 본 논문에서는 Big Data, Deep Learning, IoT 와 같은 첨단 정보 기술을 이용하여 상기한 문제를 해결하고자 하였다. 물류의 특성을 고려하여 설계한 데이터 모델을 통신 기능과 위치 판별 기능이 포함된 IoT Device 를 통해 수집하고 NoSQL Database 상에 저장한다. 이후 Longest Common Subsequence Algorithm 을 이용한 Deep Learning 으로 수집 된 Data를 학습시킨다. 배송이 발생했을 때 학습된 Data 를 기반으로 해당 배송의 경로 분석을 실시하여 기존의 경로보다 시간적, 물질적 자원이 절약된 새로운 배송 경로를 IoT Device 를 통해 제시하고자 한다.

생물다양성 자료의 데이터베이스화와 온라인 관리시스템 및 분석도구 구축에 관한 연구 (A Study on the Construction of Database, Online Management System, and Analysis Instrument for Biological Diversity Data)

  • 백기열;정종철;박선주;이종욱
    • 한국환경과학회지
    • /
    • 제14권12호
    • /
    • pp.1119-1127
    • /
    • 2005
  • The management of data on biological diversity is presently complex and confusing. This study was initiated to construct a database so that such data could be stored in a data management, and analysis instrument to correct the problems inherent in the current incoherent storage methods. MySQL was used in DBMS(DataBase Management System), and the program was basically produced using Java technology Also, the program was developed so people could adapt to the requirements that are changing every minute. We hope this was accomplished by modifying easily and quickly the advanced programming technology and patterns. To this end, an effective and flexible database schema was devised to store and analyze diversity databases. Even users with no knowledge of databases should be able to access this management instrument and easily manage the database through the World Wide Web. On a basis of databases stored in this manner, it could become routinely used for various databases using this analysis instrument supplied on the World Wide Web. Supplying the derived results by using a simple table and making results visible using simple charts, researchers could easily adapt these methods to various data analyses. As the diversity data was stored in a database, not in a general file, this study makes the precise, error-free and high -quality storage in a consistent manner. The methods proposed here should also minimize the errors that might appear in each data search, data movement, or data conversion by supplying management instrumentation on the Web. Also, this study was to deduce the various results to the level we required and execute the comparative analysis without the lengthy time necessary to supply the analytical instrument with similar results as provided by various other methods of analysis. The results of this research may be summerized as follows: 1)This study suggests methods of storage by giving consistency to diversity data. 2)This study prepared a suggested foundation for comparative analysis of various data. 3)It may suggest further research, which could lead to more and better standardization of diversity data and to better methods for predicting changes in species diversity.

A Study on the DB-IR Integration: Per-Document Basis Online Index Maintenance

  • Jin, Du-Seok;Jung, Hoe-Kyung
    • Journal of information and communication convergence engineering
    • /
    • 제7권3호
    • /
    • pp.275-280
    • /
    • 2009
  • While database(DB) and information retrieval(IR) have been developed independently, there have been emerging requirements that both data management and efficient text retrieval should be supported simultaneously in an information system such as health care, customer support, XML data management, and digital libraries. The great divide between DB and IR has caused different manners in index maintenance for newly arriving documents. While DB has extended its SQL layer to cope with text fields due to lack of intact mechanism to build IR-like index, IR usually treats a block of new documents as a logical unit of index maintenance since it has no concept of integrity constraint. However, In the DB-IR integrations, a transaction on adding or updating a document should include maintenance of the posting lists accompanied by the document. Although DB-IR integration has been budded in the research filed, the issue will remain difficult and rewarding areas for a while. One of the primary reasons is lack of efficient online transactional index maintenance. In this paper, performance of a few strategies for per-document basis transactional index maintenance - direct index update, pulsing auxiliary index and posting segmentation index - will be evaluated. The result shows that the pulsing auxiliary strategy and posting segmentation indexing scheme, can be a challenging candidates for text field indexing in DB-IR integration.

실험실정보관리시스템의 확장을 위한 오픈 소스 기반의 빅데이터 처리 기술에 관한 연구 (A Study on Big Data Processing Technology Based on Open Source for Expansion of LIMS)

  • 김순곤
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권2호
    • /
    • pp.161-167
    • /
    • 2021
  • 실험실정보관리시스템(LIMS, Laboratory Information Management System)은 실험실 데이터를 저장, 가공, 검색 그리고 분석하기 위한 중앙화된 데이터베이스로서 검사, 분석, 시험 업무를 수행하는 실험실을 위해 특별히 고안된 컴퓨터 시스템 또는 시스템을 의미한다. 특히 LIMS는 실험실의 운영을 지원하는 기능을 갖추고 있으며, 워크플로우 관리나 데이터 추적지원 등이 필요하다. 본 논문에서는 실험실의 운영을 위하여 빅데이터 자동화 수집 기술의 하나인 크롤링 기술을 활용하여 웹사이트 및 다양한 채널에 존재하는 데이터를 수집한다. 수집된 시험 방법 및 내용 중 시험자가 활용할 수 있는 유용한 시험 방법 및 내용을 추천한다. 그리고 이에 대한 피드백을 관리하여 수집 채널의 검증이 가능한 상호보완적인 LIMS 플랫폼을 구현한다.

다종다형 자료 메타 관리 및 사용자 동적 구성 가능한 검색 인터페이스 제공 방안 (Multi-type and shape data meta management and dynamic user configurable interface method)

  • 최명진;김태영;이민섭;양윤정;윤경원;김문기
    • 한국위성정보통신학회논문지
    • /
    • 제12권1호
    • /
    • pp.81-87
    • /
    • 2017
  • 본 논문에서는 서로 다른 항목의 정보를 담고 있는 다종다형자료의 메타 정보를 하나의 시스템에서 통합하여 검색 및 관리할 수 있으며, 관리되고 있는 메타 데이터에서 사용자가 필요한 검색 항목을 자유롭게 정의할 수 있는 사용자 인터페이스를 제공할 수 있는 시스템에 대해 연구하였다. 본 시스템의 특징은 다종다형 메타정보 관리가 가능하며 다양한 시스템 간 손쉬운 통합을 지원할 수 있는 데이터베이스 통합 버스, 다종다형 자료들의 사용자별 맞춤 서비스가 가능한 사용자별 검색 항목 지정 설정이 있다. 본 논문에서 연구한 시스템은 현재 ICT 분야에서 각광받고 있는 빅데이터 관리가 가능할 것으로 판단되며 향후 다양한 분야의 다종다형자료들을 효과적으로 관리하고 다양한 환경을 가지고 있는 시스템 간 통합을 손쉽게 수행할 수 있을 것으로 판단된다.

Applicability of Geo-spatial Processing Open Sources to Geographic Object-based Image Analysis (GEOBIA)

  • Lee, Ki-Won;Kang, Sang-Goo
    • 대한원격탐사학회지
    • /
    • 제27권3호
    • /
    • pp.379-388
    • /
    • 2011
  • At present, GEOBIA (Geographic Object-based Image Analysis), heir of OBIA (Object-based Image Analysis), is regarded as an important methodology by object-oriented paradigm for remote sensing, dealing with geo-objects related to image segmentation and classification in the different view point of pixel-based processing. This also helps to directly link to GIS applications. Thus, GEOBIA software is on the booming. The main theme of this study is to look into the applicability of geo-spatial processing open source to GEOBIA. However, there is no few fully featured open source for GEOBIA which needs complicated schemes and algorithms, till It was carried out to implement a preliminary system for GEOBIA running an integrated and user-oriented environment. This work was performed by using various open sources such as OTB or PostgreSQL/PostGIS. Some points are different from the widely-used proprietary GEOBIA software. In this system, geo-objects are not file-based ones, but tightly linked with GIS layers in spatial database management system. The mean shift algorithm with parameters associated with spatial similarities or homogeneities is used for image segmentation. For classification process in this work, tree-based model of hierarchical network composing parent and child nodes is implemented by attribute join in the semi-automatic mode, unlike traditional image-based classification. Of course, this integrated GEOBIA system is on the progressing stage, and further works are necessary. It is expected that this approach helps to develop and to extend new applications such as urban mapping or change detection linked to GIS data sets using GEOBIA.

시계열 데이터 최적화 기법을 활용한 Key-value store의 엣지 기반 데이터 수집 시스템 평가 (Evaluation of Edge-Based Data Collection System for Key-Value Store Utilizing Time-Series Data Optimization Techniques)

  • 조우진;이형아;구재회
    • 문화기술의 융합
    • /
    • 제9권6호
    • /
    • pp.911-917
    • /
    • 2023
  • 오늘날 우리는 전쟁과 기후 위기 등에 의해 에너지 위기 요소를 안고 있게 되었다. 이러한 에너지 위기를 대비하기 위해 많은 연구자가 에너지 관리 시스템이라는 에너지 절감 및 관리와 같은 에너지 모니터링 및 에너지 절감에 대한 시스템에 대한 연구를 지속하고, 이에 발맞춰 국가에서도 에너지 다소비 사업장에서 이를 의무화하고 있다. 이러한 공장은 공간과 에너지적 한계가 존재하여 이를 개선 하고자 낮은 성능의 임베디드 디바이스로 데이터 수집 시스템을 구동하는 방안에 대해 연구를 진행한다. 이때 임베디드 디바이스에서 기존의 데이터베이스가 아닌 Key-value store인 RocksDB의 최적화 버전이 시계열 데이터에 우수한 성능을 보임을 평가를 통해 보인다. 또한 이를 평가하기 위한 범용 데이터베이스 평가 도구를 통해 이종 데이터베이스와 평가를 진행한다. 그 결과 낮은 성능의 디바이스에서 타 데이터베이스 대비 11배 짧은 소요 시간을 기록하는 것을 볼 수 있었다.