• 제목/요약/키워드: NoSQL Database System

검색결과 45건 처리시간 0.024초

시계열 데이터 최적화 기법을 활용한 Key-value store의 엣지 기반 데이터 수집 시스템 평가 (Evaluation of Edge-Based Data Collection System for Key-Value Store Utilizing Time-Series Data Optimization Techniques)

  • 조우진;이형아;구재회
    • 문화기술의 융합
    • /
    • 제9권6호
    • /
    • pp.911-917
    • /
    • 2023
  • 오늘날 우리는 전쟁과 기후 위기 등에 의해 에너지 위기 요소를 안고 있게 되었다. 이러한 에너지 위기를 대비하기 위해 많은 연구자가 에너지 관리 시스템이라는 에너지 절감 및 관리와 같은 에너지 모니터링 및 에너지 절감에 대한 시스템에 대한 연구를 지속하고, 이에 발맞춰 국가에서도 에너지 다소비 사업장에서 이를 의무화하고 있다. 이러한 공장은 공간과 에너지적 한계가 존재하여 이를 개선 하고자 낮은 성능의 임베디드 디바이스로 데이터 수집 시스템을 구동하는 방안에 대해 연구를 진행한다. 이때 임베디드 디바이스에서 기존의 데이터베이스가 아닌 Key-value store인 RocksDB의 최적화 버전이 시계열 데이터에 우수한 성능을 보임을 평가를 통해 보인다. 또한 이를 평가하기 위한 범용 데이터베이스 평가 도구를 통해 이종 데이터베이스와 평가를 진행한다. 그 결과 낮은 성능의 디바이스에서 타 데이터베이스 대비 11배 짧은 소요 시간을 기록하는 것을 볼 수 있었다.

전문 설비의 이상신호 처리를 위한 저비용 관제 시스템 구축 (An Architecture for Managing Faulty Sensing Data on Low Cost Sensing Devices over Manufacturing Equipments)

  • 채유나;김창규;고하람;김웅섭
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권3호
    • /
    • pp.113-120
    • /
    • 2018
  • 본 연구에서는 공장 내부의 설비의 동작의 이상 유무를 저가의 센서를 사용하여 모니터링하고 이를 확인할 수 있도록 하는 시스템을 구현하였다. 저가의 센서들은 저렴한 비용으로 넓은 장소에 다량의 기기들에 설치할 수 있다는 장점을 가지지만 센서의 오작동 및 센서의 정확성 문제로 정확한 감시와 확인이 어려워진다는 단점을 가진다. 따라서 저가의 센서를 사용하게 되면 생산설비에서 발생하는 데이터로부터 이상 값을 구분하여 이상상황에 대한 센서의 오작동인지 또는 설비의 고장인지 여부를 판단하고 이를 알람을 통해 확인할 수 있는 모니터링 시스템이 필수로 구축되어야 한다. 본 연구에서 우리는 저가의 센서들에서 감지된 정상 범위를 벗어나는 데이터 값에서 센서의 오작동과 설비의 고장여부를 구분할 수 있는 시스템을 구현하였으며 이를 위해 우리는 가중이동 평균법과 푸리에 변환 기반 신호 검증 시스템을 혼합한 시스템을 설계 구현하였다. 이를 통해 설비에서 정상범위를 벗어나는 값들이 감지되는 경우 이들을 기기의 이상과 센서의 이상 상황으로 구분할 수 있도록 하였으며 실험결과 전체 이상 신호 값 중에 1/3에 해당하는 부분을 센서의 이상 상황으로 분류 정상처리하고 있음을 확인할 수 있었다. 또한 우리는 모니터링 시스템의 구축 비용 절감을 위해 정보를 무선통신으로 전송하도록 하였으며 작동 센싱 정보들을 비정형 데이터로 구현 처리하도록 하여 다수의 센서에서 수집된 대규모의 정보들을 효율적으로 처리할 수 있도록 하였다.

A Study on the DB-IR Integration: Per-Document Basis Online Index Maintenance

  • Jin, Du-Seok;Jung, Hoe-Kyung
    • Journal of information and communication convergence engineering
    • /
    • 제7권3호
    • /
    • pp.275-280
    • /
    • 2009
  • While database(DB) and information retrieval(IR) have been developed independently, there have been emerging requirements that both data management and efficient text retrieval should be supported simultaneously in an information system such as health care, customer support, XML data management, and digital libraries. The great divide between DB and IR has caused different manners in index maintenance for newly arriving documents. While DB has extended its SQL layer to cope with text fields due to lack of intact mechanism to build IR-like index, IR usually treats a block of new documents as a logical unit of index maintenance since it has no concept of integrity constraint. However, In the DB-IR integrations, a transaction on adding or updating a document should include maintenance of the posting lists accompanied by the document. Although DB-IR integration has been budded in the research filed, the issue will remain difficult and rewarding areas for a while. One of the primary reasons is lack of efficient online transactional index maintenance. In this paper, performance of a few strategies for per-document basis transactional index maintenance - direct index update, pulsing auxiliary index and posting segmentation index - will be evaluated. The result shows that the pulsing auxiliary strategy and posting segmentation indexing scheme, can be a challenging candidates for text field indexing in DB-IR integration.

토픽 모델링을 이용한 트위터 이슈 트래킹 시스템 (Twitter Issue Tracking System by Topic Modeling Techniques)

  • 배정환;한남기;송민
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.109-122
    • /
    • 2014
  • 현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.

Open Source를 이용한 MicroPACS의 구성과 활용 (Application of MicroPACS Using the Open Source)

  • 유연욱;김용근;김영석;원우재;김태성;김석기
    • 핵의학기술
    • /
    • 제13권1호
    • /
    • pp.51-56
    • /
    • 2009
  • 목적 : Small-scalled PACS, Pc-based PACS로 표현되는 MicroPACS 시스템 구축에 대한 관심도가 급격하게 증가하고 있는 추세이다. MicroPACS 시스템은 PACS를 작은 규모에서 사용할 수 있도록 구성해놓은 것이고, 이 시스템을 구성하기 위해서는 DICOM viewer나 연결프로그램 등이 필요하다. 이것은 공개소스프로그램(Open Source Program)을 통해서 어느 누구나 쉽게 무료로 다운로드를 받을 수 있게 되어있다. 본 논문은 Open source program으로 MicroPACS를 직접 구성해보았고, 저장매체로서의 활용가치를 측정하기위하여 성능, 안정성 측면에서 기존의 광 저장매체(CD, DVDRAM)와 비교 분석하였다. 실험재료 및 방법 : 1. 소형 PACS를 구축하기 위해서 먼저 다음 기준에 맞는 DICOM Server Software를 검색한다. (1) 윈도우체제에서 사용가능할 것. (2) Free ware일 것. (3) PET/CT scanner와 호환되어야 할 것. (4) 사용하기 쉬워야 할 것. (5) 저장의 한계가 없어야 할 것. 2. (1) MicroPACS의 성능을 평가하기 위해 환자 1명의 Data ($^{18}F$-FDG Torso PET/CT)를 현재 Back-up장치로 쓰이는 광 저장매체(CD, DVD-RAM)와 MicroPACS에 저장하는데 소요되는 시간(Back up time)과 workstation으로 복구되기까지의 시간(Retrieval time)을 비교해 보았다. (2) PET/CT 검사를 시행했던 환자 1명의 병록번호와 검사 시행날짜를 핵의학과 직원 7명을 대상으로 알려주고 Data를 찾는데 소요되는 시간을 MicroPACS와 광 저장매체(CD, DVD-RAM)에서 각각 측정하여 비교하였다. 3. 기존의 백업장치로 쓰였던 CD들 중에서 2004년부터 2006년까지 500장을 무작위로 뽑아서 loading을 하였고 그중에서 얼마만큼의 에러가 발생하였는지를 측정하여 MicroPACS의 안정성을 비교평가하였다. 결과 : 1. Server와 DICOM viewer 기능을 갖춘 11개의 open source software 중에서 Conquest DICOM Server를 선택하였다. 2. (1) Backup과 Retrieval 시간 비교(단위 : 분)는 다음과 같다; DVD-RAM(5.13,2.26)/Conquest DICOM Server (1.49,1.19) by GE DSTE (p<0.001), CD (6.12,3.61)/Conquest (0.82,2.23) by GE DLS (p<0.001), CD (5.88,3.25)/Conquest (1.05,2.06) by SIEMENS. (2) CD ($156{\pm}46$초), DVD-RAM ($115{\pm}21$초) and Conquest DICOM Server ($13{\pm}6$초). 3. 1년간 MicroPACS에서의 데이터손실은 없었으며(0%), 500장의 CD 중에서 14개(2.8%)가 Loading하는데 실패하였다. 결론 : 현재 많은 병원에서 도입되고 있는 Full PACS를 open source software를 통하여 소규모의 PACS로 재현해 보았고, 그 결과 가능하다는 결론이 나왔다. 데이터 저장의 유용성을 평가한 결과에서 MicroPACS를 이용하는 것이 기존의 광저장매체를 사용하는 것보다 효율적이고 작업속도가 향상 된다는 것을 확인할 수 있다.

  • PDF