• 제목/요약/키워드: 분산 데이터베이스

검색결과 607건 처리시간 0.031초

클라우드 데이터베이스에서의 꼬리응답시간 감소를 위한 가비지 컬렉션 동기화 기법 (Garbage Collection Synchronization Technique for Improving Tail Latency of Cloud Databases)

  • 한승욱;한상욱;김지홍
    • 정보과학회 논문지
    • /
    • 제44권8호
    • /
    • pp.767-773
    • /
    • 2017
  • 클라우드 데이터베이스와 같은 분산 시스템 환경에서는 균일한 서비스 품질을 보장하기 위해 꼬리 응답시간을 짧게 유지하는 것이 중요하다. 본 논문에서는 카산드라 데이터베이스를 대상으로, 긴 꼬리 응답시간에 해당하는 지연이 메모리 공간 부족으로 인해 발생한다는 것을 보이며, 이러한 지연이 메모리 공간 확보를 위해 버퍼에 저장된 데이터를 저장장치에 완전히 내려쓸 때까지 카산드라가 사용자의 요청을 받지 않기 때문임을 밝힌다. 버퍼에 저장된 데이터를 내려쓰는데 걸리는 시간은 저장장치 성능에 따라 결정되므로 SSD의 가바지 컬렉션으로 인한 성능 저하가 꼬리 응답시간을 더 길게 만들고 있음을 관찰하였다. 우리는 자바가상기계에서의 가비지 컬렉션과 SSD에서의 가비지 컬렉션을 함께 수행하여 SSD의 가비지 컬렉션 비용을 숨기는, SyncGC 기법을 제안한다. 실험 결과, SyncGC 기법을 통해 꼬리 응답시간인 $99.9^{th}$$99.9^{th}-percentile$을 각각 31%, 36% 줄일 수 있었다.

개선된 역할 계층을 이용한 유연한 데이터베이스 보안 시스템 (Flexible Database security System using Improved Role Hierarchy)

  • 정민아;이광호
    • 한국정보통신학회논문지
    • /
    • 제9권8호
    • /
    • pp.1834-1839
    • /
    • 2005
  • 병원, 행정기관, 은행과 같은 조직체의 경우 중요하고 민감한 데이터를 보호하기 위해 데이터베이스 보안이 필수적이다. 최근 대규모의 조직체에서 업무가 더욱 다양하고 복잡해짐에 따라 보안 정책에 대한 변경이 빈번히 일어나게 되었다. 따라서 보안정책의 무결성을 보존하면서 변경이 용이한 유동적인 보안 정책과 효율적인 보안 관리가 매우 중요하다. 본 연구에서는 의료정보관리시스템을 대상으로 Improved Role Hierarchy(IRH)를 이용한 유연성 있는 데이터베이스 보안 시스템을 구현하였다. 데이터 접근은 MAC 방식으로 제어하며, RBAC의 역할 계층(Role Hierarchy)을 개선한 IRH를 사용하여 유연성 있는 접근제어를 제공하고 효과적인 보안 관리를 할 수 있다. 본 시스템은 보안정책이 바뀔 경우 분산된 보안관리 방식으로 IRH를 수정함으로써 정책 변경을 용이하게 하며, 주체의 보안등급이 고정되어 있지 않은 상태에서 이를 IRH을 통해 사용자와 세션이 맺어질 때 결정되게 함으로써 정책이 바뀐 후에도 변경된 보안정책을 유연하게 적용할 수 있다.

다양한 NoSQL 데이터베이스의 성능 평가 연구 (A Study about Performance Evaluation of Various NoSQL Databases)

  • 박홍진
    • 한국정보전자통신기술학회논문지
    • /
    • 제9권3호
    • /
    • pp.298-305
    • /
    • 2016
  • 대용량의 데이터를 처리하기 위해서는 기존 관계형 데이터베이스인 MySQL, PostgreSQL, Oracle등 보다 NoSQL 데이터베이스가 우수함을 나타내고 있다. 본 논문은 일반적으로 널리 사용되고 있는 NoSQL 데이터베이스 중 HBase, Cassandra, MongoDB, Redis의 성능을 비교 평가한다. 본 논문에서 대용량의 데이터를 분산 처리하기 위해 서버 12대를 스위칭 허브를 통해 연결하였으며 운영체제로 우분투를 설치하였다. 벤치마킹 도구로는 YCSB를 이용하였으며, read, update를 각각 50%, 50%, 두 번째로는 95%, 5%, 마지막으로는 100%, 0%로 3가지로 변경하였고, 200,000번에서 1,200,000 까지 명령어를 수행하여 비교 평가하였다. 초당 트랜젝션 처리는 Cassandra가 가장 우수하였고, 단위 시간당 프로세스 수행 처리 개수는 MongoDB가 우수함을 보였다.

실시간 철도안전 관제를 위한 데이터 처리 방안 연구 (Data Processing Method for Real-time Safety Supervision System in Railway)

  • 신광호;정혜란;안진
    • 한국철도학회논문집
    • /
    • 제19권4호
    • /
    • pp.445-455
    • /
    • 2016
  • 실시간 철도안전 관제시스템은 철도시스템을 구성하는 열차, 신호, 전력 및 설비 등으로 분산되어 감시되던 시스템의 안전관련 데이터를 통합하여 안전감시 효율을 향상시키고 사고를 예방하는 것이 목적으로, 기존 개별 감시 시스템과 달리 데이터의 대용량 처리와 실시간 처리 성능을 동시에 요구하고 있다. 기존 관제시스템에서 주로 활용되는 디스크 기반 데이터베이스는 실시간 및 빅 데이터 처리기능이 없고, 최근 도입되는 메모리 기반 데이터베이스는 빅데이터 처리기능이 없으며, 시계열 데이터베이스는 실시간 처리 기능이 없다. 이에 따라, 실시간 안전관제에서 요구되는 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 솔루션이 필요하다. 본 연구에서는 기존 관제의 데이터 처리 사례를 분석하고, 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 데이터 처리 방안을 제안하였으며, 이를 검증하였다.

유전자 알고리즘을 이용한 최적의 분산 데이터베이스 시스템 설계 (The Optimal Distributed Database System Design Using the Genetic Algorithm)

  • 고석범;윤성대
    • 한국정보처리학회논문지
    • /
    • 제7권9호
    • /
    • pp.2797-2806
    • /
    • 2000
  • 최근에 정보네트워크 사용자의 급증에 따라 DDS(Distributed Database System)는 VAN(Value Added Network)상에서 구현되었다. DDS는 지역적으로 분산된 작업환경에서 중앙집중식 데이터베이스 구축보다 여러 측면에서 장점이 있으나 불합리한 설계는 컴퓨터 및 네트워크 자원의 비효율적 사용에 의한 비용의 증가와 데이터 유지를 위한 복잡도의 증가를 야기한다. DDS 설계시 각 사이트에서 적절한 컴퓨터를 선택하는 문제와 단편화된 데이터를 적절한 사이트에 할당하는 문제가 중요하다. VAN 상에서 컴퓨터 선택과 데이터 파일의 할당은 응답대기시간(waited response time)과 투자비용(investment cost)의 상관관계를 반드시 고려하여 결정되어야 하므로, 본 논문에서는 각 컴퓨터와 파일의 할당의 영향에 따라 두 목적함수의 상관관계를 고려한다. 특히, 응답대기 시간에 대한 보다 실제적인 평가를 위해 M/M/1 큐잉 시스템을 기초로 하여 설계한다. 제안된 설계모델은 경험적 탐색법 중의 하나인 유전자 알고리즘(Genetic Algorithm)의 적용을 통해 효율적인 해의 탐색을 시도하고 제안된 수학적 모델과 알고리즘의 성능 검토를 위해 모의실험 및 결과분석을 한다.

  • PDF

하이브리드 방식 국가종합목록 구축에 관한 연구 (A Study on the Development of Hybrid National Union Catalog)

  • 한혜영;조재인;이지원;오정선;김성혁
    • 정보관리학회지
    • /
    • 제15권3호
    • /
    • pp.151-173
    • /
    • 1998
  • 국가종합목록은 한 국가내 모든 도서관의 서지 및 소재정보를 제공하여 도서관간 자료의 공동활용을 가능하게 하는 정보하부구조로 최근 여러 나라에서는 정보검색 표준인 Z39.50 프로토콜을 응용한 국가종합목록 프로젝트가 진행되고 있다. 국내의 경우 공공, 대학, 전문도서관 등 관종별 종합목록데이터베이스 구축이 각기 진행되고 있으며 이러한 국내 현실여건에서는 이미 개별적으로 구축된 종합목록 데이터베이스들을 통합하는 방식보다는 Z39.50 프로토콜을 이용한 분산 검색으로 논리적 가상 국가종합목록을 구축하는 것이 바람직하다. 따라서, 물리적 통합 형태인 중앙화 방식과 Z39.50 프로토콜을 통한 분산화 방식이 혼합된 하이브리드 방식을 국가종합목록 구축 방안으로 제안하고 구체적으로 국가종합목록 구축의 노드가 되는 국가서지기관과 종합목록 운영기관의 역할과 협력방안을 제안한다.

  • PDF

지방자치단체의 경제, 사회, 문화 통합 DB 구축 방안 (Integrated Database for Economic, Social, and Cultural Data of Local Governments)

  • 임광혁
    • 한국콘텐츠학회논문지
    • /
    • 제16권6호
    • /
    • pp.441-449
    • /
    • 2016
  • 지방 균형발전을 위한 지방자치단체(이하 지자체) 현황 분석을 위해서는 경제, 사회, 문화 전반에 걸친 종합적인 자료의 활용이 필수적이지만, 지자체의 각 예산 및 활동별로 담당 중앙정부 부처가 다른 이유로 통합적인 관리가 이루어지지 않고 있다. 정부 3.0 시대에 맞춰 다양한 정보가 공개되고 있으나, 관계된 정보들이 여러 기관에 산재되어 있어 연구자들이 하나의 논제에 대해 통합적인 분석을 하는 데 큰 어려움이 상존한다. 그리고 이러한 정보 분산은 지역 균형발전을 위한 현황 분석 및 대안 제시를 목적으로 하는 연구자들의 연구 활용에 필요한 기반자료의 부족을 초래하고 효율적인 연구에 저해가 되고 있다. 본 연구는 지자체 관련 연구자들의 연구 활동을 지원할 수 있는 지자체 통합 데이터베이스(DB)의 구축 방안을 제안하였다. 지자체 통합 DB는 지자체의 경제, 사회, 문화 활동에 대한 분산되고 이질적인 자료를 망라하여야 하며, 지자체 간 그리고 데이터 구성 요소 간의 차이를 고려해서 전체 자료를 통합할 수 있는 스키마(schema)를 설계하고 이에 바탕을 두고 구축되어야 한다. 그리고 지자체별 또는 연도별과 같은 공통 요소를 통한 교차 분석이 가능하도록 통합 DB를 설계함으로써 다면적인 연구 분석을 위한 프레임워크를 구축하는 데 중점을 두어야 한다.

분산병렬처리 환경에서 오토매핑 기법을 통한 NoSQL과 RDBMS와의 연동 (Interoperability between NoSQL and RDBMS via Auto-mapping Scheme in Distributed Parallel Processing Environment)

  • 김희성;이봉환
    • 한국정보통신학회논문지
    • /
    • 제21권11호
    • /
    • pp.2067-2075
    • /
    • 2017
  • 최근 빅데이터가 주목받게 되면서 빅데이터를 처리하기 위한 시스템들도 중요하게 여겨지고 있다. 빅데이터 처리 시스템으로 분산파일시스템인 Hadoop과 비정형 데이터 처리를 위한 NoSQL 데이터 스토어가 주목받고 있다. 하지만 아직까지 NoSQL을 사용함에 있어 어려움이나 불편함도 존재한다. 저용량 데이터인 경우 NoSQL의 MapReduce는 불필요한 작업시간을 소모하게 되며, RDBMS 보다 상대적으로 많은 데이터 탐색 시간이 소요되기도 한다. 본 논문에서는 이러한 NoSQL의 문제점을 해결하기 위해 NoSQL과 RDBMS 간의 연동 기법을 제안하였다. 개발한 오토매핑 기법은 처리할 데이터의 양에 따라 적합한 데이터베이스를 사용하게 하여 결과적으로 검색시간을 빠르게 할 수 있다. 실험 결과 제안한 데이터베이스 연동 기법은 특정 데이터 셋의 경우 검색시간을 최대 35%까지 줄일 수 있다.

아파치 스쿱을 사용한 하둡의 데이터 적재 성능 영향 요인 분석 (Analysis of the Influence Factors of Data Loading Performance Using Apache Sqoop)

  • ;고정현;여정모
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권2호
    • /
    • pp.77-82
    • /
    • 2015
  • 빅데이터 기술은 데이터 처리 속도가 빠르다는 면에서 주목을 받고 있다. 그리고 관계형 데이터베이스(Relational Database: RDB)에 저장되어있는 대용량 정형 데이터를 더 빠르게 처리하기 위해서 빅데이터 기술을 활용하는 연구도 진행되고 있다. 다양한 분산 처리 도구들을 사용하여 분석 성능을 측정하는 연구는 많지만 분석하기 전 단계인 정형 데이터 적재의 성능에 관한 연구는 미미하다. 때문에 본 연구에서는 RDB 안에 저장되어있는 정형 데이터를 아파치 스쿱(Apache Sqoop)을 사용하여 분산 처리 플랫폼 하둡(Hadoop)으로 적재하는 성능을 측정하였다. 그리고 적재에 영향을 미치는 요인을 분석하기 위해 여러 가지 영향 요소를 변경해가면서 반복적으로 실험을 수행하였고 RDB 기반으로 구성된 서버 간의 적재 성능과 비교하였다. 실험 환경에서 아파치 스쿱의 적재 속도가 낮았지만 실제 운영하고 있는 대규모 하둡 클러스터 환경에서는 더 많은 하드웨어 자원이 확보되기 때문에 훨씬 더 좋은 성능을 기대할 수 있다. 이는 향후 진행할 적재 성능 개선 및 하둡 환경에서 정형 데이터를 분석하는 전체적인 단계의 성능을 향상시킬 수 있는 방법에 대한 연구의 기반이 될 것으로 예상한다.

분산환경에서 혼용 뷰 관리기법을 채택한 이질적인 멀티데이타베이스 상호운용 모델 설계 (A Design of Model for Interoperability in Heterogeneous Multi-Database Adopting Mixed View Management Mechanism on Distributed Environments)

  • 이승용;박재복;김명희;주수종
    • 정보처리학회논문지D
    • /
    • 제12D권4호
    • /
    • pp.531-542
    • /
    • 2005
  • 본 논문에서는 이질 환경의 지역 데이터베이스 시스템(Local DataBase System: LDBS)을 분산 시스템 형태로 통합하고 전역 사용자에게 빠른 질의 처리를 제공하는 멀티 데이터베이스 관리 시스템(Multi-DataBase Management System: MDBMS)을 제안한다. 이를 위해 MDBMS의 구성 요소들의 기능을 정의하고 그들 간의 상호작용을 설계한다 또한, 구성요소 중 전역 뷰 관리자 관점에서 전역 질의에 대한 결과 정보가 전역 뷰 저장소에 모두 저장되어 있는 경우. 전혀 없는 경우, 그리고 일부 저장되어 있는 경우를 비교하여 객체간의 인터페이스 및 메소드 호출에 따른 시퀀스 다이아그램을 통하여 본 시스템의 기능을 정립한다. 마지막으로, 정립된 기능을 토대로 예제 질의를 이용한 각 기능들의 수행과정을 나타내어 구체적으로 설계된 모델을 제안한다.