• 제목/요약/키워드: Large-scale database

검색결과 298건 처리시간 0.033초

GPS 도면 지식정보 관리시스템 기술기반에 관한연구 (A study on GPS management system on the basis of technology)

  • 박동희;추준섭;김종민;길기용
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2009년도 춘계학술대회 논문집
    • /
    • pp.1931-1935
    • /
    • 2009
  • Korean railway network GIS-based information system requires so much cost and time. One of the difficulties is due to the fact that GIS-based information system requires the feature database for GIS, which is generally built manually from many as-built drawing files. In order to build-up database automatically Using GPS coordinates, this study suggests the automatic data conversion from electronic drawings to make feature database for GIS. The proposed method can be applied to build large-scale railway facility management system.

  • PDF

통신망환경 한국어 공통음성 DB 구축 (Common Speech Database Collection for Telecommunications)

  • 김상훈;박문환;김현숙
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2003년도 5월 학술대회지
    • /
    • pp.23-26
    • /
    • 2003
  • This paper presents common speech database collection for telecommunication applications. During 3 year project, we will construct very large scale speech and text databases for speech recognition, speech synthesis, and speaker identification. The common speech database has been considered various communication environments, distribution of speakers' sex, distribution of speakers' age, and distribution of speakers' region. It consists of Korean continuous digit, isolated words, and sentences which reflects Korean phonetic coverage. In addition, it consists of various pronunciation style such as read speech, dialogue speech, and semi-spontaneous speech. Thanks to the common speech databases, the duplicated resources of Korean speech industries are prohibited. It encourages domestic speech industries and activate speech technology domestic market.

  • PDF

A New Flash-aware Buffering Scheme Supporting Virtual Page Flushing

  • Lim, Seong-Chae
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제14권3호
    • /
    • pp.161-170
    • /
    • 2022
  • Recently, NAND-type flash memory has been regarded to be new promising storage media for large-scale database systems. For flash memory to be employed for that purpose, we need to reduce its expensive update cost caused by the inablity of in-place updates. To remedy such a drawback in flash memory, we propose a new flash-aware buffering scheme that enables virtual flushing of dirty pages. To this end, we slightly alter the tradional algorithms used for the logging scheme and buffer management scheme. By using the mechanism of virtual flushing, our proposed buffering scheme can efficiently prevent the frequenct occureces of page updates in flash storage. Besides the advantage of reduced page updates, the proposed viurtual flushing mechanism works favorably for shorneing a recocery time in the presense of failure. This is because it can reduce the time for redo actions during a recovry process. Owing to those two benefits, we can say that our scheme couble be very profitable when it is incorporated into cutting-edge flash-based database systems.

External vs. Internal: An Essay on Machine Learning Agents for Autonomous Database Management Systems

  • Fatima Khalil Aljwari
    • International Journal of Computer Science & Network Security
    • /
    • 제23권10호
    • /
    • pp.164-168
    • /
    • 2023
  • There are many possible ways to configure database management systems (DBMSs) have challenging to manage and set.The problem increased in large-scale deployments with thousands or millions of individual DBMS that each have their setting requirements. Recent research has explored using machine learning-based (ML) agents to overcome this problem's automated tuning of DBMSs. These agents extract performance metrics and behavioral information from the DBMS and then train models with this data to select tuning actions that they predict will have the most benefit. This paper discusses two engineering approaches for integrating ML agents in a DBMS. The first is to build an external tuning controller that treats the DBMS as a black box. The second is to incorporate the ML agents natively in the DBMS's architecture.

Korea Barcode of Life Database System (KBOL)

  • Kim, Sung-Min;Kim, Chang-Bae;Min, Gi-Sik;Suh, Young-Bae;Bhak, Jong;Woo, Tae-Ha;Koo, Hye-Young;Choi, Jun-Kil;Shin, Mann-Kyoon;Jung, Jong-Woo;Song, Kyo-Hong;Ree, Han-Il;Hwang, Ui-Wook;Park, Yung-Chul;Eo, Hae-Seok;Kim, Joo-Pil;Yoon, Seong-Myeong;Rho, Hyun-Soo;Kim, Sa-Heung;Lee, Hang;Min, Mi-Sook
    • Animal cells and systems
    • /
    • 제16권1호
    • /
    • pp.11-19
    • /
    • 2012
  • A major concern regarding the collection and storage of biodiversity information is the inefficiency of conventional taxonomic approaches in dealing with a large number of species. This inefficiency has increased the demand for automated, rapid, and reliable molecular identification systems and large-scale biological databases. DNA-based taxonomic approaches are now arguably a necessity in biodiversity studies. In particular, DNA barcoding using short DNA sequences provides an effective molecular tool for species identification. We constructed a large-scale database system that holds a collection of 5531 barcode sequences from 2429 Korean species. The Korea Barcode of Life database (KBOL, http://koreabarcode.org) is a web-based database system that is used for compiling a high volume of DNA barcode data and identifying unknown biological specimens. With the KBOL system, users can not only link DNA barcodes and biological information but can also undertake conservation activities, including environmental management, monitoring, and detecting significant organisms.

InnoDB 기반 DBMS에서 다중 버퍼 풀 오버헤드 분석 (An Analysis of the Overhead of Multiple Buffer Pool Scheme on InnoDB-based Database Management Systems)

  • 송용주;이민호;엄영익
    • 정보과학회 논문지
    • /
    • 제43권11호
    • /
    • pp.1216-1222
    • /
    • 2016
  • 대규모 웹 서비스의 등장으로 데이터의 규모가 점차 증가하는 추세이다. 이러한 대규모 데이터를 효율적으로 관리하기 위해 MySQL과 MariaDB와 같은 DBMS가 주로 사용되고 있으며, 이들은 데이터 관리를 위한 스토리지 엔진으로 InnoDB를 주로 사용한다. InnoDB는 ACID를 보장할 뿐만 아니라 대규모 데이터 처리에 적합하다는 장점이 있기 때문이다. InnoDB의 경우, I/O 성능 향상을 위해 버퍼 풀을 통해 데이터와 인덱스를 캐싱하며 락 경쟁(lock contention)을 줄이기 위해 다중 버퍼 풀을 지원한다. 그러나 다중 버퍼 풀 기법은 데이터 일관성 오버헤드를 증가시킨다. 본 논문에서는 다중 버퍼 풀 기법의 오버헤드를 분석한다. 실험 결과, 다중 버퍼 풀 기법을 사용함에 따라 락 경쟁이 최대 46.3%까지 완화되었지만 디스크 I/O와 fsync 명령이 증가하면서 DBMS의 처리량이 50.6%까지 떨어지는 현상을 확인하였다.

아파치 스쿱을 사용한 하둡의 데이터 적재 성능 영향 요인 분석 (Analysis of the Influence Factors of Data Loading Performance Using Apache Sqoop)

  • ;고정현;여정모
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권2호
    • /
    • pp.77-82
    • /
    • 2015
  • 빅데이터 기술은 데이터 처리 속도가 빠르다는 면에서 주목을 받고 있다. 그리고 관계형 데이터베이스(Relational Database: RDB)에 저장되어있는 대용량 정형 데이터를 더 빠르게 처리하기 위해서 빅데이터 기술을 활용하는 연구도 진행되고 있다. 다양한 분산 처리 도구들을 사용하여 분석 성능을 측정하는 연구는 많지만 분석하기 전 단계인 정형 데이터 적재의 성능에 관한 연구는 미미하다. 때문에 본 연구에서는 RDB 안에 저장되어있는 정형 데이터를 아파치 스쿱(Apache Sqoop)을 사용하여 분산 처리 플랫폼 하둡(Hadoop)으로 적재하는 성능을 측정하였다. 그리고 적재에 영향을 미치는 요인을 분석하기 위해 여러 가지 영향 요소를 변경해가면서 반복적으로 실험을 수행하였고 RDB 기반으로 구성된 서버 간의 적재 성능과 비교하였다. 실험 환경에서 아파치 스쿱의 적재 속도가 낮았지만 실제 운영하고 있는 대규모 하둡 클러스터 환경에서는 더 많은 하드웨어 자원이 확보되기 때문에 훨씬 더 좋은 성능을 기대할 수 있다. 이는 향후 진행할 적재 성능 개선 및 하둡 환경에서 정형 데이터를 분석하는 전체적인 단계의 성능을 향상시킬 수 있는 방법에 대한 연구의 기반이 될 것으로 예상한다.

EJB 기반의 워크플로우 정의 데이터베이스 에이전트 설계 및 구현 (An EJB-Based Database Agent for Workflow Definition)

  • 오동근;김광훈
    • 인터넷정보학회논문지
    • /
    • 제2권5호
    • /
    • pp.41-47
    • /
    • 2001
  • 본 논문은 워크플로우 관리 시스템의 주요 기능 중에 하나인, 워크플로우 모델 정의 기능을 담당하는 EJB 기반의 DB 에이전트를 설계 및 구현함으로서, 이를 EJB 컴포넌트화 하는데 그 목적을 두고 있다. 본 논문에서 구현한 EJB 기반의 DB 에이전트는 빌드타임 클라이언트 각각의 모듈과 DB사이에 위치하여. OB에 대한 연결관리와 자료의 호출 및 저장을 수행한다. EJB의 장점으로는 분산객체 기술에 기반을 둔 표준 서버 측 컴포넌트 모델인 점과 그리고 시스템 장애(failover), 트랜잭션, 보안등의 기능들을 서버 차원에서 안정적으로 지원하는 기능을 가지고 있다. 이러한 EJB를 워크플로우에 적용함으로서 시스템이질성 및 상호 운영성의 제한과 급격히 증가하는 프로세스에 따른 시스템 오버헤드 및 장애(failure)에 대한 문제를 해결하여 시스템의 정확성과 신뢰성을 높일 수가 있다.

  • PDF

지식기반 (Knowledge-based) 질의응답시스템: 사실 자료 (Faet Database)구축을 중심으로 (A Knowledge-based Question-Answering System: With A View To Constructing A Fact Database)

  • 신효필
    • 인지과학
    • /
    • 제13권1호
    • /
    • pp.41-51
    • /
    • 2002
  • 본 논문에서는 질의어 응답시스템에 있어 핵심이 되는 사실 자료 (Fact Database) 구축의 관점에서 지식기반 방법의 중요성과 그 과정에 대해서 논의한다. 지식기반 질의어 시스템은 기존의 이용가능한 자연언어처리의 자원-형태소, 구문, 의미분석 등-과 온톨로지라는 개념구조망을 이용하는 시스템으로 이 개념을 현실세계의 사실 자료와 연결시켜 개념구조가 지닌 속성과 값의 확장을 통해 그 가능한 응답을 유도해 내는 시스템이다. 이 시스템 구축에 있어 실제 세계의 자료를 수집하고 가공하고 개념화하는 과정은 이 시스템의 성패를 좌우하는 핵심작업으로 아직은 완전히 자동화되기 어렵다. 그러나 지식기반에 기초한 방법은 응용시스템의 질적 향상이라는 측면에서 진지하게 논의될 필요가 있다. 이 글에서는 사실 자료 구축의 관점에서 이런 작업들이 어떻게 행해져야 하는지 그리고 그 방법론이 지닌 특징 및 문제점에 대해 논의한다.

  • PDF

한국 근해 쌍끌이 대형기선저인망어선의 규모별 효율성과 어회능력 활용도 평가 (Scale Efficiency and Fishing Capacity Analysis for Large Pair-Trawl Vessels in Korean Waters)

  • 이동우;이재봉;정석근;김영혜
    • 한국수산과학회지
    • /
    • 제41권6호
    • /
    • pp.485-492
    • /
    • 2008
  • To propose proper vessel characteristics for sustainable fisheries in Korean waters, we analyzed the fishing capacity, scale efficiency and utilization of large pair-trawl vessels based on the database of catch, effort and vessel characteristics (gross tonnage and engine power) in 1990 by applying data envelopment analysis (DEA). The input factors were gross tonnage, horse power and days operated; whereas the output factor was expected catch by vessel characteristics. The optimal vessel types, selected based on the input-oriented technical efficiency and gross tonnages, was 100 GT with engine power <600 HP. The output-oriented unbiased estimate of capacity utilization (CD) decreased with increasing vessel tonnage. For the same tonnage vessels, the CD decreased with increasing engine power.