• 제목/요약/키워드: real-time databases

검색결과 185건 처리시간 0.024초

Relational Data Extraction and Transformation: A Study to Enhance Information Systems Performance

  • Forat Falih, Hasan;Muhamad Shahbani Abu, Bakar
    • Journal of information and communication convergence engineering
    • /
    • 제20권4호
    • /
    • pp.265-272
    • /
    • 2022
  • The most effective method to improve information system capabilities is to enable instant access to several relational database sources and transform data with a logical structure into multiple target relational databases. There are numerous data transformation tools available; however, they typically contain fixed procedures that cannot be changed by the user, making it impossible to fulfill the near-real-time data transformation requirements. Furthermore, some tools cannot build object references or alter attribute constraints. There are various situations in which tool changes in data type cause conflicts and difficulties with data quality while transforming between the two systems. The R-programming language was extensively used throughout this study, and several different relational database structures were utilized to complete the proposed study. Experiments showed that the developed study can improve the performance of information systems by interacting with and exchanging data with various relational databases. The study addresses data quality issues, particularly the completeness and integrity dimensions of the data transformation processes.

Analysis of Impact Between Data Analysis Performance and Database

  • Kyoungju Min;Jeongyun Cho;Manho Jung;Hyangbae Lee
    • Journal of information and communication convergence engineering
    • /
    • 제21권3호
    • /
    • pp.244-251
    • /
    • 2023
  • Engineering or humanities data are stored in databases and are often used for search services. While the latest deep-learning technologies, such like BART and BERT, are utilized for data analysis, humanities data still rely on traditional databases. Representative analysis methods include n-gram and lexical statistical extraction. However, when using a database, performance limitation is often imposed on the result calculations. This study presents an experimental process using MariaDB on a PC, which is easily accessible in a laboratory, to analyze the impact of the database on data analysis performance. The findings highlight the fact that the database becomes a bottleneck when analyzing large-scale text data, particularly over hundreds of thousands of records. To address this issue, a method was proposed to provide real-time humanities data analysis web services by leveraging the open source database, with a focus on the Seungjeongwon-Ilgy, one of the largest datasets in the humanities fields.

내장형 시스템을 위한 실시간 데이터베이스 엔진 설계 및 구현 (The Design and Implementation of a Real-Time Database Engine For Embedded Systems)

  • 김흥섭;문승진
    • 인터넷정보학회논문지
    • /
    • 제3권5호
    • /
    • pp.19-29
    • /
    • 2002
  • 정보화 사회가 가속됨에 따라 첨단 기능을 탑재한 많은 기기들이 만들어지고 있다. 기존의 펌웨어로 기능을 구현하는 데는 많은 제약 사항들이 생기게 되었다. 펌웨어의 대안으로 등장하기 시작한 것이 임베디드 운영체제이다. 임베디드 리눅스는 기존의 임베디드 운영체제의 고비용의 문제를 해결할 수 있는 방안으로 주목을 받기 시작을 했으며, 많은 연구가 진행되고 있다. 리눅스는 많은 프로그램을 가지고 있다. 그러나, 임베디드 데이터베이스 프로그램들은 고가의 비용을 요구하고 있다. 본 논문에서 제시하는 ERT DE는 기존의 오픈되어진 소스를 리눅스에서 가능하게 하였으며, 쿼리 레벨에서의 리얼타임 기능을 구현하고자한다.

  • PDF

Design and Implementation of Web Crawler with Real-Time Keyword Extraction based on the RAKE Algorithm

  • Zhang, Fei;Jang, Sunggyun;Joe, Inwhee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.395-398
    • /
    • 2017
  • We propose a web crawler system with keyword extraction function in this paper. Researches on the keyword extraction in existing text mining are mostly based on databases which have already been grabbed by documents or corpora, but the purpose of this paper is to establish a real-time keyword extraction system which can extract the keywords of the corresponding text and store them into the database together while grasping the text of the web page. In this paper, we design and implement a crawler combining RAKE keyword extraction algorithm. It can extract keywords from the corresponding content while grasping the content of web page. As a result, the performance of the RAKE algorithm is improved by increasing the weight of the important features (such as the noun appearing in the title). The experimental results show that this method is superior to the existing method and it can extract keywords satisfactorily.

A Metabolic Pathway Drawing Algorithm for Reducing the Number of Edge Crossings

  • Song Eun-Ha;Kim Min-Kyung;Lee Sang-Ho
    • Genomics & Informatics
    • /
    • 제4권3호
    • /
    • pp.118-124
    • /
    • 2006
  • For the direct understanding of flow, pathway data are usually represented as directed graphs in biological journals and texts. Databases of metabolic pathways or signal transduction pathways inevitably contain these kinds of graphs to show the flow. KEGG, one of the representative pathway databases, uses the manually drawn figure which can not be easily maintained. Graph layout algorithms are applied for visualizing metabolic pathways in some databases, such as EcoCyc. Although these can express any changes of data in the real time, it exponentially increases the edge crossings according to the increase of nodes. For the understanding of genome scale flow of metabolism, it is very important to reduce the unnecessary edge crossings which exist in the automatic graph layout. We propose a metabolic pathway drawing algorithm for reducing the number of edge crossings by considering the fact that metabolic pathway graph is scale-free network. The experimental results show that the number of edge crossings is reduced about $37{\sim}40%$ by the consideration of scale-free network in contrast with non-considering scale-free network. And also we found that the increase of nodes do not always mean that there is an increase of edge crossings.

실시간 데이터베이스에 대한 스케쥴링 정책의 성능 평가 (Performance Evaluation for Scheduling Policies on a Realtime Database)

  • 김수희;한광록;김환구;손상혁
    • 융합보안논문지
    • /
    • 제4권3호
    • /
    • pp.57-82
    • /
    • 2004
  • 컴퓨터, 통신과 데이터베이스가 합류하여 빠른 속도로 분산 데이터베이스를 생성하고 있는 시점에서, 많은 응용들은 이러한 데이터베이스를 대상으로 시간적으로 일관성이 있는 센서 데이터를 실시간으로 접근하는 것을 필요로 한다. 전통적인 비실시간 데이터베이스와 객체 관리 시스템에 비해서 성능과 기능면에서 상당히 향상된 점들을 제공하기 위해 BeeHive라는 객체 지향 실시간 데이터베이스 시스템을 개발하였다. 이 논문에서는, 데이터 데드라인을 인지하는 두 가지의 스케쥴링 정책 EDDF와 EDF-DC, 기준이 되는 EDF의 성능이 BeeHive 상에서 수락제어가 있는 경우와 없는 경우로 나누어 광범위한 실험을 통해 평가되었다. 데이터 데드라인을 인지하는 스케쥴링 정책들이 효율적인 영역과 수락제어가 중요한 역할을 하는 영역을 구분하여 확인하였다.

  • PDF

TMS320C6201 DSP를 이용한 HMM 기반의 음성인식기 구현 (Implementation of HMM Based Speech Recognizer with Medium Vocabulary Size Using TMS320C6201 DSP)

  • 정성윤;손종목;배건성
    • The Journal of the Acoustical Society of Korea
    • /
    • 제25권1E호
    • /
    • pp.20-24
    • /
    • 2006
  • In this paper, we focused on the real time implementation of a speech recognition system with medium size of vocabulary considering its application to a mobile phone. First, we developed the PC based variable vocabulary word recognizer having the size of program memory and total acoustic models as small as possible. To reduce the memory size of acoustic models, linear discriminant analysis and phonetic tied mixture were applied in the feature selection process and training HMMs, respectively. In addition, state based Gaussian selection method with the real time cepstral normalization was used for reduction of computational load and robust recognition. Then, we verified the real-time operation of the implemented recognition system on the TMS320C6201 EVM board. The implemented recognition system uses memory size of about 610 kbytes including both program memory and data memory. The recognition rate was 95.86% for ETRI 445DB, and 96.4%, 97.92%, 87.04% for three kinds of name databases collected through the mobile phones.

보안시스템을 위한 실시간 저해상도 얼굴 인식 알고리즘 (Real-time Low-Resolution Face Recognition Algorithm for Surveillance Systems)

  • 권오설
    • 방송공학회논문지
    • /
    • 제25권1호
    • /
    • pp.105-108
    • /
    • 2020
  • 본 논문은 초고해상도 기법을 이용한 실시간 저해상도 얼굴 인식 시스템을 제안한다. 기존의 비대면 얼굴인식은 거리에 따라 해상도가 저하되면서 얼굴인식의 성능이 저하되는 한계가 있다. 이러한 문제를 해결하기 위해서 초고해상도 기법에 대한 연구도 진행되었으나 비대면 얼굴인식 전 과정에 대한 통합적인 설계에 관한 연구는 미흡하다. 제안한 비대면 얼굴인식은 저해상도 영상으로 키프레임 검출, 얼굴검출, 초고해상도 기법, 특징추출 및 얼굴인식 결과까지 약 2초 이내에 수행함으로써 먼 거리에서도 비대면 얼굴인식의 성능을 향상하였다. 다양한 형태의 영상에 대한 실험을 통해 제안한 방법은 기존 방법에 비해 실시간 및 성능측면에서 저해상도 얼굴 인식이 우수함을 확인하였다.

IoT 기반의 실시간 에너지 사용 데이터 수집 및 분석 시스템 개발 (A Development of Real-time Energy Usage Data Collection and Analysis System based on the IoT)

  • 황현숙;서영원
    • 한국멀티미디어학회논문지
    • /
    • 제22권3호
    • /
    • pp.366-373
    • /
    • 2019
  • The development of monitoring and analysis systems to increase productivity while saving energy is needed as a method to reduce huge amount of energy consumed in the process of producing large forged products. In this paper, we propose a system to monitor and analyze energy usage in real-time collected from gas-meter, wattmeter, and thermometer based on IoT installed in forging factories. The system consists of a data collection server for collecting and processing data from IoT- based platform and existing SCADA equipment and ERP/MES system in forging factories, and an application server for providing services to users. To develop the system, the overall system structure is logically diagrammed, and the databases configuration and implementation modules to efficiently store and manage data are presented. In the future, the system will be utilized to reduce energy consumption by analyzing energy usage pattern and optimizing process works with real-time energy usage and production process data for each facility.

위치 기반 서비스를 위한 시공간 데이터모델에 관한 연구 (A Study on a Spatio-Temporal Data Model for Location-Based Service)

  • 정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제5권2호
    • /
    • pp.5-21
    • /
    • 2003
  • 차세대 무선 인터넷의 킬러 어플리케이션으로 주목받고 있는 위치기반서비스는 시간에 따른 시공간 객체의 위치 및 영역 변화에 대한 분석 기능이 필수적이다. 시공간 데이터베이스 시스템은 대용량 시공간객체의 실시간 위치 정보를 효과적으로 저장하고 빠른 검색을 제공하는 시스템으로 그 필요성이 증가하고 있다. 또한, 시공간 데이터베이스 시스템에서는 시공간 객체의 비공간정보와 공간정보 및 시간정보를 통합 관리할 수 있고, 시간 정보와 관련된 연산을 효율적으로 처리할 수 있는 시공간 데이터모델에 대한 연구가 활발히 진행중이다. 본 논문에서는 시간 흐름에 따라 동적으로 변화하는 시공간 객체 정보들을 현재 시점의 상태와 과거의 변화 과정에 대한 정보를 효과적으로 관리할 수 있는 시공간 데이터 모델을 제안한다. 또한 제안하는 시공간 데이터 모델을 위한 다양한 시공간 연산을 설계하며, 시공간 데이터와 시공간 객체 연산의 무결성을 유지하기 위한 제약조건을 제시한다.

  • PDF