• 제목/요약/키워드: Heterogeneous data integration

검색결과 167건 처리시간 0.022초

Computational Challenges for Integrative Genomics

  • Kim, Junhyong;Magwene, Paul
    • Genomics & Informatics
    • /
    • 제2권1호
    • /
    • pp.7-18
    • /
    • 2004
  • Integrated genomics refers to the use of large-scale, systematically collected data from various sources to address biological and biomedical problems. A critical ingredient to a successful research program in integrated genomics is the establishment of an effective computational infrastructure. In this review, we suggest that the computational infrastructure challenges include developing tools for heterogeneous data organization and access, innovating techniques for combining the results of different analyses, and establishing a theoretical framework for integrating biological and quantitative models. For each of the three areas - data integration, analyses integration, and model integration - we review some of the current progress and suggest new topics of research. We argue that the primary computational challenges lie in developing sound theoretical foundations for understanding the genome rather than simply the development of algorithms and programs.

이종 데이터 간 관계 모델링을 통한 개인화 추천 시스템의 지식 그래프 확장 기법 (Extended Knowledge Graph using Relation Modeling between Heterogeneous Data for Personalized Recommender Systems)

  • 이승주;안석호;이의종;서영덕
    • 스마트미디어저널
    • /
    • 제12권4호
    • /
    • pp.27-40
    • /
    • 2023
  • 많은 추천 시스템 연구에서는 다양한 이종 데이터를 상호 호환적으로 통합하여 추천 시스템의 고질적인 데이터 부족 문제를 해결하고자 한다. 하지만, 지식 그래프를 활용하여 이종 데이터의 통합을 달성한 추천 시스템 연구는 거의 없으며, 대부분 연구에서는 기구축된 지식 그래프 상의 개체 간 연결이 명시적 관계로만 구성되어있다는 한계가 존재한다. 본 논문에서는 이종 데이터의 통합을 위해 다중 지식 베이스로부터 추출한 데이터 간 관계 모델링을 수행하고, 이를 통해 지식 그래프를 확장하는 방법을 제안한다. 또한, 딥러닝 기반의 잠재적 관계 모델링을 통해 지식 그래프 상 개체 간 관계 정보의 신뢰성을 높이고자 한다. 본 논문에서 제안하는 확장된 지식 그래프를 사용하면 개체의 특성 벡터 품질이 개선되고, 최종적으로 예측된 사용자 선호도의 정확성을 높일 수 있다. 또한, 실험을 통해 확장된 지식 그래프 기반 추천 정확도가 기존 지식 그래프 기반 추천 정확도에 비해 향상되었음을 확인하였다.

수질복원시설물 내 센서 네트워크 이기종간 인터페이스용 프로토콜에 관한 연구 (A Study for Protocol for Heterogeneous Interface in Sensor Networks within Water Restore Facilities)

  • 김찬;신재권;차재상
    • 한국인터넷방송통신학회논문지
    • /
    • 제12권5호
    • /
    • pp.255-260
    • /
    • 2012
  • 현재 운영되는 주요 하 폐수 처리시설 관리에 있어 환경 보호를 위한 엄격한 규제로 수질오염 측정 시스템에 관한 시스템이 부각되고 있다. 하지만 기존 하 폐수 처리 시스템은 하 폐수에 특화된 수질감시 기술이 미흡하며, 그중 센서와 네트워크를 통한 1:n 데이터 전송이 아닌 1:1을 지향하며, 이기종간 통신방식에 대한 호환성이 미비하다. 또한, 주로 수동방식의 검출방식을 준수하고 있다. 이에 본 논문에서는 수질복원시설물 내에 자동화된 센서 네트워크 통합 인터페이스를 위한 센서와 수질감지통합인터페이스간의 효율적인 데이터 전송에 관한 프로토콜 기술에 관해 연구하였다. 센서 네트워크 통합 인터페이스용 모니터링 구현을 통해 이기종간 통신방식으로 원활한 데이터 전송이 가능함을 입증하였다.

분산환경에서 XMDR 기반의 멀티데이터 베이스 상호운영 모델 설계 (A Design of Model For Interoperability in Multi-Database based XMDR on Distributed Environments)

  • 정계동;황치곤;최영근
    • 한국정보통신학회논문지
    • /
    • 제11권9호
    • /
    • pp.1771-1780
    • /
    • 2007
  • 인터넷의 발달과 기업환경의 변화로 인해 정보통합의 필요성이 강조되고 있고, 기업에서는M&A를 통해 기존의 구축된 멀티-데이터 베이스를 통합해야 하는 경우가 많다. 이러한 정보의 통합을 위해서는 이질성의 문제를 해결하여 상호운용성을 보장해야 하며, 안정된 통합을 보장해야 한다. 본 논문에서는 이질성 환경에서 상호운용성 문제를 해결하기 위해 표준과 로컬간의 연관성을 명시한 XMDR(eXtended Meta-Data Registry)을 기반으로 상호운영을 위한 글로벌 XML 쿼리를 로컬 XML 쿼리로 변화할 수 있는 방법을 제안한다. 따라서 XMDR에 의한 글로벌 XML 쿼리를 생성하여 멀티-데이터 베이스를 하나의 질의로 검색과 수정이 가능하게 하고, 래퍼는 레거시에 적합하도록 변환할 수 있도록 레퍼를 구체적으로 설계된 모델을 제안하고, 이러한 처리를 위하여 기존의 분산 트랜잭션 처리기법인 2PC방식을 적용하였다.

Ontology-based Facility Maintenance Information Integration Model using IFC-based BIM data

  • Kim, Karam;Yu, Jungho
    • 국제학술발표논문집
    • /
    • The 6th International Conference on Construction Engineering and Project Management
    • /
    • pp.280-283
    • /
    • 2015
  • Many construction projects have used the building information modeling (BIM) extensively considering data interoperability throughout the projects' lifecycles. However, the current approach, which is to collect the data required to support facility maintenance system (FMS) has a significant shortcoming in that there are various individual pieces of information to represent the performance of the facility and the condition of each of the elements of the facility. Since a heterogeneous external database could be used to manage a construction project, all of the conditions related to the building cannot be included in an integrated BIM-based building model for data exchange. In this paper, we proposed an ontology-based facility maintenance information model to integrate multiple, related pieces of information on the construction project using industry foundation classesbased (IFC-based) BIM data. The proposed process will enable the engineers who are responsible for facility management to use a BIM-based model directly in the FMS-based work process without having to do additional data input. The proposed process can help ensure that the management of FMS information is more accurate and reliable.

  • PDF

분산환경 국토공간정보의 통합 시스템 구축방안에 관한 연구 (A Development of Integration System for Distributed Geospatial Data of Homeland)

  • 주영은;최준석;이진덕;한승희
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2010년 춘계학술발표회 논문집
    • /
    • pp.121-123
    • /
    • 2010
  • 현재 각 지자체 및 연구기관들은 이기종(異機種) 데이터베이스 상에서 각각의 목적에 맞도록 DB를 구축하며 활용하고 있다. 이러한 국토공간정보를 통합하기 위해 일반적으로 물리적 통합방식을 사용하고 있으나 이는 시간과 자원의 소모가 크며 주기적인 갱신 및 동기화가 요구된다. 따라서 본 연구에서는 물리적 통합방식의 비효율성을 극복하기 위해 이기종 데이터베이스의 속성 정보(attribute information)기반의 논리적인 연계 통합방식을 제안하고 이를 구현하기 위한 시스템 설계 및 구축 방안을 제시하고자 한다. 이를 통해 사용자 맞춤형 국토공간정보를 제공할 수 있는 시스템을 구축한 후, 실제 특정 지역의 도로데이터를 이용하여 기능을 검증하였다.

  • PDF

Use of Graph Database for the Integration of Heterogeneous Biological Data

  • Yoon, Byoung-Ha;Kim, Seon-Kyu;Kim, Seon-Young
    • Genomics & Informatics
    • /
    • 제15권1호
    • /
    • pp.19-27
    • /
    • 2017
  • Understanding complex relationships among heterogeneous biological data is one of the fundamental goals in biology. In most cases, diverse biological data are stored in relational databases, such as MySQL and Oracle, which store data in multiple tables and then infer relationships by multiple-join statements. Recently, a new type of database, called the graph-based database, was developed to natively represent various kinds of complex relationships, and it is widely used among computer science communities and IT industries. Here, we demonstrate the feasibility of using a graph-based database for complex biological relationships by comparing the performance between MySQL and Neo4j, one of the most widely used graph databases. We collected various biological data (protein-protein interaction, drug-target, gene-disease, etc.) from several existing sources, removed duplicate and redundant data, and finally constructed a graph database containing 114,550 nodes and 82,674,321 relationships. When we tested the query execution performance of MySQL versus Neo4j, we found that Neo4j outperformed MySQL in all cases. While Neo4j exhibited a very fast response for various queries, MySQL exhibited latent or unfinished responses for complex queries with multiple-join statements. These results show that using graph-based databases, such as Neo4j, is an efficient way to store complex biological relationships. Moreover, querying a graph database in diverse ways has the potential to reveal novel relationships among heterogeneous biological data.

이기종 데이터베이스 환경의 정보 통합을 위한 I2System(:Information Integration System) 설계 (I2system(:Information Integration System) Design for an Information Integration of Heterogeneous Databases)

  • 권도훈;박성공;이정욱;백두권
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.136-138
    • /
    • 2001
  • 인터넷과 통신기술의 발전으로 온라인 정보소스와 정보사용자의 수가 증가되었다. 이것은 정보시스템간 특히 데이터베이스간의 통합을 요구한다. 데이터베이스간 통합에 대한 연구는 오래 전부터 시작되었고, 많은 결과들이 발표되고 있다. 기존의 데이터베이스간 통합 방법은 일반적으로 전역데이터모델(Global Data Model)을 제공해야하며, 전역스키마(Global Schema) 작성, 전역스키마와 지역스키마간 번역과 같은 복잡한 작업들을 필요로 한다. 이는 최종 사용자에게 다양한 질의(정보)와 이질적인 지역 데이터베이스들에 대한 단일접근방법을 제공하기 위함이다. 하지만 데이터베이스간 통합이 요구되는 영역에서 필요한 정보만 제공해 준다면 다양한 질의를 제공하기 위한 기존 정보통합시스템들의 요구사항은 오버헤드로 작용한다. 본 논문은 데이터베이스간 통합 시 필요한 정보를 기반으로 데이터베이스간 통합을 하는 I2system(Information Integration System)을 제안한다. 이는 기존의 정보통합방법의 오버헤드를 줄이며, 단순하고 확장성 있는 데이터베이스간 통합을 제공한다.

  • PDF

효과적인 공간 데이터 마이닝을 위한 SOA 기반 데이터 통합 프레임워크 설계 (A Design of SOA-based Data Integration Framework for Effective Spatial Data Mining)

  • 문일환;허환;김삼근
    • 정보처리학회논문지D
    • /
    • 제18D권5호
    • /
    • pp.385-392
    • /
    • 2011
  • 최근 농업 분야에 IT를 접목시킨 농업-IT 융합 기술에 대한 연구가 주목 받고 있다. 특히, 공간 데이터 마이닝(spatial data mining, SDM)을 이용한 농작물 관련 예측 서비스들을 통해 자연재해에 대한 피해를 줄이고 농작물의 생산성을 높이고자 하는 연구들이 있어 왔다. 그러나 예측 서비스를 위한 SDM에 필요한 학습 데이터는 분산되어 있는 데이터간의 이질성으로 인해 데이터 변환과 통합과정에 많은 비용과 시간이 발생한다. 또한 공간 데이터와 비공간 데이터 간의 공간적 이웃 관계를 연산하기 위해 대용량의 데이터에 대한 복잡한 연산과정이 필요하다. 본 논문에서는 각각의 데이터 소스를 하나의 서비스 단위로 취급함으로써 분산된 이질적인 데이터를 효과적으로 통합 관리할 수 있고 SDM을 위한 학습 데이터의 생산성을 향상시켜 최적의 예측 서비스의 발견을 지원해 주는 SOA 기반의 데이터 통합 프레임워크를 제안한다. 실험을 통해 경기도 이천시의 복숭아나무의 동해 피해지역에 대한 최적의 예측 서비스의 발견을 위해 제안 프레임워크를 효과적으로 적용할 수 있음을 확인하였다.

한의 임상 정보의 효율적 통합을 위한 한의임상 데이터베이스 및 E-CRF 입력 시스템 구축 (Implementation of database and E-CRF for efficient integration of Korean clinical data)

  • 소지호;전영주;이범주
    • 한국인터넷방송통신학회논문지
    • /
    • 제16권5호
    • /
    • pp.205-212
    • /
    • 2016
  • 최근 의학기술의 발전과 더불어 서양의학 뿐만 아니라 한의학 분야에서도 임상 데이터에 대한 통합 및 표준화에 관한 연구가 활발히 진행 중에 있다. 유사한 임상시험 뿐만 아니라 전혀 다른 임상시험의 데이터도 하나의 표준에 맞춰 통합 구축된다면 통합된 의료데이터는 암묵적 한의의료지식 도출연구에 활용될 수 있다. 따라서 본 논문에서는 한의임상 정보를 효율적으로 저장하기 위하여 국제표준으로 널리 사용되는 CDISC 표준안을 기반으로 한의임상 데이터베이스를 구축하였고, 임상현장에서 편리한 데이터 입력을 위해 E-CRF를 구축하였다. 아울러, 실제 4개의 임상연구에 대한 데이터 저장과정을 거쳐 한의임상 데이터 통합에 대한 예를 보였다. 우리의 연구 결과는 통합된 데이터로부터 암묵적 의료지식도출을 위한 기반을 마련하였고, 데이터 통합을 통한 효율적 관리뿐만 아니라 반복적이거나 불필요한 임상시험 방지, 정제 된 데이터의 재배포를 통하여 연구의 편리성과 협업을 촉진할 수 있다.