• 제목/요약/키워드: Data schema

검색결과 690건 처리시간 0.028초

XML기반의 그리드데이터 메타데이터 통합검색시스템 개발에 관한 연구 (Development of XML Based Integrated Metadata Accessing System)

  • 이재명;김계현;권오준
    • 한국공간정보시스템학회 논문지
    • /
    • 제7권2호
    • /
    • pp.39-45
    • /
    • 2005
  • 원격탐사기술과 GIS관련산업이 발달함에 따라 위성영상을 비롯하여 그리드데이터 성과물의 수요가 공공부문은 물론 민간기업에서의 급격히 증가하고 있다. 하지만 지금까지 국내의 경우 각 기관별로 필요에 따라 높은 비용과 많은 시간을 투자하여 메타데이타와 검색시스템을 구축하고 있기 때문에 체계적이고 통합적인 관리가 이루지지 않고 있다. 이와 같은 문제점을 해결하고자 그리드데이터의 표준화된 메타데이터를 근간으로 한 그리드데이터를 통합적으로 검색할 수 있는 그리드데이터 검색시스템의 개발이 시급한 실정이다. 본 연구에서는 그리드데이터의 효율적인 유통을 위해서 2003년 한국전자통신연구원 그리드데이터 유통목록(메타데이터) 관한 연구에서 제시한 표준화된 그리드데이터 메타데이터 모델을 바탕으로 기관별로 기 구축된 메타데이터를 분석하였으며, 유사항목을 도출하고 검색에 필요한 공통응용스키마를 정의하였다. 또한 사용자에게 그리드데이터에 대한 정보검색 및 선택이 편리하도록 '위성영상정보 통합관리센터'(SIMC)의 위성영상 메타데이터를 비롯하여 유관기관인 '인공위성연구센터'(SaTReC)에서 보유 위성영상 메타데이터까지 검색이 가능한 XML(extensible Markup Language)기반의 그리드데이터 메타데이터 통합검색 시스템을 개발하였다. 본 연구의 시범시스템 구축 결과를 토대로 향후 확장성 있고 효율적인 그리드 데이터 통합검색시스템 확대구축에 기여할 것으로 사료된다.

  • PDF

모바일 환경을 위한 GML 기반 시공간 질의 처리 시스템 (Spatio-Temporal Query Processing System based on GML for The Mobile Environment)

  • 김정준;신인수;원승호;이기영;한기준
    • Spatial Information Research
    • /
    • 제20권3호
    • /
    • pp.95-106
    • /
    • 2012
  • 최근 무선 액세스 망의 범위가 증가하고 발전함에 따라 다양한 분야에서 u-GIS 서비스가 지원되고 있으며, 특히 모바일 환경에서의 u-GIS 서비스를 위해 시공간 데이터가 널리 활용되고 있다. 그러나 모바일 환경에서 활용되는 시공간 데이터에 대한 표준이 없으므로 서로 다른 시공간 데이터를 사용하는 모바일 u-GIS 서비스 간의 상호운용성을 위한 효율적인 시공간 데이터 처리 기술이 필요하다. 또한 모바일 장치의 저용량과 낮은 성능을 고려한 시공간 데이터의 수집, 저장, 관리 시스템이 필수적이다. 따라서 본 논문에서는 모바일 환경에서 시공간 데이터의 효율적인 관리를 위해 GML 기반의 질의 처리 시스템을 설계 및 구현하였다. GML 기반 시공간 질의 처리 시스템은 GML 문서의 특성인 상호운용성을 유지하고 저장 효율성을 높이기 위해 GML 스키마와 저장 테이블을 매핑하는 구조형 저장 방식과 Fast Infoset 기법을 이용한 바이너리 XML 저장 방식을 제공한다. 그리고 저장된 GML 문서의 시공간 데이터에 대한 신속한 질의 처리를 위하여 시공간 연산자를 제공한다. 마지막으로 본 논문에서 개발한 시스템을 가상 시나리오에 적용하여 본 시스템이 u-GIS 서비스를 위한 시스템으로 활용될 수 있음을 확인하였다.

다기관 임상연구를 위한 인공지능 학습 플랫폼 구축 (Construction of Artificial Intelligence Training Platform for Multi-Center Clinical Research)

  • 이충섭;김지언;노시형;김태훈;윤권하;정창원
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권10호
    • /
    • pp.239-246
    • /
    • 2020
  • 인공지능 기술을 도입한 의료분야에서 진단 및 예측과 연계한 임상의사결정지원 시스템(CDSS)에 관련된 연구가 활발하게 진행되고 있다. 특히, 인공지능 기술 적용에 가장 많은 이슈를 일으키고 있는 의료영상기반의 질환진단연구가 다양한 제품으로 출시되고 있는 실정이다. 그러나 의료영상 데이터는 일관되지 않은 데이터들로 이루어져 있으며, 그것을 정제하여 연구에 사용하기 위해서는 상당한 시간이 필요한 것이 현실이다. 본 논문은 의료영상 표준인 R_CDM(Radiology Common Data Model)으로 변환하고, 그 데이터를 기반으로 인공지능 알고리즘 개발 연구를 지원하기위한 원스톱 인공지능학습 플랫폼에 대하여 기술한다. 이를 위해 기존 공통데이터모델(CDM : Common Data Model)과 연계에 중점을 두어 DICOM(Digital Imaging and Communications in Medicine) 태그정보를 기반으로 의료영상 표준 모델의 스키마와 다기관 연구를 위한 Report 정보를 포함하여 시스템을 모델링하였다. 이렇게 변환된 데이터 집합을 기반으로 인공지능 학습 플랫폼에서 수행 과정을 결과로 보인다. 제안한 플랫폼을 통해 다양한 영상기반 인공지능 연구에 활용될 것으로 기대하고 있다.

국방 시뮬레이션에서 무기효과 데이터 획득을 위한 MSDL의 확장 (An Extension of MSDL for Obtaining Weapon Effectiveness Data in a Military Simulation)

  • 이상진;오현식;김도형;이예림;이순주
    • 한국시뮬레이션학회논문지
    • /
    • 제30권2호
    • /
    • pp.1-9
    • /
    • 2021
  • 국방 모델링 및 시뮬레이션에서 교전상황을 모의할 때 바람의 방향이나 세기, 온도, 장애물과 같은 다양한 요소들이 탄의 명중률에 영향을 줄 수 있다. 이러한 요소는 명중확률 값과 표적의 탄착위치에 영향을 줄 수 있기 때문에, 신뢰성 있는 무기효과 데이터를 얻기 위해서는 이러한 요소들을 고려해야 한다. 본 연구는 신뢰성 있는 무기효과 데이터 계산을 위한 시나리오 설정을 위해 군사 시나리오 정의 언어인 MSDL(Military Scenario Definition Language)의 확장을 제안한다. 기존 MSDL의 요소 중 무기효과 데이터를 산출과 관리에 영향을 주는 요소인 시나리오 식별자(ScenarioID), 환경(Environment), 조직(Organizations), 그리고 설치(Installations)의 하위에 일부 요소를 추가하고, 해당 무기효과 데이터를 효율적으로 획득하기 위하여 적용하기 위하여 교전결과 처리 요소(DamageAssessment)와 실험계획 요소(DesignOfExperiments)를 추가하였다. 확장된 MSDL을 사용한 시뮬레이션 시나리오는 무기효과 데이터 산출을 위한 실험 시나리오 설정에서 교전에 영향을 주는 요소를 쉽게 반영할 수 있다. 확장된 MDSL은 무기체계 효과분석을 위한 실행환경인 AddSIM 4.0의 시나리오 설정 기능으로 반영되었으며, 이는 신뢰성 있는 무기효과 데이터 산출에 활용될 것이다.

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

분산 환경에 질의 최적화를 위한 XQuery 질의 재작성 (XQuery Query Rewriting for Query Optimization in Distributed Environments)

  • 박종현;강지훈
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권3호
    • /
    • pp.1-11
    • /
    • 2009
  • XQuery가 XML 데이터를 위한 표준 질의어로 제안되면서, XQuery를 효율적으로 처리하기 위한 연구는 새로운 연구의 주제가 되었고, 몇몇 연구자들은 XQuery 질의를 최적화하기 위한 방법을 제안하고 있다. 그러나 앞선 대부분의 연구들은 XML 데이터 관리 시스템에 특화된 최적화 규칙만을 정의하고 있을 뿐 어떠한 시스템에서도 일반적으로 사용할 수 있는 최적화 방법과는 거리가 멀다. 또한 앞선 몇몇 연구에서는 XML 스키마 또는 DTD와 같은 미리 정의된 XML데이터의 구조정보를 이용하여 최적화하는 방법을 제안하고 있다. 그러나 현재 모든 응용이 XML 데이터를 위한 구조정보를 포함하고 있지는 않은 것이 현실이다. 그러므로 본 논문에서는 XQuery 질의의 특성을 파악하고 XQuery 질의 자체만을 이용한 최적화 방법들을 제안한다. 본 논문에서는 XQuery질의의 특성들을 고려한 세 가지 XQuery질의를 최적화 방법을 제안한다. 첫 번째 방법은 XQuery질의에 존재하는 불필요한 표현을 제거하는 것이고, 두 번째 방법은 질의 재배치를 이용한 최적화 방법이다. 마지막으로 세 번째 방법은 XQuery가 For절에 의해서 중첩된다는 점을 고려하여 For절에 의해서 발생하는 불필요한 반복을 최소화하는 방법이다. 성능 평가를 통해 논문에서 제안한 방법들에 의해 재작성 된 질의의 처리시간은 원본 질의의 처리 시간보다 뛰어나다는 것을 알 수 있다. 또한 각 방법들은 독립적으로 수행될 수 있으므로 XQuery 엔진의 필요에 따라 개별적으로 사용이 가능하다.

HBase에 대한 디지털 포렌식 조사 기법 연구 (Digital Forensic Investigation of HBase)

  • 박아란;정두원;이상진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제6권2호
    • /
    • pp.95-104
    • /
    • 2017
  • 최근 스마트 기기의 발전과 소셜 네트워크 서비스(SNS)의 대중화로 기존 관계형 데이터베이스(RDBMS)에서는 처리하기 어려운 데이터들이 증가하고 있다. 이러한 대용량의 비정형 데이터를 실시간으로 처리하기 위한 대안으로 비관계형 데이터베이스(NoSQL DBMS)가 각광 받고 있다. 데이터베이스 디지털 포렌식 조사 기법은 대부분 관계형 데이터베이스를 대상으로 연구되어왔으나, 최근 NoSQL DBMS를 도입하는 기업이 증가하면서 NoSQL DBMS에 대한 디지털 포렌식 기법의 수요도 증가하고 있다. NoSQL DBMS는 정규화할 스키마가 존재하지 않고, 데이터베이스 종류나 운영환경에 따라 저장방식이 상이하기 때문에 디지털 포렌식 조사 시 이를 고려한 새로운 기법들이 필요하다. NoSQL DBMS 중 문서형 데이터베이스에 대한 연구는 진행되어 왔지만, 이를 다른 종류의 NoSQL DBMS에 그대로 적용하기엔 한계가 있다. 이에 본 논문에서는 NoSQL DBMS 중 컬럼형 데이터베이스인 HBase의 구동 방식과 데이터 모델을 소개하고, 운영환경 파악과 아티팩트 수집 및 분석, 삭제된 데이터의 복구 방안에 대해 제안하여 이를 바탕으로 HBase에 대한 디지털 포렌식 조사 기법에 대해 연구하였다. 또한 실험 시나리오를 통해 제안된 HBase에 대한 디지털 포렌식 조사 기법을 검증한다.

경로정보의 중복을 제거한 XML 문서의 저장 및 질의처리 기법 (Storage and Retrieval of XML Documents Without Redundant Path Information)

  • 이혜자;정병수;김대호;이영구
    • 정보처리학회논문지D
    • /
    • 제12D권5호
    • /
    • pp.663-672
    • /
    • 2005
  • 본 논문에서는 대용량 XML 문서를 저장하고 그로부터 원하는 정보를 효율적으로 찾기 위한 방법으로, 경로정보의 중복을 제거하면서 역 인덱스를 함께 이용한 방법을 제안한다. XML 문서는 트리구조에 기반한 노드로 분해되어, 노드 타입에 따라, 루트에서 각 노드까지의 경로정보와 함께 관계형 테이블에 저장된다. 경로정보를 이용한 기존의 U 질의 기법들에서는 모든 엘리먼트 노드들에 대해 경로정보를 저장함에 따라 정보의 양이 증가하여 질의 처리의 성능을 저하시키는 요인이 되고 있다. 제안 방법에서는 경로정보 중 가장 긴 단말 엘리먼트 노드까지의 경로인 단말 엘리먼트 경로(leaf element path)만 저장하고 내부 엘리먼트 노드까지의 경로인 내부 엘리먼트 경로들(internal element paths)은 저장하지 않는다. 단말 엘리먼트 경로만을 대상으로 하여 역 인덱스를 구성함에 따라, 기존의 역 인덱스 이용 기법에 비해 키워드별 포스팅 리스트(posting lists)의 수를 줄이게 된다. 제안 방법에서는 U 문서의 저장과 질의를 위하여 XML 문서에 대한 스키마 정보가 없어도 되며, 관계형 데이터베이스의 어떤 확장도 요구하지 않는다. 실험을 통해 제안 방법은 실험 범위 내에서 기존 기법들에 비해 좋은 성능을 보인다.

일본군 '위안부' 지식그래프: 파편화된 디지털 기록의 연결 (A Knowledge Graph on Japanese "Comfort Women": Interlinking Fragmented Digital Archival Resources)

  • 박하람;김학래
    • 한국기록관리학회지
    • /
    • 제21권3호
    • /
    • pp.61-78
    • /
    • 2021
  • 일본군 '위안부'에 대한 기록은 민간 기관에서 개별적으로 관리하고 있다. 일부 기록은 디지털 아카이브로 구축되어 온라인으로 접근할 수 있다. 그러나, 디지털 아카이브의 기록은 기관에 따라 메타데이터의 구성과 표현 방식이 다르다. 한편, 기록 사이의 관계를 정의할 수 있는 체계가 미흡하기 때문에, 현재 구축된 일본군 '위안부' 기록은 서로 연결되지 않고 파편적인 형식으로 남아있다. 본 연구는 일본군 '위안부' 디지털 기록을 연계하기 위한 지식 모델을 제안하고, 분산화된 디지털 아카이브의 기록을 통합하여 일본군 '위안부' 지식그래프를 구축한다. 일본군 '위안부' 디지털 아카이브의 메타데이터를 분석하여 공통 요소를 도출하고, 표준 어휘를 적용하여 디지털 기록의 다양한 개체와 개체 사이의 관계를 의미적으로 표현한다. 특히, 흩어져 있는 기록을 연계하고 검색하기 위해 수집한 데이터의 정제가 이루어지고, 외부데이터를 활용하여 기록의 맥락 정보를 강화하고 있다. 구축된 지식그래프의 검증은 분산된 기록의 탐색 여부를 측정하는 질의를 통해 수행된다. 검증 결과, 지식그래프는 흩어져 있는 기록을 연계하여 검색할 수 있고, 외부데이터로부터의 강화로 기록의 맥락 정보를 풍부하게 제공하며, 의미 기반의 검색을 통해 사용자의 의도에 맞춘 정확한 검색이 가능하다.

네트워크 공격 분석을 위한 마이닝 프로토타입 시스템 구현 (An Implementation of Mining Prototype System for Network Attack Analysis)

  • 김은희;신문선;류근호
    • 정보처리학회논문지C
    • /
    • 제11C권4호
    • /
    • pp.455-462
    • /
    • 2004
  • 네트워크 공격은 인터넷의 발달과 함께 유형도 다양하고 새로워지고 있다. 기존의 침입탐지 시스템들은 알려진 공격의 시그네처를 기반으로 탐지하기 때문에 알려지지 않거나 변형된 공격을 탐지하고, 대응하기 위해서는 많은 노력과 비용이 필요하다. 본 논문에서는 네트워크 프로토콜 속성 분석을 통해 알려지지 않거나 변형된 네트워크 공격을 예측할 수 있는 마이닝 프로토타입 시스템을 설계 하고 구현 하였다. 네트워크 프로토콜 속성을 분석하기 위해서 연관규칙과 빈발에피소드 기법을 사용하였으며, 수집된 네트워크 프로토콜은 TCP, UDP, ICMP와 통합된 형태의 스키마로 저장한다. 본 실험을 통해서 각 프로토콜별로 발생 가능한 네트워크 공격 유형을 예측할 수 있는 규칙들을 생성한다. 마이닝 프로토타입은 침입탐지 시스템에서 새로운 공격에 대응하기 위한 보조적인 .도구로서 유용하게 사용될 수 있다.