• Title/Summary/Keyword: 데이터 구축

Search Result 8,416, Processing Time 0.051 seconds

A Study on Building the Scientific Data Repository Involving Human Data and Its Application (인체 데이터를 포함한 과학 데이터 리파지터리의 구축 및 활용에 관한 연구)

  • Lee, Sang-ho;Lee, sang-hwan
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2012.05a
    • /
    • pp.170.1-170.1
    • /
    • 2012
  • 본 발표에서는 KISTI에서 현재 구축하고 있는 인체 데이터의 현황과 인체 데이터를 포함한 과학 데이터 리파지터리의 구축과 활용에 대한 전반적인 내용을 소개한다. 인체 데이터는 인체 절단면 영상을 중심으로 한 Visible Korean 데이터와 CT, MR 영상과 인체 뼈대 물성을 중심으로 한 Digital Korean 데이터로 나누어지며 이들 데이터의 제작 과정과 활용 내용을 주로 소개한다. 과학 데이터 리파지터리 구축 내용은 현재 국가의 연구개발 예산으로 수행되고 있는 연구과제에서 생성된 다양한 과학 데이터들을 국가적 차원에서 수집, 관리, 유통시키기 위해 기관별 또는 분야별로 과학데이터센터를 육성하고 이를 거점으로 하여 국내의 과학데이터가 수집, 관리, 유통, 활용될 수 있도록 국가적 과학데이터 관리체계를 구축한다. 또한 이렇게 수집된 과학데이터의 활용을 위해 연구자들이 데이터 기반의 연구 과제를 수행할 수 있도록 데이터 기반의 첨단 연구 환경을 구축하고 연구에 필요한 S/W, H/W 및 기타 필요한 IT 기반의 요소기술들을 개발, 지원한다. 또한 KISTI가 제작 주체가 되어 생산한 상기의 인체 데이터뿐만 아니라 의료 관련 분야의 연구 현장에서 생산되고 있는 다양한 인체 데이터를 수집, 관리, 공유할 수 있도록 인체 데이터 리파지터리를 구축하기 위해 Visible Korean, Digital Korean 데이터를 포함한 다양한 의료 데이터의 리파지토리를 설계하고 이러한 의료 데이터 기반 연구의 활성화 및 데이터 리파지터리의 활성화를 위한 정부 및 분야별 커뮤니티 차원의 다양한 대책들을 소개한다.

  • PDF

Development of Disaster Response Inventory Construction Technology Using Open Data (공공데이터를 활용한 재난 대응 인벤토리 구축 기술 개발)

  • Choi, Soo Young;Kim, Jin Man;CHoung, Yun Jae
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2018.05a
    • /
    • pp.393-393
    • /
    • 2018
  • 본 연구에서는 자연재해 발생 시 신속하고 효율적인 재난 대응 의사결정을 지원하기 위하여 재난 재해 정보와 시설물 정보, 공간정보 등이 융합된 통합 인벤토리를 구축하고자 한다. 재난대응 의사결정 지원을 위하여 시설물의 중요도, 위험도, 피해액 산정에 필요한 원천 데이터를 공공데이터포털(data.go.kr)에서 제공하는 공공데이터를 활용하였다. 공공데이터포털의 데이터셋은 파일데이터와 오픈 API, 표준데이터와 국가중점데이터를 제공하고 있다. 파일데이터는 22,306건, 오픈 API는 2,505건, 표준데이터는 58건의 정보를 제공하고 있으며, 국민, 기업 등 수요 중심으로 개방의 효과성과 시급성 등이 높은 41개 분야의 국가중점데이터를 제공하고 있다. 또한 공공데이터를 활용하여 개발된 국내외 다양한 사례와 가공데이터를 공공데이터 활용사례를 통하여 공유하고 있다. 인벤토리 구축을 위하여 국가중점데이터와 데이터카테고리의 국토관리, 재난안전, 산업고용, 공공행정 등 다양한 공공데이터를 검토하여, SOC 시설물과 건축물의 정보를 수집하여 시설물의 중요도와 위험도, 피해액 평가 등 필요 목적에 맞게 최적화 하여 구축하였다. 또한 구축된 다양한 정보와 시설물 평가 모듈간의 원활한 데이터 수급을 위한 연계 모듈과 관리 모듈을 개발하여 구축된 데이터 정보를 표준화하여 유지 관리 할 수 있도록 인벤토리를 구축하였다. 이러한 재난대응 의사결정 지원 통합 인벤토리는 재난대응 의사결정을 신속하고도 효율적으로 가능하게 함으로써 방재업무 지원 및 대국민 서비스를 가능하게 할 것으로 판단된다.

  • PDF

Constructing Korean Named Recognition Dataset for Financial Domain Using Active Learning (능동 학습 기법을 활용한 한국어 금융 도메인 개체명 인식 데이터 구축)

  • Jeong, Dong-Ho;Heo, Min-Kang;Kim, Hyung-Chul;Park, Sang-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.82-86
    • /
    • 2020
  • 딥러닝 모델의 성능은 데이터의 품질과 양에 의해 향상된다. 그러나 데이터 구축은 많은 비용과 시간을 요구한다. 특히 전문 도메인의 데이터를 구축할 경우 도메인 지식을 갖춘 작업자를 활용할 비용과 시간이 더욱 제약적이다. 능동 학습 기법은 최소한의 데이터 구축으로 모델의 성능을 효율적으로 상승시키기 위한 방법이다. 다양한 데이터셋이 능동 학습 기법으로 구축된 바 있으나, 아직 전문 도메인의 한국어 데이터를 구축하는 연구는 활발히 수행되지 못한 것이 현실이다. 본 논문에서는 능동학습기법을 통해 금융 도메인의 개체명 인식 코퍼스를 구축하였고, 이를 통해 다음의 기여가 있다: (1) 금융 도메인 개체명 인식 코퍼스 구축에 능동 학습 기법이 효과적임을 확인하였고, (2) 이를 통해 금융 도메인 개체명 인식기를 개발하였다. 본 논문이 제안하는 방법을 통해 8,043문장 데이터를 구축하였고, 개체명 인식기의 성능은 80.84%로 달성되었다. 또한 본 논문이 제안하는 방법을 통해 약 12~25%의 예산 절감 효과가 있음을 실험으로 보였다.

  • PDF

Pre-Computation of Fact table in a Spatial Data Warehouse Builder. (공간 데이터 웨어하우스 구축기에서 사실테이블 사전 계산 기법)

  • Choi Yu-Shin;You Byeong-Seob;Park Soon-Young;Bae Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.11a
    • /
    • pp.165-170
    • /
    • 2004
  • 공간 데이터 웨어하우스에서 구축기는 의사절정을 위한 기반 데이터의 구축을 담당한다. 일반적으로 공간 데이터 웨어하우스의 데이터 적재는 잦은 갱신으로 인한 서버의 부하를 줄이기 위하여 구축기에 적재할 데이터를 임시 저장하고 일정주기마다 적재하는 방법을 이용한다. 이때 구축기의 정보는 차원테이블에 대한 갱신정보와 사실 테이블의 일부 갱신정보만을 유지하므로 여러 차원 테이블로 구성된 사실 테이블의 갱신은 공간 데이터 웨어하우스 서버에서 수행해야 한다. 사실 테이블의 갱신연산은 연관된 차원 테이블들에 의해 처리되므로 높은 처리 비용이 필요하다. 따라서 사실테이블의 처리로 인해 적재시간이 증가하며, 이는 사용자의 의사결정 응답시간을 증가시킨다. 본 논문에서는 공간 데이터 웨어하우스의 구축기에서 사실테이블의 사전 계산 기법을 제안한다. 이 기법은 차원 테이블 및 사실 테이블에 대한 메타정보와 추가적으로 기록되어야할 데이터 정보를 구축기에 유지한다. 구축기는 이 정보를 이용하여 삽입 연산시 사실 테이블에 적재할 갱신 정보를 사전에 계산하고, 이를 적재주기에 함께 적재한다. 따라서 사실 테이블의 신을 데이터 적재 이전에 구축기에서 계산하므로 공간 데이터 웨어하우스 서버에서 발생하는 높은 처리 비용을 감소시킬 수 있다. 공간 데이터 웨어하우스 사용자의 의사결정 응답시간을 감소시킨다.

  • PDF

A Study on the Development of Phased Big Data Distribution Model Based on Big Data Distribution Ecology (빅데이터 유통 생태계에 기반한 단계별 빅데이터 유통 모델 개발에 관한 연구)

  • Kim, Shinkon;Lee, Sukjun;Kim, Jeonggon
    • Journal of Digital Convergence
    • /
    • v.14 no.5
    • /
    • pp.95-106
    • /
    • 2016
  • The major thrust of this research focuses on the development of phased big data distribution model based on the big data ecosystem. This model consists of 3 phases. In phase 1, data intermediaries are participated in this model and transaction functions are provided. This system consists of general control systems, registrations, and transaction management systems. In phase 2, trading support systems with data storage, analysis, supply, and customer relation management functions are designed. In phase 3, transaction support systems and linked big data distribution portal systems are developed. Recently, emerging new data distribution models and systems are evolving and substituting for past data management system using new technology and the processes in data science. The proposed model may be referred as criteria for industrial standard establishment for big data distribution and transaction models in the future.

Construction of KBIF Data Node (KBIF 데이터 노드 구축)

  • 안성수;양진호;권창혁;박형선
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10b
    • /
    • pp.280-282
    • /
    • 2004
  • 국제생물다양성정보기구(GBIF)는 전세계의 생물다양성데이터베이스를 네트워크로 연결하고 인터넷을 통한 서비스를 제공하여 생물다양성데이터가 자유롭게 널리 이용될 수 있는 임무를 수행하고 있다. 한국에서는 KISTI가 국가중점노드 역할을 수행하면서 생물다양성데이터 보유기관에 데이터노드 구축 관련 기술과 소프트웨어를 보급하고 있고 현재 한국에서는 2개의 데이터 노드가 구축되어 GBIF의 데이터 포털과 연결되어 있다. 본 논문에서는 GBIF의 생물다양성데이터를 교환하기 위해서 필요한 데이터 표준 프로토콜, 관련 소프트웨어를 소개하고 데이터 노드 구축 방법을 소개하고 생물다양성데이터의 응용 방법에 대친 논의한다.

  • PDF

Analysis of detection rate according to the artificial dataset construction system and object arrangement structure (인조 데이터셋 구축 시스템과 오브젝트 배치 구조에 따른 검출률 분석)

  • Kim, Sang-Joon;Lee, Yu-Jin;Park, Goo-Man
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • fall
    • /
    • pp.74-77
    • /
    • 2021
  • 최근 딥러닝을 이용하여 객체 인식 학습을 위한 데이터셋을 구축하는데 있어 시간과 인력을 단축하기 위해 인조 데이터를 생성하는 연구가 진행되고 있다. 하지만 실제 환경과 관계없이 임의의 배경에 배치되어 구축된 데이터셋으로 학습된 네트워크를 실제 환경으로 구성된 데이터셋으로 테스트할 경우 인식률이 저조하다. 이에 본 논문에서는 실제 배경 이미지에 객체 이미지를 합성하고, 다양성을 위해 3차원으로 회전하여 증강하는 인조 데이터셋 생성 시스템을 제안한다. 제안된 방법으로 구축된 인조 데이터셋으로 학습한 네트워크와 실제 데이터셋으로 학습된 네트워크의 인식률을 비교한 결과, 인조 데이터셋의 성능이 실제 데이터셋의 성능보다 2% 낮았지만, 인조 데이터셋을 구축하는 시간이 실제 데이터셋을 구축하는 시간보다 약 11배 빨라 시간적으로 효율적인 데이터셋 구축 시스템임을 증명하였다.

  • PDF

Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder (공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법)

  • Kim, Hyung-Sun;You, Byeong-Seob;Park, Soon-Young;Lee, Jae-Dong;Bae, Hae-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.79-81
    • /
    • 2005
  • 공간 데이터 웨어하우스 구축기는 운영 데이터베이스의 데이터를 추출하여, 공간 데이터 웨어하우스 서버에 적재하는 과정을 효율적으로 관리하는 시스템이다. 구축기는 적재로 인한 서버의 부하를 줄이기 위하여 적재할 데이터를 임시 저장하는데, 기존 기법은 적재할 데이터를 하나의 저장 공간에 관리한다. 따라서 서버가 특정 차원 테이블에 대한 실시간 질의처리를 위해 특정 차원 테이블의 즉시 적재를 요청할 경우, 구축기는 이를 위해 임시 저장한 모든 데이터를 검색하므로 처리비용이 증가한다. 또한, 하나의 저장공간에 적재할 데이터를 유지하여 서버에 데이터 적재 시, 저장을 위해 혼합된 데이터를 분석하는 비용이 증가한다. 본 논문에서는 공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법을 제안한다. 제안 기법은 운영 데이터베이스로부터 추출한 데이터를 서버에 적재할 차원 테이블 단위로 구축기에서 각각 다른 저장 공간에 관리한다. 따라서 테이블 단위의 데이터 관리로 실시간 질의처리를 위한 특정 차원 테이블의 즉시 적재 비용이 감소하며, 테이블 단위의 병렬전송이 가능하여 전송비용이 감소한다. 또한, 서버로 전송된 데이터는 테이블 단위의 벌크 삽입이 가능하여 적재시간이 감소한다.

  • PDF

3D symbol mapping for 3D spatial database construction (3차원 공간정보 제작을 위한 3차원 symbol의 자동 mapping에 관한 연구)

  • Park Seung-Yong;Lee Jae-Bin;Yu Ki-Yun;Kim Yong-Il
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2006.05a
    • /
    • pp.63-72
    • /
    • 2006
  • 정보화 시대에 있어 급변하는 기술발전과 함께 인간의 문화적 욕구가 증대됨에 따라 3차원 공간정보에 대한 수요가 증가하고 있다. 하지만 현재 3차원 공간정보를 구축하는 과정은 일반적으로 수작업 또는 반자동에 의해 이루어지고 있다. 이는 데이터의 구축 및 표현에 많은 시간과 비용이 소요된다는 제약을 가지고 있다. 따라서 본 연구에서는 3차원 symbol 라이브러리를 구축하여 분류된 객체에 부합되는 3차원 symbol을 자동으로 선택하며, 선택된 3차원 symbol을 파라메타를 이용하여 자동으로 mapping 하는 과정을 구축하였다. 이를 통해 3차원 공간데이터의 구축 및 표현에 요구되는 시간과 오류를 최소화할 수 있었다. 또한 LiDAR(Light Detection And Range) 데이터의 3차원 정보를 활용하여 symbol의 자동 mapping을 위한 파라메타들을 산출하였고, symbol의 분류를 위한 기본 데이터로 활용하였다. 구축된 알고리즘의 평가를 위하여 실재 데이터의 3차원 공간데이터베이스를 구축하였다. 구축된 데이터에 대해 symbol선택 및 자동 mapping 과정에 대한 오류 검사를 수행하였고, 더불어 구축된 3차원 데이터의 활용 가능성을 평가하였다. 그 결과 본 연구로부터 구축된 알고리즘들은 3차원 공간정보를 표현함에 있어 신속하고 안정적으로 기여할 수 있을 것으로 판단되었다.

  • PDF

An approach to analyzing QOS items by implementing the Data Warehouse for the PSTN traffic (전화망 트래픽 정보 데이터웨어하우스 구축을 통한 서비스품질요소 분석 방안)

  • 조유희;박길주
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.727-729
    • /
    • 1999
  • 최근 기업의 정보기술에 대한 중요성이 부각되면서 통신업체를 비롯하여 다양한 업종에서 데이터웨어하우징 기법과 연계한 통합 정보 시스템을 이미 구축하였거나 서둘러 구축하고 있다. 본 논문에서는 교환기에서 출력하고 있는 원시트래픽데이터를 기반으로 전화망 트래픽정보 데이터웨어하우스(Data Warehouse, 이하 DW)를 구축할 경우, 이를 통해 보다 다양한 서비스 품질 분석이 가능함을 보이고자 한다. 지금까지 트래픽 데이터는 최번시의 데이터만을 대상으로 단편적인 분석만 수행해왔는데, DW 구축을 통해 이를 전 시간대 데이터로 그 대상 범위로 확장하고, 분석 항목도 보다 다양화 가능하며, 또 기존의 정형화된 질의 형식이 나니라, 비정형화된 질의를 수행할 수 있다. DW 구축시 전화망에서 측정 가능한 완료율을 포함한 폭주율, 화중율, 오번호율 등 품질요소들에 대하여 보다 세분화하여 심층 분석가능하고, 시간차원, 지역차원을 기준으로 다각적으로 분석가능하다. 뿐만 아니라, DW 구축에서는 다차원 모델링을 적용하기 때문에 어느 계층의 사용자 요구사항이라도 신속하게 원하는 정보에 접근하도록 지원할 수 있다.

  • PDF