• 제목/요약/키워드: 데이터구축

검색결과 8,423건 처리시간 0.039초

인체 데이터를 포함한 과학 데이터 리파지터리의 구축 및 활용에 관한 연구 (A Study on Building the Scientific Data Repository Involving Human Data and Its Application)

  • 이상호;이상환
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2012년도 춘계 종합학술대회 논문집
    • /
    • pp.170.1-170.1
    • /
    • 2012
  • 본 발표에서는 KISTI에서 현재 구축하고 있는 인체 데이터의 현황과 인체 데이터를 포함한 과학 데이터 리파지터리의 구축과 활용에 대한 전반적인 내용을 소개한다. 인체 데이터는 인체 절단면 영상을 중심으로 한 Visible Korean 데이터와 CT, MR 영상과 인체 뼈대 물성을 중심으로 한 Digital Korean 데이터로 나누어지며 이들 데이터의 제작 과정과 활용 내용을 주로 소개한다. 과학 데이터 리파지터리 구축 내용은 현재 국가의 연구개발 예산으로 수행되고 있는 연구과제에서 생성된 다양한 과학 데이터들을 국가적 차원에서 수집, 관리, 유통시키기 위해 기관별 또는 분야별로 과학데이터센터를 육성하고 이를 거점으로 하여 국내의 과학데이터가 수집, 관리, 유통, 활용될 수 있도록 국가적 과학데이터 관리체계를 구축한다. 또한 이렇게 수집된 과학데이터의 활용을 위해 연구자들이 데이터 기반의 연구 과제를 수행할 수 있도록 데이터 기반의 첨단 연구 환경을 구축하고 연구에 필요한 S/W, H/W 및 기타 필요한 IT 기반의 요소기술들을 개발, 지원한다. 또한 KISTI가 제작 주체가 되어 생산한 상기의 인체 데이터뿐만 아니라 의료 관련 분야의 연구 현장에서 생산되고 있는 다양한 인체 데이터를 수집, 관리, 공유할 수 있도록 인체 데이터 리파지터리를 구축하기 위해 Visible Korean, Digital Korean 데이터를 포함한 다양한 의료 데이터의 리파지토리를 설계하고 이러한 의료 데이터 기반 연구의 활성화 및 데이터 리파지터리의 활성화를 위한 정부 및 분야별 커뮤니티 차원의 다양한 대책들을 소개한다.

  • PDF

공공데이터를 활용한 재난 대응 인벤토리 구축 기술 개발 (Development of Disaster Response Inventory Construction Technology Using Open Data)

  • 최수영;김진만;정윤재
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2018년도 학술발표회
    • /
    • pp.393-393
    • /
    • 2018
  • 본 연구에서는 자연재해 발생 시 신속하고 효율적인 재난 대응 의사결정을 지원하기 위하여 재난 재해 정보와 시설물 정보, 공간정보 등이 융합된 통합 인벤토리를 구축하고자 한다. 재난대응 의사결정 지원을 위하여 시설물의 중요도, 위험도, 피해액 산정에 필요한 원천 데이터를 공공데이터포털(data.go.kr)에서 제공하는 공공데이터를 활용하였다. 공공데이터포털의 데이터셋은 파일데이터와 오픈 API, 표준데이터와 국가중점데이터를 제공하고 있다. 파일데이터는 22,306건, 오픈 API는 2,505건, 표준데이터는 58건의 정보를 제공하고 있으며, 국민, 기업 등 수요 중심으로 개방의 효과성과 시급성 등이 높은 41개 분야의 국가중점데이터를 제공하고 있다. 또한 공공데이터를 활용하여 개발된 국내외 다양한 사례와 가공데이터를 공공데이터 활용사례를 통하여 공유하고 있다. 인벤토리 구축을 위하여 국가중점데이터와 데이터카테고리의 국토관리, 재난안전, 산업고용, 공공행정 등 다양한 공공데이터를 검토하여, SOC 시설물과 건축물의 정보를 수집하여 시설물의 중요도와 위험도, 피해액 평가 등 필요 목적에 맞게 최적화 하여 구축하였다. 또한 구축된 다양한 정보와 시설물 평가 모듈간의 원활한 데이터 수급을 위한 연계 모듈과 관리 모듈을 개발하여 구축된 데이터 정보를 표준화하여 유지 관리 할 수 있도록 인벤토리를 구축하였다. 이러한 재난대응 의사결정 지원 통합 인벤토리는 재난대응 의사결정을 신속하고도 효율적으로 가능하게 함으로써 방재업무 지원 및 대국민 서비스를 가능하게 할 것으로 판단된다.

  • PDF

능동 학습 기법을 활용한 한국어 금융 도메인 개체명 인식 데이터 구축 (Constructing Korean Named Recognition Dataset for Financial Domain Using Active Learning)

  • 정동호;허민강;김형철;박상원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.82-86
    • /
    • 2020
  • 딥러닝 모델의 성능은 데이터의 품질과 양에 의해 향상된다. 그러나 데이터 구축은 많은 비용과 시간을 요구한다. 특히 전문 도메인의 데이터를 구축할 경우 도메인 지식을 갖춘 작업자를 활용할 비용과 시간이 더욱 제약적이다. 능동 학습 기법은 최소한의 데이터 구축으로 모델의 성능을 효율적으로 상승시키기 위한 방법이다. 다양한 데이터셋이 능동 학습 기법으로 구축된 바 있으나, 아직 전문 도메인의 한국어 데이터를 구축하는 연구는 활발히 수행되지 못한 것이 현실이다. 본 논문에서는 능동학습기법을 통해 금융 도메인의 개체명 인식 코퍼스를 구축하였고, 이를 통해 다음의 기여가 있다: (1) 금융 도메인 개체명 인식 코퍼스 구축에 능동 학습 기법이 효과적임을 확인하였고, (2) 이를 통해 금융 도메인 개체명 인식기를 개발하였다. 본 논문이 제안하는 방법을 통해 8,043문장 데이터를 구축하였고, 개체명 인식기의 성능은 80.84%로 달성되었다. 또한 본 논문이 제안하는 방법을 통해 약 12~25%의 예산 절감 효과가 있음을 실험으로 보였다.

  • PDF

공간 데이터 웨어하우스 구축기에서 사실테이블 사전 계산 기법 (Pre-Computation of Fact table in a Spatial Data Warehouse Builder.)

  • 최유신;유병섭;박순영;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.165-170
    • /
    • 2004
  • 공간 데이터 웨어하우스에서 구축기는 의사절정을 위한 기반 데이터의 구축을 담당한다. 일반적으로 공간 데이터 웨어하우스의 데이터 적재는 잦은 갱신으로 인한 서버의 부하를 줄이기 위하여 구축기에 적재할 데이터를 임시 저장하고 일정주기마다 적재하는 방법을 이용한다. 이때 구축기의 정보는 차원테이블에 대한 갱신정보와 사실 테이블의 일부 갱신정보만을 유지하므로 여러 차원 테이블로 구성된 사실 테이블의 갱신은 공간 데이터 웨어하우스 서버에서 수행해야 한다. 사실 테이블의 갱신연산은 연관된 차원 테이블들에 의해 처리되므로 높은 처리 비용이 필요하다. 따라서 사실테이블의 처리로 인해 적재시간이 증가하며, 이는 사용자의 의사결정 응답시간을 증가시킨다. 본 논문에서는 공간 데이터 웨어하우스의 구축기에서 사실테이블의 사전 계산 기법을 제안한다. 이 기법은 차원 테이블 및 사실 테이블에 대한 메타정보와 추가적으로 기록되어야할 데이터 정보를 구축기에 유지한다. 구축기는 이 정보를 이용하여 삽입 연산시 사실 테이블에 적재할 갱신 정보를 사전에 계산하고, 이를 적재주기에 함께 적재한다. 따라서 사실 테이블의 신을 데이터 적재 이전에 구축기에서 계산하므로 공간 데이터 웨어하우스 서버에서 발생하는 높은 처리 비용을 감소시킬 수 있다. 공간 데이터 웨어하우스 사용자의 의사결정 응답시간을 감소시킨다.

  • PDF

빅데이터 유통 생태계에 기반한 단계별 빅데이터 유통 모델 개발에 관한 연구 (A Study on the Development of Phased Big Data Distribution Model Based on Big Data Distribution Ecology)

  • 김신곤;이석준;김정곤
    • 디지털융복합연구
    • /
    • 제14권5호
    • /
    • pp.95-106
    • /
    • 2016
  • 본 연구는 빅데이터 유통 생태계에 기반한 단계별 빅데이터 유통 모델 개발 방안을 제안한다. 제안하는 빅데이터 유통모델의 개발은 데이터 중개 및 거래 플랫폼 구축, 거래지원 시스템 구축, 데이터 유통 포털 및 빅데이터 거래소 연결망 구축과 같이 3단계로 구성된다. 데이터 중개 및 거래 플랫폼 구축 단계에서는 데이터 유통 및 거래 플랫폼이 구축되며, 총괄시스템과 등록 및 거래관리 시스템으로 구성되며, 거래지원 시스템 구축 단계에서는 원활한 데이터 거래를 위한 거래지원 시스템이 추가적으로 구축된다. 마지막 데이터 유통 포털 및 빅데이터 거래소 연결망 구축 단계에서는 여러 거래소들의 통합에 필요한 유통 관리 시스템이 구축된다. 새로운 기술, 프로세스, 데이터 과학 등을 이용하여 과거의 데이터 관리 시스템을 빠르게 대체해 나가고 있는 현대의 데이터 시장에서 데이터 유통시장 모델은 계속 진화하고 있으며, 비즈니스 업계에서 수용되고 있다. 따라서 제안하는 빅데이터 유통 모델은 멀지 않은 장래에 데이터를 관리하고 접근하기 위한 산업표준 확립 시 고려될 수 있다고 사료된다.

KBIF 데이터 노드 구축 (Construction of KBIF Data Node)

  • 안성수;양진호;권창혁;박형선
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.280-282
    • /
    • 2004
  • 국제생물다양성정보기구(GBIF)는 전세계의 생물다양성데이터베이스를 네트워크로 연결하고 인터넷을 통한 서비스를 제공하여 생물다양성데이터가 자유롭게 널리 이용될 수 있는 임무를 수행하고 있다. 한국에서는 KISTI가 국가중점노드 역할을 수행하면서 생물다양성데이터 보유기관에 데이터노드 구축 관련 기술과 소프트웨어를 보급하고 있고 현재 한국에서는 2개의 데이터 노드가 구축되어 GBIF의 데이터 포털과 연결되어 있다. 본 논문에서는 GBIF의 생물다양성데이터를 교환하기 위해서 필요한 데이터 표준 프로토콜, 관련 소프트웨어를 소개하고 데이터 노드 구축 방법을 소개하고 생물다양성데이터의 응용 방법에 대친 논의한다.

  • PDF

인조 데이터셋 구축 시스템과 오브젝트 배치 구조에 따른 검출률 분석 (Analysis of detection rate according to the artificial dataset construction system and object arrangement structure)

  • 김상준;이유진;박구만
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2021년도 추계학술대회
    • /
    • pp.74-77
    • /
    • 2021
  • 최근 딥러닝을 이용하여 객체 인식 학습을 위한 데이터셋을 구축하는데 있어 시간과 인력을 단축하기 위해 인조 데이터를 생성하는 연구가 진행되고 있다. 하지만 실제 환경과 관계없이 임의의 배경에 배치되어 구축된 데이터셋으로 학습된 네트워크를 실제 환경으로 구성된 데이터셋으로 테스트할 경우 인식률이 저조하다. 이에 본 논문에서는 실제 배경 이미지에 객체 이미지를 합성하고, 다양성을 위해 3차원으로 회전하여 증강하는 인조 데이터셋 생성 시스템을 제안한다. 제안된 방법으로 구축된 인조 데이터셋으로 학습한 네트워크와 실제 데이터셋으로 학습된 네트워크의 인식률을 비교한 결과, 인조 데이터셋의 성능이 실제 데이터셋의 성능보다 2% 낮았지만, 인조 데이터셋을 구축하는 시간이 실제 데이터셋을 구축하는 시간보다 약 11배 빨라 시간적으로 효율적인 데이터셋 구축 시스템임을 증명하였다.

  • PDF

공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법 (Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder)

  • 김형선;유병섭;박순영;이재동;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.79-81
    • /
    • 2005
  • 공간 데이터 웨어하우스 구축기는 운영 데이터베이스의 데이터를 추출하여, 공간 데이터 웨어하우스 서버에 적재하는 과정을 효율적으로 관리하는 시스템이다. 구축기는 적재로 인한 서버의 부하를 줄이기 위하여 적재할 데이터를 임시 저장하는데, 기존 기법은 적재할 데이터를 하나의 저장 공간에 관리한다. 따라서 서버가 특정 차원 테이블에 대한 실시간 질의처리를 위해 특정 차원 테이블의 즉시 적재를 요청할 경우, 구축기는 이를 위해 임시 저장한 모든 데이터를 검색하므로 처리비용이 증가한다. 또한, 하나의 저장공간에 적재할 데이터를 유지하여 서버에 데이터 적재 시, 저장을 위해 혼합된 데이터를 분석하는 비용이 증가한다. 본 논문에서는 공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법을 제안한다. 제안 기법은 운영 데이터베이스로부터 추출한 데이터를 서버에 적재할 차원 테이블 단위로 구축기에서 각각 다른 저장 공간에 관리한다. 따라서 테이블 단위의 데이터 관리로 실시간 질의처리를 위한 특정 차원 테이블의 즉시 적재 비용이 감소하며, 테이블 단위의 병렬전송이 가능하여 전송비용이 감소한다. 또한, 서버로 전송된 데이터는 테이블 단위의 벌크 삽입이 가능하여 적재시간이 감소한다.

  • PDF

3차원 공간정보 제작을 위한 3차원 symbol의 자동 mapping에 관한 연구 (3D symbol mapping for 3D spatial database construction)

  • 박승용;이재빈;유기윤;김용일
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2006년도 GIS/RS 공동춘계학술대회
    • /
    • pp.63-72
    • /
    • 2006
  • 정보화 시대에 있어 급변하는 기술발전과 함께 인간의 문화적 욕구가 증대됨에 따라 3차원 공간정보에 대한 수요가 증가하고 있다. 하지만 현재 3차원 공간정보를 구축하는 과정은 일반적으로 수작업 또는 반자동에 의해 이루어지고 있다. 이는 데이터의 구축 및 표현에 많은 시간과 비용이 소요된다는 제약을 가지고 있다. 따라서 본 연구에서는 3차원 symbol 라이브러리를 구축하여 분류된 객체에 부합되는 3차원 symbol을 자동으로 선택하며, 선택된 3차원 symbol을 파라메타를 이용하여 자동으로 mapping 하는 과정을 구축하였다. 이를 통해 3차원 공간데이터의 구축 및 표현에 요구되는 시간과 오류를 최소화할 수 있었다. 또한 LiDAR(Light Detection And Range) 데이터의 3차원 정보를 활용하여 symbol의 자동 mapping을 위한 파라메타들을 산출하였고, symbol의 분류를 위한 기본 데이터로 활용하였다. 구축된 알고리즘의 평가를 위하여 실재 데이터의 3차원 공간데이터베이스를 구축하였다. 구축된 데이터에 대해 symbol선택 및 자동 mapping 과정에 대한 오류 검사를 수행하였고, 더불어 구축된 3차원 데이터의 활용 가능성을 평가하였다. 그 결과 본 연구로부터 구축된 알고리즘들은 3차원 공간정보를 표현함에 있어 신속하고 안정적으로 기여할 수 있을 것으로 판단되었다.

  • PDF

분산이기종환경에서의 공간데이터 교환 모델 및 시스템 (The Model and System of Spatial Data Interchange In Distributed Various Computing Platform)

  • 차정숙;김명구;김성룡;강인수
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2002년도 춘계학술대회 논문집
    • /
    • pp.22-28
    • /
    • 2002
  • 지리정보시스템에서 사용되는 공간데이터의 특성은 양이 방대하고 구조가 복잡하여 데이터를 구축하는데 많은 비용과 노력이 요구된다. 또한 각 지리정보 응용시스템마다 특정한 포맷으로 데이터를 구축, 사용하는 실정 때문에 기존에 동일한 데이터가 구축이 되었더라도 재사용하지 못하고 다시 재 구축하여 사용하였다. 대부분의 지리정보 응용시스템에서 기존의 데이터를 재 사용지 못하고 전체 예산의 60% 이상을 데이터 구축에 중복 투자하는 문제점이 존재한다. 또한 데이터구축의 문제점뿐만 아니라 소프트웨어적으로 시스템 환경에 의존적으로 구현되어 시스템 환경이 변하는 경우에 시스템 자체가 수정되거나 재 구현되어야 하는 문제점도 존재하였다. 본 논문에서는 이러한 데이터 중복구축 및 투자와 시스템 의존적인 구성의 문제점들을 해결하기 위해 기존에 존재하는 데이터를 온라인상에서 검색하여 사용자가 재 사용할 수 있도록 OpenGIS에서 제안한 CatalogService를 구현하고 분산된 상호 이질적인 환경에서 서로의 데이터를 공유하고 연동하는 모델을 제안하고 구현하기 위해 WWW, COM, CORBA 기반으로 시스템을 구현하였다.

  • PDF