• 제목/요약/키워드: 데이터

검색결과 66,135건 처리시간 0.088초

계층적 스토리지 시스템에서 데이터 특성을 이용한 데이터 이동기법 (A Data Migration Method Based on Characteristics of Data for Hierarchical Storage System)

  • 이주운;김신우;이용규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.1675-1678
    • /
    • 2005
  • 최근에는 대량의 데이터를 저장 및 관리하기 위해서 3차 저장장치를 이용한 계층적 스토리지 시스템을 이용하고 있다. 이러한 계층적 스토리지 시스템에서는 모든 데이터에 같은 방식으로 저장장치들 간의 데이터를 이동하고 있는데, 이는 시스템에서의 데이터 이동이 빈번하게 일어나는 원인이 된다. 이러한 문제를 해결하기 위해서, 본 논문에서는 계층적 스토리지 시스템에서의 데이터 특성을 이용한 데이터 이동 기법을 제안한다. 이를 위해서 데이터를 일반 데이터, QoS 데이터 그리고 아카이브 데이터로 분류하고 각 데이터 타입에 따른 데이터 이동을 관리한다. 성능평가를 통해 데이터 특성을 고려한 데이터 이동 방법과 기존의 이동 방법을 비교 분석하여, 본 논문에서 제안한 이동 방법의 우수함을 보인다.

  • PDF

데이터베이스 테이터의 고장진단 및 복구를 위한 전문가 시스팀

  • 이길행;우왕돈;조주현
    • ETRI Journal
    • /
    • 제14권4호
    • /
    • pp.148-164
    • /
    • 1992
  • 본 논문에서는 TDX-10 데이터베이스 데이터의 고장을 주기적으로 진단하고 복구할 수 있는 고장진단 전문가 시스팀을 제안하고 구현하였다. 실시간 환경 및 분산구조를 갖는 데이터베이스 관리 시스팀에서 데이터베이스의 효과적인 접근을 위해서 필요한 데이터베이스의 데이터 즉, 디렉토리와 딕셔너리는 매우 중요하며 고장이 발생할 경우 데이터베이스 관리시스팀에 미치는 영향은 치명적이다. 따라서, 실시간 환경을 갖는 데이터베이스 관리 시스팀에서 데이터베이스 데이터에 대한 고장 진단 및 복구는 필수적이라고 할 수 있다. 본 논문에서 제안한 고장진단 전문가 시스팀은 데이터베이스 데이터를 운용중 변하는 부분과 변하지 않는 부분으로 분류하고 미리 주어진 고장진단 규칙에 따라 진단하는 방법이다. 데이터베이스 데이터의 고장진단 데이터, 고장진단 규칙, 고장진단 데이터 생성기, 고장진단 데이터 검증기, 그리고 고장진단기로 구성되어 있다. 고장진단 데이터는 고장진단기가 데이터베이스 데이터를 주기적으로 진단하기 위하여 사용하는 마스터 데이터로서 두개가 존재한다. 고장진단 데이터 생성기는 데이터베이스 데이터의 고장진단을 위한 데이터 구조를 생성하고 데이터베이스로부터 데이터베이스를 데이터를 중복하여 읽어들이는 역할을 한다. 이와 같은 과정은 시스팀이 초기에 동작을 시작하거나 운용중 운용자에 의해서 릴레이션의 추가 및 삭제, 그리고 튜플의 추가등과 같은 사건이 발생할 경우에 이루어진다. 데이터베이스 검증기는 고장진단 데이터 생성기가 중복하여 생성한 데이터에 대해서 데이터베이스 데이터의 제작시의 초기 오류를 검증해냄으로써 데이터베이스 관리 시스팀의 안전한 운용을 가능하게 하며 고장진단기가 데이터베이스 데이터를 주기적으로 진단할 데이터를 탄생시킨다. 마지막으로 고장진단기는 주기적으로 데이터베이스 데이터의 고장을 진단하여 고장이 발생한 데이터를 미리 분류한 규칙에 따라 원래의 데이터로 복구하거나 운용자에게 보고함으로써 고장에 대비하도록 한다. 그리고 데이터베이스 상의 운용자에 의한 변경을 감지하여 고장진단 데이터의 재생성을 지시한다. 본 논문에서 제시하고 구현한 데이터베이스 데이터의 고장진단 및 복구를 위한 전문가 시스팀은 실시간 환경과 고장허용 환경, 분산 구조 그리고 빈번한 접근을 갖는 데이터베이스 관리 시스팀에서 아주 중요한 역할을 할 수 있다.

  • PDF

데이터 거버넌스 실증연구: 구성요소 간 구조적 관계와 영향을 중심으로 (An empirical study on data governance: Focusing on structural relationships and effects of components)

  • 윤건
    • 정보화정책
    • /
    • 제30권3호
    • /
    • pp.29-48
    • /
    • 2023
  • 디지털전환과 AI·데이터시대가 심화되면서 데이터의 원활한 흐름과 활용을 위한 데이터 정책, 그리고 그 의사결정 구조로서의 데이터 거버넌스에 대한 관심이 증대되고 있다. 기존의 데이터 거버넌스 연구들을 살펴보면, 데이터 거버넌스 자체의 측정이나 사례 분석은 많이 이루어지고 있으나 실증연구가 부족한 것으로 보인다. 이 논문에서는 데이터 거버넌스의 구성요소 간 구조적 관계와 그것이 목표로 하는 데이터 융합이나 데이터기반행정 등에 미치는 영향을 실증하고자 하였다. 첫째, 데이터 거버넌스에 대한 다양한 정의와 구성요소 및 유형화의 방식, 이를 적용한 선행연구들을 살펴보고, 공공 부문에 특화된 데이터 정책 관점의 정의를 개발하여 적용하였다. 둘째, 분석틀과 가설을 설정하고, 검증을 위해 한국행정연구원의 '공공데이터 정책 활용 실태조사' 자료를 분석하였다. 분석 결과, 데이터 거버넌스 구성요소 중 조직 요소가 제도 요소와 기술 요소 사이에서 매개적 효과를 나타내었고, 제도 요소와 기술 요소가 데이터 융합이나 데이터기반행정에 통계적으로 유의한 긍정적 영향을 미치는 것으로 나타났다. 셋째, 데이터 거버넌스에서 법제도의 개선과 개발에 대한 관심과 투자, 데이터 기술의 수단과 목적에 대한 명확화, 데이터 조직과 인력에 대한 관심과 실제적으로 작동할 수 있는 메커니즘의 개발 등, 몇 가지 중요한 정책적 시사점을 제시하였다.

전문가 의견을 반영하는 향상된 의사결정나무의 엔트로피 기법 (Decision Tree Algorithm with Improved Entropy Using an Expert Opinion)

  • 박선빈;김동문;윤태복;이지형
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국지능시스템학회 2007년도 추계학술대회 학술발표 논문집
    • /
    • pp.239-242
    • /
    • 2007
  • 최근 데이터의 양이 많아지고 다양해짐에 따라서 데이터를 활용하기 위한 데이터 마이닝에 관한 관심이 중대되고 있다. 데이터 분석을 위한 수집 데이터에는 수집 과정에서 분석가가 원치 않은 데이터 잡음이 발생하는 경우가 있고 그 데이터가 다른 데이터들과 같은 가중치로 데이터 마이닝에 반영되는 경우 예상과 다른 결과를 얻을 수 있다. 따라서 데이터 분석 시 데이터와 전문가 의견이 고려된 데이터 엔트로피(Entropy)를 사용하여 잡음 데이터를 다를 필요가 있다. 본 논문에서는 전문가의견을 이용한 전문가 의견 목록을 만들고 이를 데이터와 비교하여 유사한 정도에 따라 각 데이터에 가중치를 부여한다. 그리고 이 데이터를 활용한 의사결정나무(Decision Tree)를 사용하여 기존 데이터를 이용한 의사결정나무 보다 데이터 잡음의 영향을 줄이는 방법을 제안한다. 제안한 방법은 학습자의 학습 활동에서 수집된 학습 행위 데이터를 사용하여 실험하였다.

  • PDF

공간 데이터 웨어하우스에서 GML 데이터의 효율적인 적재를 위한 데이터 통합 기법 (GML Data Integration Method for Load Processing of Spatial Data Warehouse)

  • 전병윤;이동욱;유병섭;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.27-30
    • /
    • 2006
  • GIS 분야에서 데이터 교환의 표준으로 OGC(Open Geospatial Consortium)에서 GML(Geography Markup Language)이 제안되어 웹 어플리케이션이나 공간 데이터 교환에서 사용이 일반화 되어가고 있다. 또한, 공간 데이터를 효과적으로 수집하여 의사결정을 지원하기 위한 시스템인 공간 데이터 웨어하우스에서도 GML 데이터를 추출하여 소스 데이터로 활용하는 것이 요구되고 있다. 하지만 GML 은 반구조형식(semi-structured)의 데이터 형식을 가진다. 따라서 기존 구조적인 데이터와는 추출하는 방식이 다르므로 GML 의 특징에 맞는 공간 데이터 추출이 수행되어야 한다. 본 논문에서는 공간 데이터 웨어하우스에서 GML 기반의 공간 데이터 소스를 추출할 때, 중복되는 공간 객체를 하나의 표현으로 통합하여 효율적으로 적재하는 기법을 제안한다. 이는 GQuery를 이용하여 GML 데이터를 추출한 후, GML 스키마를 메타데이터에서 관리하는 스키마 정보와 비교하여 공간 데이터 웨어하우스에 통합된 공간 데이터를 제공하는 기법이다. 성능평가에서는 기존의 GML 데이터를 추출하는 기법과 제안기법과의 비교를 통하여 제안 기법의 기존 기법에 비해 평균적으로 약 9.95%의 성능향상을 보였다.

  • PDF

S-XML 미들웨어에서 캐싱을 이용한 효율적인 공간 데이터 변환 기법 (An Efficient Spatial Data Transformation Method Using Caching on S-XML Middleware)

  • 이동욱;장용일;박순영;오영환;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.47-50
    • /
    • 2005
  • 본 논문에서는 S-XML 미들웨어에서 캐싱을 이용한 효율적인 공간 데이터 변환 기법을 제안한다. 공간 데이터베이스 관리 시스템(SDBMS)을 기반으로 하여 S-XML 을 지원하는 시스템은 SDBMS 에서 사용되는 이진 데이터와 S-XML 간의 상호 변환 과정이 필요하다. 특히 변환 과정에서 공간 데이터는 비공간 데이터에 비해 데이터 크기가 크고, 복잡한 동시에 다양한 데이터 형식을 가지고 있어 비공간 데이터에 비해 변환 비용이 크다. 따라서 공간 데이터의 특성을 고려한 변환 비용 감소 기법이 필요하다. 제안 기법은 SDBMS 의 질의 처리 결과인 이진 데이터를 S-XML 문서로 변환하고, S-XML 미들웨어의 캐싱 관리자에서 공간 데이터에 해당하는 부분만을 캐싱 한다. 캐싱 관리자는 질의를 점 질의와 영역 질의로 구분한다. 점 질의의 결과에 대해서는 공간 데이터의 OID 를 키 값으로 하는 해쉬 색인을 사용하며, 영역 질의 결과에 대해서는 질의에서 표현된 MBR 에 따라 R-Tree 색인을 사용한다. 변환 과정에서 요구되는 공간 데이터가 캐싱된 데이터로 존재하면 질의 종류에 따른 색인을 사용하여 데이터를 추출하고 이를 S-XML 데이터로 치환한다. 캐싱 데이터를 이용한 공간 데이터 변환 기법에 의해 공간 데이터의 변환 비용을 줄임으로써 S-XML 미들웨어 에서의 변환 시간을 단축할 수 있다.

  • PDF

정교한 데이터 분류를 위한 방법론의 고찰 (A Review of the Methodology for Sophisticated Data Classification)

  • 김승재;김성환
    • 통합자연과학논문집
    • /
    • 제14권1호
    • /
    • pp.27-34
    • /
    • 2021
  • 전 세계적으로 인공지능(AI)을 구현하려는 움직임이 많아지고 있다. AI구현에서는 많은 양의 데이터, 목적에 맞는 데이터의 분류 등 데이터의 중요성을 뺄 수 없다. 이러한 데이터를 생성하고 가공하는 기술에는 사물인터넷(IOT)과 빅데이터(Big-data) 분석이 있으며 4차 산업을 이끌어 가는 원동력이라 할 수 있다. 또한 이러한 기술은 국가와 개인 차원에서 많이 활용되고 있으며, 특히나 특정분야에 집결되는 데이터를 기준으로 빅데이터 분석에 활용함으로써 새로운 모델을 발견하고, 그 모델로 새로운 값을 추론하고 예측함으로써 미래비전을 제시하려는 시도가 많아지고 있는 추세이다. 데이터 분석을 통한 결론은 데이터가 가지고 있는 정보의 정확성에 따라 많은 변화를 가져올 수 있으며, 그 변화에 따라 잘못된 결과를 발생시킬 수도 있다. 이렇듯 데이터의 분석은 데이터가 가지는 정보 또는 분석 목적에 맞는 데이터 분류가 매우 중요하다는 것을 알 수 있다. 또한 빅데이터 분석결과 통계량의 신뢰성과 정교함을 얻기 위해서는 각 변수의 의미와 변수들 간의 상관관계, 다중공선성 등을 고려하여 분석해야 한다. 즉, 빅데이터 분석에 앞서 분석목적에 맞도록 데이터의 분류가 잘 이루어지도록 해야 한다. 이에 본 고찰에서는 AI기술을 구현하는 머신러닝(machine learning, ML) 기법에 속하는 분류분석(classification analysis, CA) 중 의사결정트리(decision tree, DT)기법, 랜덤포레스트(random forest, RF)기법, 선형분류분석(linear discriminant analysis, LDA), 이차선형분류분석(quadratic discriminant analysis, QDA)을 이용하여 데이터를 분류한 후 데이터의 분류정도를 평가함으로써 데이터의 분류 분석률 향상을 위한 방안을 모색하려 한다.

에너지 데이터 플랫폼에서의 거래 가이드에 관한 연구 (A Study on Energy Data Exchange Guide in Energy Data Platform)

  • 김우제;정범진;김하윤;전종현;박수빈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.731-734
    • /
    • 2021
  • 본 논문에서는 에너지 데이터 플랫폼에서의 데이터 거래 가이드라인을 연구 및 제안한다. 타 산업에서의 데이터 플랫폼들의 현황과 에너지 데이터 플랫폼 구조를 분석하여 에너지 데이터 거래에서의 이해관계자를 정의한다. 또한, 타 산업에서의 데이터 거래가이드를 분석하여 에너지 거래 가이드 구성요소와 거래 계약 거래 원칙을 정의한다. 에너지 데이터 거래 가이드의 구성 요소로는 데이터 거래 이해관계자 정의, 데이터 거래 유형, 데이터 거래 유형별 거래 계약 원칙, 데이터 구매 및 판매비용 산정 방안, 데이터 플랫폼 이용료 산정 방안, 데이터 거래시 법적 쟁점으로 구성된다. 본 연구에서는 데이터 거래 이해관계자 정의, 데이터 거래 유형, 데이터 거래 유형별 거래 계약 원칙에 대해 정의하였다.

  • PDF

빅데이터 유통 생태계에 기반한 단계별 빅데이터 유통 모델 개발에 관한 연구 (A Study on the Development of Phased Big Data Distribution Model Based on Big Data Distribution Ecology)

  • 김신곤;이석준;김정곤
    • 디지털융복합연구
    • /
    • 제14권5호
    • /
    • pp.95-106
    • /
    • 2016
  • 본 연구는 빅데이터 유통 생태계에 기반한 단계별 빅데이터 유통 모델 개발 방안을 제안한다. 제안하는 빅데이터 유통모델의 개발은 데이터 중개 및 거래 플랫폼 구축, 거래지원 시스템 구축, 데이터 유통 포털 및 빅데이터 거래소 연결망 구축과 같이 3단계로 구성된다. 데이터 중개 및 거래 플랫폼 구축 단계에서는 데이터 유통 및 거래 플랫폼이 구축되며, 총괄시스템과 등록 및 거래관리 시스템으로 구성되며, 거래지원 시스템 구축 단계에서는 원활한 데이터 거래를 위한 거래지원 시스템이 추가적으로 구축된다. 마지막 데이터 유통 포털 및 빅데이터 거래소 연결망 구축 단계에서는 여러 거래소들의 통합에 필요한 유통 관리 시스템이 구축된다. 새로운 기술, 프로세스, 데이터 과학 등을 이용하여 과거의 데이터 관리 시스템을 빠르게 대체해 나가고 있는 현대의 데이터 시장에서 데이터 유통시장 모델은 계속 진화하고 있으며, 비즈니스 업계에서 수용되고 있다. 따라서 제안하는 빅데이터 유통 모델은 멀지 않은 장래에 데이터를 관리하고 접근하기 위한 산업표준 확립 시 고려될 수 있다고 사료된다.

형식 개념 분석을 통한 공공데이터의 메타데이터 분석 (Metadata Analysis of Open Government Data by Formal Concept Analysis)

  • 김학래
    • 한국콘텐츠학회논문지
    • /
    • 제18권1호
    • /
    • pp.305-313
    • /
    • 2018
  • 공공데이터는 공공기관이 만들어내는 자료나 정보를 국민에게 공개한 것이다. 정부는 공공데이터포털과 개별기관의 웹사이트를 통해 공공데이터를 개방하고 있다. 그러나 데이터 사용자 관점에서 원하는 공공데이터를 탐색하고 활용하는데 제약이 있는 것이 현실이다. 특히, 데이터 목록의 특성을 파악하고 서로 다른 데이터를 연계하는 과정에 많은 노력과 시간이 필요하다. 본 연구는 공공데이터로 개방된 데이터 목록이 갖고 있는 항목명의 공통 관계를 분석하여 데이터 목록사이의 연결 가능성을 제안한다. 공공데이터포털에서 제공하는 데이터 목록을 수집하고, 데이터 목록에 포함된 데이터 항목명을 추출한다. 추출된 항목명은 형식 개념 분석을 통해 형식 문맥 (formal context)과 형식 개념 (formal concept)으로 구성된다. 형식 개념은 데이터 목록과 항목명을 각각 외연과 내연으로 갖고 있고, 내연의 공통항목을 분석해 데이터 연결 가능성을 판별한다. 형식 개념 분석을 통해 도출한 결과는 데이터 목록의 의미적 연결에 효과적으로 활용될 수 있고, 공공데이터 개방을 위한 데이터 표준 및 품질개선에 적용할 수 있다.