• 제목/요약/키워드: 데이터

검색결과 66,592건 처리시간 0.072초

스파크 기반의 대용량 데이터 압축을 이용한 실시간 데이터 분석 기법 (Real-time data analysis technique using large data compression based spark)

  • 박수용;신용태
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.545-546
    • /
    • 2020
  • 스파크는 데이터 분석을 위한 오픈소스 툴이다. 스파크에서는 실시간 데이터 분석을 위하여 스파크 스트리밍이라는 기술을 제공한다. 스파크 스트리밍은 데이터 소스가 분석서버로 데이터 스트림을 전송한다. 이때 전송하는 데이터의 크기가 커질 경우 전송과정에서 지연이 발생할 수 있다. 제안하는 기법은 전송하고자 하는 데이터의 크기가 클 때 허프만 인코딩을 이용하여 데이터를 압축하여 전송시키므로 지연시간을 줄일 수 있다.

  • PDF

원격교육 학습데이터 가중치에 따른 DID 메타데이터 처리방법 연구 (A study on DID metadata processing method according to distance learning data weight)

  • 민연아
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.567-568
    • /
    • 2023
  • 본 논문에서는 블록체인 기반 DID기술을 이용하여 원격교육에서 발생하는 학습데이터를 효율적으로 관리하기 위한 방법으로, 학습데이터 가중치를 고려한 DID 메타데이터관리방법을 제안하였다. 메타데이터의 식별자에 대하여 특정위치로 데이터 가중치를 검색하도록 하고 해당 가중치에 따라 처리방법을 다양화 할 수 있다. 본문에서는 블록체인의 Zero Knowledge Proof 방식 처리에 차별화를 두어 메타데이터를 처리하였으며 데이터 처리속도 및 데이터관리에 효율성높일 수 있다.

  • PDF

스마트 항로표지 서비스를 위한 빅데이터 플랫폼 구축 연구

  • 김경원;박종빈
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2021년도 추계학술대회
    • /
    • pp.57-59
    • /
    • 2021
  • 현재 국내 해양에 설치된 항로표지를 통해 해양 상태에 대한 다양한 정보가 수집/관리되고 있으며, 기상청에서 제공되는 기상 데이터 등 항로표지 데이터와 연계를 통해 유용한 서비스 개발이 가능한 데이터가 생상되고 있으나, 각 데이터의 관리 주체/시스템이 분산되어 효율적으로 활용되기 어려운 실정이다. 이에, 본 논문에서는 항로표지 데이터와 타 시스템에서 수집/관리되고 있는 데이터의 연계/분석을 통해 항로표지 데이터 기반의 다양한 서비스 개발에 활용 가능한 스마트 항로표지 빅데이터 플랫폼 구축 기술을 제안한다.

  • PDF

링크드 데이터 방식을 통한 서지 정보의 확장에 관한 연구 (Extending Bibliographic Information Using Linked Data)

  • 박지영
    • 정보관리학회지
    • /
    • 제29권1호
    • /
    • pp.231-251
    • /
    • 2012
  • 본 연구에서는 서지 정보를 확장하기 위한 방안으로 링크드 데이터를 선정하였다. 링크드 데이터는 웹 공간을 통해 공유 가능한 식별기호와 데이터 구조 및 링크 정보를 제공하기 때문이다. 특히 링크드 데이터는 서지 온톨로지와 결합하여 서지데이터를 확장시키는데 유용하다. 이에 링크드 데이터와 서지 온톨로지를 분석하고, 연계 가능한 링크드 데이터를 검토하였다. 그리고 이를 바탕으로 링크드 데이터로 구축된 기존의 전거 데이터 및 서지 데이터를 연계하였다. 이러한 실험적 연계를 통해 향후 링크드 데이터를 효과적으로 활용하기 위한 과제를 도출할 수 있었다. 즉, 1) 다양한 링크드 데이터 중에서 각 기관에서 적합한 데이터를 선정할 수 있어야 하며, 2) 선정된 링크드 데이터를 연계하기 위한 기준을 정립해야 하고, 마지막으로 3) 자관의 고유한 데이터를 개발하여 이를 다시 공유해 나가야 할 것을 제안하였다.

공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법 (Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder)

  • 김형선;유병섭;박순영;이재동;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.79-81
    • /
    • 2005
  • 공간 데이터 웨어하우스 구축기는 운영 데이터베이스의 데이터를 추출하여, 공간 데이터 웨어하우스 서버에 적재하는 과정을 효율적으로 관리하는 시스템이다. 구축기는 적재로 인한 서버의 부하를 줄이기 위하여 적재할 데이터를 임시 저장하는데, 기존 기법은 적재할 데이터를 하나의 저장 공간에 관리한다. 따라서 서버가 특정 차원 테이블에 대한 실시간 질의처리를 위해 특정 차원 테이블의 즉시 적재를 요청할 경우, 구축기는 이를 위해 임시 저장한 모든 데이터를 검색하므로 처리비용이 증가한다. 또한, 하나의 저장공간에 적재할 데이터를 유지하여 서버에 데이터 적재 시, 저장을 위해 혼합된 데이터를 분석하는 비용이 증가한다. 본 논문에서는 공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법을 제안한다. 제안 기법은 운영 데이터베이스로부터 추출한 데이터를 서버에 적재할 차원 테이블 단위로 구축기에서 각각 다른 저장 공간에 관리한다. 따라서 테이블 단위의 데이터 관리로 실시간 질의처리를 위한 특정 차원 테이블의 즉시 적재 비용이 감소하며, 테이블 단위의 병렬전송이 가능하여 전송비용이 감소한다. 또한, 서버로 전송된 데이터는 테이블 단위의 벌크 삽입이 가능하여 적재시간이 감소한다.

  • PDF

Google Analytics API를 연동한 R 프로그래밍 데이터 시각화 (Data Visualization of R Programming using Google Analytics API)

  • 안장근;장시웅
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.290-293
    • /
    • 2017
  • 최근 IoT 기술발달로 인한 스마트폰 및 대용량 미디어기기 사용증가로 인터넷 네트워크 사용량이 폭발적으로 증가되고 있고, 이러한 데이터 사용량 급증으로 대량의 데이터를 지칭하는 빅데이터 수집 및 분석에 많은 기업과 정부가 주목하고 있다. 빅데이터는 기존에 없던 새로운 데이터의 구축이 아니며, 그동안 축적된 다방면의 방대한 데이터의 집합이라 할 수 있다. 빅데이터의 이용 및 분석에 대한 기업 정부 학계의 수요는 증가하고 있지만, 고난도의 빅데이터 분석을 위한 인프라 구축이 선결과제이어서, 이러한 인프라구축 비용 때문에 빅데이터 분석이 일선 산업분야에 바로 적용하는데 많은 장애요인이 되어 데이터 분석가들의 빅데이터 분석에 애로사항으로 존재하고 있다. 이러한 어려움을 해소하기 위한 방안으로 새로운 인프라 구축 없이 Google Analytics API를 연동한 R 프로그래밍의 데이터 시각화를 활용한 데이터 분석 방안을 제시하고자 한다. 본 연구에서는 구글 애널리틱스 API를 연동하여 사용자 웹사이트의 사용자접속, 사이트운영, 이벤트 발생 등의 데이터를 R 프로그램을 활용하여 사이트 현황을 데이터 시각화로 분석하고 운영중인 웹사이트에 적용 가능한 콘텐츠 개발 방안에 대해 연구하였다.

  • PDF

수산과학 빅데이터 플랫폼 구축과 메타 데이터 관리방안 (Fishery R&D Big Data Platform and Metadata Management Strategy)

  • 김재성;최영진;한명수;황재동;조완섭
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.93-103
    • /
    • 2019
  • 본 논문에서는 수산과학 R&D 정보의 빅데이터 플랫폼 구축과 메타 데이터 관리기법에 관해 소개한다. 빅데이터 플랫폼에서는 다양한 유형의 수산과학 R&D 정보를 수집하여 통합 연계하고, 이를 데이터 레이크 형태로 구축하는 방안을 제시한다. 수산과학 분야에서 수집, 축적되고 있는 기존의 데이터와 함께 위성영상 데이터, 연구보고서 등 비정형 빅데이터까지 수집하여 다양한 분석을 지원하는 빅데이터 플랫폼의 구축방안을 제시한다. 다음으로 데이터 추출과 전처리 및 저장 과정에서 메타 데이터를 수집하고 관리함으로써 수산과학 빅데이터의 체계적인 관리가 가능하도록 한다. 빅데이터 플랫폼 구축과 함께 메타 데이터를 표준양식으로 구축함으로써 데이터의 수집, 저장, 활용 및 유통 등 데이터 수명주기 전반에 걸쳐 체계적이고도 지속적인 빅데이터 관리 방안을 제시하는데 의의가 있다.

  • PDF

생명공학분야의 연구데이터 공유 사례에 관한 연구 (A Study on Use Case of Research Data Sharing in Biotechnology)

  • 박미영;안인자;김준모
    • 한국비블리아학회지
    • /
    • 제29권1호
    • /
    • pp.393-416
    • /
    • 2018
  • 연구데이터 관리 공유의 연구 패러다임 변화로 미국 및 유럽은 연구데이터 관리 의무화를 법제도화 하고 있으나 국내 연구현장은 인식부족과 인프라 미비로 연구데이터 관리지침 및 관리계획 등이 부재한 상황이다. 본 연구에서는 주요국가의 연구데이터 관리지침(미국 NISO DMP, 영국 UK 아카이브 DMP 등)을 조사하여 연구데이터 관리계획의 주요 단계를 도출하였다. 도출한 결과는 연구데이터 정책 계획 지원, 연구데이터 기술적 지원, 연구데이터 공유 활용 지원, 연구데이터 법적 매커니즘 지원, 연구데이터 교육 지원이다. 데이터 활용도가 가장 높은 생명공학분야 국내외 7개 기관의 연구데이터 공유 활용 사례를 연구데이터 관리 구성요소, 연구데이터 공유방법에 따라 비교 분석하였다. 유럽생물정보학연구소와 미국 국립생명공학정보센터는 연구데이터 공유 활용을 하고자 연구데이터 관리계획, 문서화, 데이터포맷, 데이터 저장, 공유 및 접근, 보존 등 관리를 위한 각 단계를 시행하고 있으나 국내의 경우 연구성과물 중 생물자원에 대한 제출만 이루어지고 있다. 연구데이터 관리계획(DMP)지원, 기술적 지원, 공유 활용 체계 지원, 법적 저작권 지원 등에 대한 가이드 및 매뉴얼 제작 배포로 국내 연구데이터 관리 및 공유 활용 대책을 연구데이터 관리계획 단계별로 마련해야 한다.

수재해 정보 서비스 설계를 위한 사용자 데이터 제공 방안 (Providing User Data for Water Hazrd Information Service Design)

  • 성연정;명유리;황의호;채효석
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2017년도 학술발표회
    • /
    • pp.355-355
    • /
    • 2017
  • 현재 국내외적으로 가뭄, 홍수 등 물 관련 재해 발생 규모가 커지고 빈도 또한 많아지고 있으며 이러한 자연재해 및 이상현상으로 인해 체계적인 대응을 위한 수재해와 관련된 연구들이 지속적으로 수행되고 있는 실정이다. 수재해 관련 연구를 수행함에 있어 많은 물관련 자료들이 필요하며, 이러한 자료들을 각 연구자별로 수집하여 수행하게 되는데 자료를 수집하는데 소요되는 시간 및 요구되는 정확도를 확보하지 못하는 경우가 발생하게 된다. 이처럼 강수량, 기온 등과 같은 기초데이터와 수위, 유량 등 물관련 데이터 등 연구 수행지원을 위한 체계적인 데이터 활용 및 체계 구축관련 연구가 필요하다. 이를 위해 수재해 관련 정보시스템에서는 데이터 연계 구축 항목으로 위성, 레이더 등 광역 관측 장비를 이용한 관측데이터와 관련 연구를 수행하는 기관의 데이터를 제공할 예정이다. 제공할 항목은 홍수, 가뭄 등 자체 생산된 수재해 관련 데이터와 공개된 데이터를 가지고 있는 미항공우주국(NASA) SEDAC(Socioeconomic Data and Applications Center)에서 제공해주는 약 51개의 토지이용도, 수재해, 물 등의 데이터가 있으며, 미국해양대기관리처(NOAA)에서 주제도별 데이터로 가뭄정보, 기온, 월평균강수, 월 총강수량 등이 있다. 자체 수집된 데이터를 UX기반의 형식으로 제공하며, 또한, 관련기관의 물관련 데이터를 해당 홈페이지 제공 및 연동 등의 방법과 데이터 DB화를 이용한 서비스 제공 방안 등으로 수재해 정보 서비스 사용자의 유연한 데이터 활용에 도움을 줄 수 있으며, 기초데이터를 사용자의 경험을 통한 UX디자인으로 수재해 정보 서비스를 구축할 예정이다. 이에 본 연구에서는 광역 관측 장비인 위성으로부터 생성된 강우와 증발산량, 토양수분량 등과 고정밀소형레이더 기반의 도심 내 국지호우를 예상할 수 있는 강수량 등을 제공해 줄 수 있으며, NASA와 NOAA의 데이터를 활용하여 물관련 연구 및 수재해 관련 연구 등에 도움을 주기 위해 기초조사 및 데이터 제공방법을 제시하였다. 국가 물 관련 재해 데이터를 관련 사용자들이 기초조사 및 분석할 때 쉽게 접근하며 사용할 수 있는 데이터 활용 방안연구에 도움을 줄 것으로 사료되며 관련 연구를 진행할 때 데이터 수집의 시간을 단축시키며 필요한 데이터의 정확도를 높일 것으로 판단된다.

  • PDF

데이터 웨어하우스 환경에서 데이터 품질의 향상을 위한 개념적 프레임워크의 개발에 관한 연구 (A Study on the Development of Framework for Enhancing Data Quality in Data Warehouse Environments)

  • 정경수;김병곤;장상도
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1999년도 국제컨퍼런스 디지털컨텐츠 활용을 통한 지식경영의 확산
    • /
    • pp.191-201
    • /
    • 1999
  • 데이터 웨어하우스와 데이터 품질에 관한 문헌연구를 통하여 데이터 웨어하우스 환경에서 데이터 품질의 향상을 위한 개념적 프레임워크를 개발하고자 하는 것이 본 연구의 목적이다. 데이터 웨어하우스 데이터 품질향상 활동을 지원하는 프레임워크를 개발하는 목적은 (1) 다양한 요구를 가진 사용자들이 웨어하우스 데이터에 접근하기 때문에, 사용자의 요구를 만족시키며 기업의 목적에 적합한 품질향상 활동을 지원하기 위해서이며, 다양한 기업활동을 가장 잘 지원할 수 있는 데이터 품질향상 지침을 관리자에게 제공하기 위해서 이다. (2) 웨어하우스 관리자의 데이터 품질향상 활동을 지원하기 위해서는 품질차원이나 데이터세트 등과같은 품질향상에 필요한 다양한 이슈를 관리자가 인식할 수 있도록 하기 위해서이다. (3) 데이터 웨어하우스 환경에서 데이터 품질 향상에 필요한 체계적이고 포괄적인 안목을 제공하기 위해서이다. 본 연구는 다음과 같은 단계로 수행하게 된다. 첫째, 데이터 웨어하우스의 개념과 데이터 웨어하우스의 구축단계 및 데이터 웨어하우스를 구성하는 프레임워크를 검토한다. 둘째, 데이터 웨어하우스 환경에서의 데이터 품질의 기준과 데이터 품질의 측정 및 데이터 품질의 향상 방안 등을 고찰한다. 셋째, 데이터 웨어하우스 환경에서 데이터 품질의 향상을 위한 개념적 프레임워크를 개발하기 위하여 데이터 웨어하우스 데이터 풀질 향상과 관련된 기업활동, 데이터 세트, 품질의 속성 및 차원 등을 정의한다. 마지막으로 데이터 웨어하우스 환경하에서 데이터 품질을 향상할 수 있는 3차원 구조의 개념적 프레임워크를 제안하며, 나아가 제안한 모형에 대하여 데이터 품질 향상을 위한 프로젝트 활동의 사례를 통하여 모형의 타당성을 개념적으로 설명한다.통하여 각각의 제품을 비교하였으며, 둘째 소프트웨어 종류별 평가로 제품을 응용소프트웨어, 응용개발도구, 시스템 소프트웨어로 분류하여 평균값으로 비교하였다. 셋째, 국내외 제품별 평가분석으로 전체 제품을 국내제품과 국외제품으로 분류하여 비교하였으며, 마지막으로 총괄분석을 통해 가중치를 적용하여 전 제품의 점수를 비교하였다. 여기에서는 각 제품의 평균점수에 대한 차이를 95%의 유의수준으로 T-Test를 실시하였다.uted to the society, and what the socioeconomic impacts are resulted from the program. It would be useful for the means of (ⅰ) fulfillment of public accountability to legitimate the program and to reveal the expenditure of pubic fund, and (ⅱ) managemental and strategical learning to give information necessary to improve the making. program and policy decision making, The objectives of the study are to develop the methodology of modeling the socioeconomic evaluation, and build up the practical socioeconomic evaluation model of the HAN projects including scientific and technological effects. Since the HAN projects cons

  • PDF