• Title/Summary/Keyword: 데이터 정제

Search Result 469, Processing Time 0.028 seconds

Journal Subscription Value Curation Service Based on Incremental Big Data Learning (점진적 빅데이터 학습기반의 전자저널 구독가치 큐레이션 서비스)

  • Lee, Jeong-won;Jin, Seong-il
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2019.05a
    • /
    • pp.409-410
    • /
    • 2019
  • 점진적 빅데이터 학습 기반의 전자저널 구독가치 큐레이션 서비스는 대용량의 학술정보 처리환경을 하드웨어 기반에서 소프트웨어 기반으로 데이터를 학습함에 있어 학습 소요시간 및 메모리 부족 문제 등을 해결하기 위해 널리 사용하는 자질축소 기법에 의존하지 않고 대량의 데이터를 자유롭게 학습하고 증분 데이터 변경요소만을 추가 반영할 수 있는 범용적이고 일반적인 분류기의 구조설계 방법이다. 학술정보의 논문요약과 참고문헌의 데이터 수집 정제 분류 저장 분석을 통해 활용할 수 있는 지표를 생성하여 도서관 학교 공공기관 연구기관 등에 제공하여 기관에서 구독하고 있는 학술지가 연구에 얼마나 활용되고 있는지를 판단하는 정보 가용성을 활용한 양질의 정보원을 확보하여 불필요한 저널 구독을 중단하고 연구자가 요구하는 품질 좋은 학술정보를 제공할 수 있는 서비스로 일반적인 학술문헌 이용도 평가방법과 달리 구독 가치에 대한 지표를 제공하는 큐레이팅 방법이다.

  • PDF

GAN-based research for high-resolution medical image generation (GAN 기반 고해상도 의료 영상 생성을 위한 연구)

  • Ko, Jae-Yeong;Cho, Baek-Hwan;Chung, Myung-Jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.544-546
    • /
    • 2020
  • 의료 데이터를 이용하여 인공지능 기계학습 연구를 수행할 때 자주 마주하는 문제는 데이터 불균형, 데이터 부족 등이며 특히 정제된 충분한 데이터를 구하기 힘들다는 것이 큰 문제이다. 본 연구에서는 이를 해결하기 위해 GAN(Generative Adversarial Network) 기반 고해상도 의료 영상을 생성하는 프레임워크를 개발하고자 한다. 각 해상도 마다 Scale 의 Gradient 를 동시에 학습하여 빠르게 고해상도 이미지를 생성해낼 수 있도록 했다. 고해상도 이미지를 생성하는 Neural Network 를 고안하였으며, PGGAN, Style-GAN 과의 성능 비교를 통해 제안된 모델이 양질의 고해상도 의료영상 이미지를 더 빠르게 생성할 수 있음을 확인하였다. 이를 통해 인공지능 기계학습 연구에 있어서 의료 영상의 데이터 부족, 데이터 불균형 문제를 해결할 수 있는 Data augmentation 이나, Anomaly detection 등의 연구에 적용할 수 있다.

A Study on the Linkability of Public Information Using Social Network Analysis (사회 연결망 분석을 활용한 공공데이터 간 연관성에 관한 연구)

  • Jeong, Da Woon;Yi, Mi Sook;Shin, Dong Bin
    • Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
    • /
    • v.35 no.6
    • /
    • pp.461-470
    • /
    • 2017
  • In Korea, starting with the Government 3.0 Policy, the utilization of public data as an important driving force to promote economic growth has been highlighted as a major issue. However Korea is currently only able to open and provide accumulated data stored in the public domain. To resolve this issue, we need to not only open and provide public information, but also to create new information by linking the data and developing related services. Thus, this study analyzes the linkability of public information and provides lists of the linkable public data. In order to do this, we first have performed preconditioning processes on the accessibility and workability of the data. Next, we have deduced the major keywords in public data through analyzing the morphemes, and then the core keywords (Top 10) and their linkable keyword lists through an analysis of social networks. Based on the outcome of this study, a subsequent study will deduce new information by linking the public data and creating various services and information contents. Furthermore, not only conceptual but also practical linking measures need to be created, and a related law must be prepared.

Implementation of a Data Processing Method to Enhance the Quality and Support the What-If Analysis for Traffic History Data (교통이력 데이터의 품질 개선과 What-If 분석을 위한 자료처리 기법의 구현)

  • Lee, Min-Soo;Cheong, Su-Jeong;Choi, Ok-Ju;Meang, Bo-Yeon
    • The KIPS Transactions:PartD
    • /
    • v.17D no.2
    • /
    • pp.87-102
    • /
    • 2010
  • A vast amount of traffic data is produced every day from detection devices but this data includes a considerable amount of errors and missing values. Moreover, this information is periodically deleted before it could be used as important analysis information. Therefore, this paper discusses the implementation of an integrated traffic history database system that continuously stores the traffic data as a multidimensional model and increases the validity and completeness of the data via a flow of processing steps, and provides a what-if analysis function. The implemented system provides various techniques to correct errors and missing data patterns, and a what-if analysis function that enables the analysis of results under various conditions by allowing the flexible definition of various process related environment variables and combinations of the processing flows. Such what-if analysis functions dramatically increase the usability of traffic data but are not provided by other traffic data systems. Experimantal results for cleaning the traffic history data showed that it provides superior performance in terms of validity and completeness.

Robust Real-Time Visual Odometry Estimation for 3D Scene Reconstruction (3차원 장면 복원을 위한 강건한 실시간 시각 주행 거리 측정)

  • Kim, Joo-Hee;Kim, In-Cheol
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.4 no.4
    • /
    • pp.187-194
    • /
    • 2015
  • In this paper, we present an effective visual odometry estimation system to track the real-time pose of a camera moving in 3D space. In order to meet the real-time requirement as well as to make full use of rich information from color and depth images, our system adopts a feature-based sparse odometry estimation method. After matching features extracted from across image frames, it repeats both the additional inlier set refinement and the motion refinement to get more accurate estimate of camera odometry. Moreover, even when the remaining inlier set is not sufficient, our system computes the final odometry estimate in proportion to the size of the inlier set, which improves the tracking success rate greatly. Through experiments with TUM benchmark datasets and implementation of the 3D scene reconstruction application, we confirmed the high performance of the proposed visual odometry estimation method.

Development of Location Data Stream Processor for RTLS (RTLS를 위한 위치 데이터 스트림 처리기 개발)

  • Lee, Seung-Chul;Hong, Bong-Hee;Kim, Gi-Hong;Park, Jae-Kwan
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 2007.06a
    • /
    • pp.15-20
    • /
    • 2007
  • 최근 항만 물류 및 자산 관리 분야에서 실시간 위치 정보를 처리하는 RTLS(Real Time Locating System)시스템이 도입되고 있다. 이러한 시스템에서 RTLS 서버는 태그를 부착한 이동 객체들의 위치 데이터 스트림을 일정 시간 동안 수집하여 애플리케이션으로 전달한다. 이 때 위치 정보는 전파 굴절 현상으로 인해 오차가 발생하며, 이동 객체에 부착된 태그는 수 초 마다 위치 정보를 보고하기 때문에 시스템의 과부하를 초래하게 된다. 본 논문에서는 표준과의 호환성을 고려하고, 요구사항을 반영한 위치 데이터 스트림 처리기를 설계 및 개발하였다. RTLS 시스템의 전파 굴절 현상으로 야기되는 비정상적인 위치 오차를 보정하기 위해 맵 매칭 기법을 도입하여 위치 데이터 스트림의 신뢰성을 제공하며, 위치 변화가 없는 객체의 위치 데이터 스트림을 빠르게 정제하는 정지 상태 제거 필터를 개발하여 질의 처리 시 부하를 줄인다. 또한 각 애플리케이션의 질의 결과에 무의미한 위치 정보를 배제하는 중요 위치 수집기를 개발하여 시스템 성능을 향상시킨다.

  • PDF

Data Mart Design Techniques to Support Customer-Centered WEB-OLAP Function (고객 중심의 WEB-OLAP 지원을 위한 데이터 마트 설계 방안 연구)

  • 이정협;최덕원
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.728-730
    • /
    • 2000
  • 고객에게 일방적인 정보를 제공하는 매스마케팅 보다는 고객과의 대화를 통한 고객의 확보가 중요하게 되었다. 인터넷의 대중화로 고객과의 거리가 가까워져 고객 정보의 획득은 수월해진 반면 고객 확보에 어려움을 겪고 있다. 또한 고객들은 보다 합리적이고 현명해졌기 때문에 단순한 정보 제공보다는 다양한 정보분석을 요구하고 있다. 고객에게 다양한 정보분석 기능을 제공하기 위해서는 기존의 데이터 웨어하우스에서 고객이 원하는 정보를 분석할 수 있게 해주는 데이터 마트가 필요하며 웹 상에서 OLAP을 지원해야 한다. 즉 고객이 웹 상에서 다차원 정보에 직접 접근하여 대화식으로 정보를 분석하여 여러 의사결정에 활용하도록 지원하여야 한다. 이 연구에서는 고객의 의사결정에 필요로 하는 정보들을 추출, 분석하여 다차원 정보로 재구성 및 정제를 하는 데 대한 체계적 연구 분석을 통하여 데이터 마트의 설계방안을 제시하고자 한다. 고객은 Web-OLAP을 사용하여 데이터 마트 정보에 액세스하며 실시간 정보 분석을 수행할 수 있게된다.

  • PDF

Table Clustering Using Inter-schema Association (스키마간 연관성을 이용한 테이블 군집화 기법)

  • 조순이;이도헌
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.85-87
    • /
    • 2001
  • 업무 데이터 분석을 통한 종합적인 의사결정을 지원할 수 있도록 데이터웨어하우스, OLAP, 데이터마이닝을 적용하려는 기업의 요구가 많아졌다. 그래서 기초 데이터의 이해, 선별, 수집, 가공, 정제가 매우 중요한 과정이나 테이블명 및 속성명이 표준화되어있지 않고 코드나 시스템 카탈로그와 같은 기본 데이터는 부정확하고 부족하다. 본 논문에서는 거의 스키마 정보에만 의존하여 테이블의 의미적 연관성에 근거한 유사한 특성을 가진 집단끼리 분류하는 대략적인 군집분석 방법을 제안한다. 질의 수행시 사용자가 설정한 임계 거리에 ㄸ라 관련된 군집만 검색함으로써 신속한 응답시간을 보장하고, 분석시점에서 다양한 질의에 유연하게 대처할 수 있다는 장점이 있다. 또한 실제 데이터에 본 연구를 적용하여 산출한 군집결과와 사람이 매뉴얼하게 그룹핑한 군집결과와 비교한다.

  • PDF

The Study of Atomic & Molecular Database Structure for National Fusion Technology Information System Development (핵융합 기술 정보시스템 개발을 위한 원자 및 분자 데이터베이스 구축에 관한 연구)

  • Hwang, Sung-Ha;Park, Jun-Hyoung;Song, Mi-Young;Yoon, Jung-Sik
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06c
    • /
    • pp.69-71
    • /
    • 2012
  • 핵융합 실증로는 미래 에너지원 개발을 위한 대형 프로젝트로 한국형 핵융합 실증로 건설 및 핵융합 에너지 상용화 기술을 개발하는데 목표로 한다. 이를 위해 원자 및 분자 충돌을 통한 데이터는 물리적으로 화학적으로 기본을 이루고 있으며 우리가 주로 접하는 데이터들이다. 특히, 플라즈마 내에서 일어나는 입자(전자, 원자, 이온 분자) 등의 충돌에 따른 데이터를 물성데이터라 하며 이는 핵융합, 반도체 제작, 디스플레이 장치 등의 다양한 분야에 응용된다. 본 논문은 원자 및 분자에 대한 데이터를 수집 및 정제하고 이를 저장하고 관리하는 기술 정보시스템 개발을 위한 원자 및 분자 데이터베이스 구축을 위한 방법을 연구한다.