• Title/Summary/Keyword: 데이터 정제

Search Result 466, Processing Time 0.035 seconds

사이언스 빅 데이터(Science Big Data) 처리 기술 동향

  • Kim, Hui-Jae;Ju, Gyeong-No;Yun, Chan-Hyeon
    • Information and Communications Magazine
    • /
    • v.29 no.11
    • /
    • pp.11-23
    • /
    • 2012
  • 본 고에서는 과학 분야에서의 대용량 데이터 처리를 위한 기술인 사이언스 빅데이터의 처리 기술 동향에 대하여 기술한다. 서론에서 사이언스 빅데이터의 정의 및 필요성을 다루고, 본론에서는 데이터 중심 과학 패러다임의 등장과 그로 인한 사이언스 빅데이터 요구사항, 사이언스 빅데이터 소스 수집 및 정제, 저장 및 관리, 처리, 분석 등으로 이루어지는 사이언스 빅데이터 처리 기법에 대하여 기술한다. 또한 현재 다양한 기관에서 연구하고 있는 사이언스 빅데이터 플랫폼, 맵리듀스 등을 이용한 워크플로우 제어 기반의 사이언스 빅데이터 처리 기법을 예시로 소개한다.

Design of Building Energy Management System Using Big data Platform (빅데이터 플랫폼 기반 건물 에너지 통합 관리 시스템 설계)

  • Kim, Tae-Hyung;Jeong, Yeon-Kwae;Lee, Il-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.580-581
    • /
    • 2016
  • 국제적으로 지속적인 이슈가 되고 있는 에너지 절감에 대한 대책으로 다양한 에너지 절감 기술들이 연구 개발되고 있다. 특히 전체 에너지 사용량의 약 20%이상을 차지하는 건물(가정/상업/공공)부문에서는 에너지 진단 및 분석을 수행하기 위해 건물 에너지 관리 시스템(BEMS: Building Energy Management System)과 건물 자동화 시스템(BAS: Building Automation System) 그리고 다양한 환경정보들을 수집하여 활용한다. 하지만 기존 분석 방식은 결과의 신뢰성에 최소한의 영향을 주면서 데이터 관리 효율을 높이는 방법에 초점을 맞춰 연구가 진행되었으며, 이를 위해 기존에 수집된 데이터를 압축하거나 샘플링하는 사전 정제 과정을 거치게 되었다. 하지만 빅데이터 플랫폼을 활용하면 더 이상 신뢰성을 낮추면서까지 데이터를 정제할 필요가 없어지고, 수집되는 모든 데이터에 대한 다차원 분석을 빠르게 수행할 수 있게 된다. 따라서 본 논문에서는 하드웨어의 한계로 기존 건물에너지 진단 및 분석 시스템에서 제공하지 못했던 다양한 분석 및 진단 서비스들을 빠르고 정확하게 제공하도록 하는 빅데이터 플랫폼 기반 건물 에너지 통합 관리 시스템 설계에 대해 서술한다.

Separable Median-Max Filter for Disparity Refinement (시차 정제를 위한 분리형 중앙-최댓값 필터)

  • Choi, Cheol-Ho;Ha, Jiseok;Moon, Byungin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.712-714
    • /
    • 2022
  • 스테레오 정합을 통해 산출되는 초기 시차 영상의 정합 정확도는 고주파 및 잡음 성분에 의해 감소될 수 있다. 또한, 폐색 및 질감이 없는 영역에서 잘못된 정합 결과가 산출됨으로 인해 정합 정확도가 감소될 수 있다. 정합 정확도를 향상시키기 위해 시차 정제에 관한 선행 연구들이 수행되었지만 정제 과정을 통한 정합 정확도 성능과 처리 속도간 트레이드-오프가 존재한다. 이에 본 논문에서는 종래 시차 정제 방법 대비 향상된 처리 속도와 함께 높은 시차 정제 성능을 갖는 분리형 중앙-최댓값 필터를 제안한다. 제안하는 방법의 정제 성능 및 평균 처리 시간을 객관적으로 평가하기 위해 KITTI 2015 stereo benchmark 데이터셋을 사용하였다. 제안하는 방법의 평균 오차율은 비폐색 및 폐색 조건에서 종래 방법 대비 각각 최소 25.61% 및 23.68% 감소되었다. 또한, 제안하는 방법의 처리 속도는 종래 방법 대비 최소 13.29% 향상되었다. 따라서 제안하는 방법은 빠른 처리 속도 및 높은 정확도 성능을 요구하는 스테레오 비전 시스템에 활용될 수 있다.

Improvement of the Electronic Customs System to Improve the Quality of Export and Import Declaration Data (수출입 신고데이터 품질제고를 위한 전자통관 시스템 개선)

  • Jo, Hang-Jin;Park, Koo-Rack;Lee, Jang-Sik
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.429-430
    • /
    • 2021
  • 본 논문에서는 우리나라 수출입 등 통관의 전반적인 것을 담당하는 전자통관시스템의 문제점을 발굴하고 개선점을 찾아 보완하여 보다 진화된 양질의 전자통관시스템으로 개발하는 것을 목표로 하고 있다. 전자통관시스템의 문제점을 중심으로 구분하면 통관업무, 사전검증시스템, 데이터정제시스템으로 볼 수 있다. 각 부분별로 문제점을 분석한 결과 오류 데이터 전송, 자가진단 점검기능 부재, 경험치로 관리, 사후관리 체계 부재, 오류분석 기능 미활용으로 나왔으며, 이런 문제점을 해결하기 위해 개선방안에 대해 면밀히 검토하여 맞춤형 대책을 마련하여 처음 신고인이 양질의 정보를 정확히 입력할 수 있는 시스템 구축부터 검증시스템을 통해 정확한 정보를 정제하는 중간단계를 거쳐 마지막으로 최상의 결과를 도출 및 제공하기까지 시스템을 향상시켜 이용객에게 더욱 정확한 처리결과 제공 및 진화된 국가행정시스템을 구축함으로써 국가경쟁력을 강화할 수 있다.

  • PDF

Benchmark Dataset Generation for 360-degree Image Applications (360° 영상 응용을 위한 벤치마크 데이터 생성 연구)

  • Lee, Jongsung;Lee, Yeejin
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2021.06a
    • /
    • pp.112-115
    • /
    • 2021
  • 최근 가상현실 및 증강 현실에 대한 관심도가 높아지면서, 깊이 추정, 객체 인식, 영상 분할 등의 다양한 컴퓨터 비전 알고리즘을 360° 영상에 적용하는 연구가 활발히 진행되고 있다. 이 중, 다수의 RGB 카메라를 활용하여 3 차원 정보를 추출하는 깊이 추정 기술은 보다 나은 몰입감을 제공하기 위한 핵심 기술이다. 그러나 깊이 추정 알고리즘의 객관적 성능 평가를 위한 정제된 360° 영상 데이터셋은 극히 부족하며, 이로 인하여 관련 분야 연구에 한계가 있다. 따라서 본 논문에서는 객관적인 알고리즘 성능 평가가 가능하며, 정제된 360° 동영상 데이터셋을 제안하고, 추후 다양한 360° 영상 응용 알고리즘 개발에 활용하고자 한다.

  • PDF

A Refinement Strategy for Spatial Selection Queries with Arbitrary-Shaped Query Window (임의의 다각형 질의 윈도우를 이용한 공간 선택 질의의 정제 전략)

  • 유준범;최용진;정진완
    • Journal of KIISE:Databases
    • /
    • v.30 no.3
    • /
    • pp.286-295
    • /
    • 2003
  • The shape of query windows for spatial selection queries is a rectangle in many cases. However, it can be issued for spatial selection queries with not only rectangular query widow, but also polygonal query window. Moreover, as the applications like GIS can manage much more spatial data, they can support the more various applications. Therefore it is valuable for considering about the query processing method suitable for not only rectangle query window, but also general polygonal one. It is the general state-of-the-art approach to use the plane- sweep technique as the computation algorithm in the refinement step as the spatial join queries do. However, from the observation on the characteristics of spatial data and query windows, we can find in many cases that the shape of query window is much simpler than that of spatial data. From these observations, we suggest a new refinement process approach which is suitable for this situation. Our experiments show that, if the number of vertices composing the query window is less than about 20, the new approach we suggest is superior to the state-of-the-art approach by about 20% in general cases.

Estimation of Flow Population of Seoul Walking Tour Courses Using Telecommunications Data (통신 데이터를 활용한 도보관광코스 유동인구 추정 및 분석)

  • Park, Ye Rim;Kang, Youngok
    • Journal of Cadastre & Land InformatiX
    • /
    • v.49 no.1
    • /
    • pp.181-195
    • /
    • 2019
  • This study aims to analyze the spatial context by analyzing the flow characteristics of the walking tour course and visualizing effectively using the floating population data constructed through the communication data. The floating population data refinement algorithm was developed for estimation flow population along the road and the floating population data for each walking tour courses was constructed. In order to adopt the algorithm for forming suitable for the analysis of the walking tour courses, the estimation of floating population considering the area of the road and the estimation of floating population considering the value of floating population around the road were compared. As a result, the estimation of floating population considering ambient the values of flow population was adopted, which is more appropriate to apply analysis method due to the relatively consistent data. Then, a datamining algorithm for walking tour course was constructed according to the characteristics of the floating population data, the absence of missing values. Finally, this study analyzed the flow characteristics and spatial patterns of 18 walking trails in Seoul through the floating population data according to walking tour course. To do this, the kernel density analysis and the Getis-Ord $G^*_i$ statistical hotspot analysis were applied to visualize the main characteristics of each walking tour course.

A Data Cleansing Strategy for Improving Data Quality of National R&D Information - Case Study of NTIS (데이터 품질을 고려한 국가R&D정보 데이터베이스의 통합 사례 연구 - NTIS 데이터베이스 통합 사례)

  • Shin, Sung-Ho;Yoon, Young-Jun;Yang, Myung-Suk;Kim, Jin-Man;Shon, Kang-Ryul
    • Journal of the Korea Society of Computer and Information
    • /
    • v.16 no.6
    • /
    • pp.119-130
    • /
    • 2011
  • On the point of data quality management, data quality is influenced by quality policy, quality organization, business process, and business rule. Business rules, guide of data manipulation, have effects on data quality directly. In case of building an integration database among distributed databases, defining business rule is more important because data integration needs to consider heterogeneous structure, code, and data standardization. Also data value has various figures depended on data type, unit, and transcription. Finally, database structure and data value problem have to be solved to improve data quality. For handling them, it is needed to draw database integration model and cleanse data in integrated database. NTIS(stands for National science and Technology Information Service) has an aim to serve users who need all information about national R&D by internet, and for that aim, it has a integrated database which has been made with several database sources. We prove that database integration model and data cleansing are needed to build a successful integrated database through NTIS case study.