• Title/Summary/Keyword: 후처리데이터

Search Result 1,877, Processing Time 0.032 seconds

A New Method for Processing Queries in Data Warehouse Environment (데이터 웨어하우징 환경에서 질의 처리를 위한 새로운 기법)

  • 김윤호;김진호;감상욱
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.121-123
    • /
    • 2001
  • 대용량의 데이터가 저장되는 데이터 웨어하우징 환경에서는 조인이나 집계 함수와 같은 고비용의 연산의 효율적인 처리는 매우 중요하다. 본 논문에서는 집계 함수(aggregate function)와 조인이 모두 포함된 질의를 처리하는 새로운 기법을 제안한다. 제안하는 기법은 먼저 차원 테이블(dimension table)을 미리 그룹핑한 후, 비트맵 조인 인덱스(bitmap join index)를 이용하여 조인을 처리하는 방식을 사용한다. 이 결과, 사실 테이블만을 접근하여 집계 함수를 처리함으로써 기존 기법이 가지는 성능 저하의 문제점을 해결할 수 있다. 기존 기법과 제안하는 기법에 대한 비용 모델(cost model)을 정립하고, 이를 기반으로 시뮬레이션을 수행함으로써 제안된 기법의 우수성을 규명한다.

  • PDF

A Study on Utilization of NTRIP Data Delivery and Virtual RINEX available from Seoul Metro Government Network-RTK system (서울특별시 네트워크 RTK 시스템의 NTRIP 데이터 전송 몇 Virtual RINEX의 활용 방안 연구)

  • Nam, Dae-Hyun;Kim, Jin-Hwan;Gwak, In-Sun;Kwon, Jay-Hyoun
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2010.09a
    • /
    • pp.152-155
    • /
    • 2010
  • 본 연구에서는 서울특별시 네트워크 RTK 시스템의 활용 및 Virtual RINEX 실용성 검토를 위해 수행하였다. 네트워크 RTK 시스템의 활용 다양화를 위해서는 NTRIP을 통하여 타기관의 사용자 시스템으로 실시간 전송, 시설물의 변위에 대한 GNSS로 모니터링 방법, GNSS Internet Radio Client와 Radio Modem을 이용한 RTK측위를 소개하고, Virtual RINEX 실용성 검토는 VRS RTK 측위 결과와 이동국 측위 지점에 대한 Virtual RINEX 데이터의 후처리 성과를 비교하였다. 그 결과, Virtual RINEX와 GPS 관측 성과는 거의 동일하여 향후 Virtual RINEX도 후처리 데이터로 사용할 수 있는 가능성을 확인하였고, VRS RTK 측위 성과는 Virtual RINEX 후처리 성과와 수 mm 이내 차이를 보여 산출된 성과가 거의 같음을 확인할 수 있었다.

  • PDF

Design of a Waste Generation Model based on the Chat-GPT and Diffusion Model for data balance (데이터 균형을 위한 Chat-GPT와 Diffusion Model 기반 폐기물 생성모델 설계)

  • Siung Kim;Junhyeok Go;Jeonghyeon Park;Nammee Moon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.667-669
    • /
    • 2023
  • 데이터의 균형은 객체 인식 분야에서 영향을 미치는 요인 중 하나이다. 본 논문에서는 폐기물 데이터 균형을 위해 Chat-GPT와 Diffusion model 기반 데이터 생성 모델을 제안한다. Chat-GPT를 사용하여 폐기물의 속성에 해당하는 단어를 생성하도록 질문하고, 생성된 단어는 인코더를 통해 벡터화시킨다. 이 중 폐기물과 관련 없는 단어를 삭제 후, 남은 단어들을 결합하는 전처리 과정을 거친다. 결합한 벡터는 디코더를 통해 텍스트 데이터로 변환 후, Stable Diffusion model에 입력되어 텍스트와 상응하는 폐기물 데이터를 생성한다. 이 데이터는 AI Hub의 공공 데이터를 활용하며, 객체 인식 모델인 YOLOv5로 학습해 F1-score와 mAP로 평가한다.

Attention based multimodal model for Korean speech recognition post-editing (한국어 음성인식 후처리를 위한 주의집중 기반의 멀티모달 모델)

  • Jeong, Yeong-Seok;Oh, Byoung-Doo;Heo, Tak-Sung;Choi, Jeong-Myeong;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.145-150
    • /
    • 2020
  • 최근 음성인식 분야에서 신경망 기반의 종단간 모델이 제안되고 있다. 해당 모델들은 음성을 직접 입력받아 전사된 문장을 생성한다. 음성을 직접 입력받는 모델의 특성상 데이터의 품질이 모델의 성능에 많은 영향을 준다. 본 논문에서는 이러한 종단간 모델의 문제점을 해결하고자 음성인식 결과를 후처리하기 위한 멀티모달 기반 모델을 제안한다. 제안 모델은 음성과 전사된 문장을 입력 받는다. 입력된 각각의 데이터는 Encoder를 통해 자질을 추출하고 주의집중 메커니즘을 통해 Decoder로 추출된 정보를 전달한다. Decoder에서는 전달받은 주의집중 메커니즘의 결과를 바탕으로 후처리된 토큰을 생성한다. 본 논문에서는 후처리 모델의 성능을 평가하기 위해 word error rate를 사용했으며, 실험결과 Google cloud speech to text모델에 비해 word error rate가 8% 감소한 것을 확인했다.

  • PDF

The Data Processing System Development of Telemetry Ground System for Korean Space Launch Vehicle-1 (KSLV-1의 신호 수신.처리를 위한 원격측정 지상국시스템의 자료처리시스템 개발)

  • Ma, Jin-A;Kwon, Soon-Ho;Oh, Chang-Yul;Lee, Hyo-Keun
    • Aerospace Engineering and Technology
    • /
    • v.6 no.1
    • /
    • pp.245-254
    • /
    • 2007
  • The on-board telemetry system of KSLV-1 transmits telemetry signal for the launch vehicle and satellite to ground telemetry system in real time. In ground telemetry system, antenna system acquires telemetry signals and transfers these to data processing system. Data processing system processes and recordes telemetry data and distributes it to each mission operator in order to monitor it the operation goes well or not. This document describes the configurations and functions of data processing system designed for efficient and appropriate processing of telemetry data.

  • PDF

Korean End-to-End Coreference Resolution with BERT for Long Document (긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조해결)

  • Jo, Kyeongbin;Jung, Youngjun;Lee, Changki;Ryu, Jihee;Lim, Joonho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.259-263
    • /
    • 2021
  • 상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 end-to-end 모델이 주로 연구되었으나, 512 토큰 이상의 긴 문서를 처리하기 위해서는 512 토큰 이하로 문서를 분할하여 처리하기 때문에 길이가 긴 문서에 대해서는 상호참조해결 성능이 낮아지는 문제가 있다. 본 논문에서는 512 토큰 이상의 긴 문서를 위한 BERT 기반의 end-to-end 상호참조해결 모델을 제안한다. 본 모델은 긴 문서를 512 이하의 토큰으로 쪼개어 기존의 BERT에서 단어의 1차 문맥 표현을 얻은 후, 이들을 다시 연결하여 긴 문서의 Global Positional Encoding 또는 Embedding 값을 더한 후 Global BERT layer를 거쳐 단어의 최종 문맥 표현을 얻은 후, end-to-end 상호참조해결 모델을 적용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 모델과 유사한 성능을 보이면서(테스트 셋에서 0.16% 성능 향상), GPU 메모리 사용량은 1.4배 감소하고 속도는 2.1배 향상되었다.

  • PDF

A Development and Application of Data Visualization EducationProgram for 3rd Grade Students in Elementary School (초등학교 3학년 학생들을 위한 데이터 시각화 교육 프로그램 개발 및 적용)

  • Jiseon Woo;Kapsu Kim
    • Journal of The Korean Association of Information Education
    • /
    • v.26 no.6
    • /
    • pp.481-490
    • /
    • 2022
  • With the development of computing technology, the big data era has arrived, and we live with a lot of data around us. Elementary school students are no exception. Therefore, it is very important to learn to process data from elementary school. Since elementary school students have intuitive thinking, data visualization, which expresses data directly in pictures, is an important learning element. In this study, we study how effective elementary school students can visualize data in their daily lives to improve their information processing capabilities. Adata visualization program was developed by organizing and visualizing data using data visualization tools for the 8th class, which can be done by third graders in elementary school, and then experiencing the process of interaction. As a result of applying the developed program to 186 students in 7 classes, knowledge information processing competency factors were evaluated before and after class. As a result of the pre- and post-test, there was a significant difference in knowledge information processing capabilities. Therefore, the data visualization program developed in this study is effective.

My data business model combined with travel data (여행데이터와 결합된 마이데이터 비즈니스 모델)

  • So, Won;Pi, Yu-Jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.961-963
    • /
    • 2022
  • 데이터 기반 경제가 활성화되면서 데이터의 분석과 활용에 중점을 둔 서비스가 증가하는 추세이다. 금융 분야에서만 활용되던 마이데이터를 관광정보인 외부데이터와 결합해 사용자의 디지털 흔적을 수집, 분석하는 여행 마이데이터 플랫폼을 제시한다. 이를 통해 사용자에게 신뢰도가 높은 여행정보를 제공하고 여행 후 정산 문제를 해결하고자 한다.

Reuse of Legacy System by TA(Transaction Adapter) ($^1TA$를 통한 레거시 시스템 재사용)

  • Kim, Jeong-Ah;Kim, Jong-Yun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11c
    • /
    • pp.1681-1684
    • /
    • 2003
  • 본 연구는 트랜잭션 어댑터 서버(이하 TA 서버)를 이용한 레거시 보험 업무 관리 시스템 재사용 및 통합 관련 연구이다. 클라이언트 애플리케이션으로부터 입력받은 보험 업무 관한 처리 데이터는 XML 데이터로 변환되어 TA 서버로 전송되고, TA 서버는 수신된 XML 데이터를 분석 변환하여 레거시 시스템이 처리하는 레이아웃 데이터를 생성한 후, 레거시 시스템에 접속하여 레이아웃 데이터를 전송하는 방식으로 TA서버를 이용한 레거시 보험 관리 시스템의 재사용 및 통합 방법에 관한 것이다. 이로써 보험 상품의 종류와 클라이언트 플랫폼에 관계없이 TA 서버가 데이터 변환처리를 통일적으로 수행하여 시스템 운영시 공통된 모듈의 재사용 및 보험 업무처리를 효율적으로 수행하는 효과를 제공한다. 또한, XML 기반의 레거시 시스템의 e-비즈니스로의 전환을 가능하게 한다.

  • PDF

Image-based Unauthorised person detection system using BLE beacons (BLE 비콘을 활용한 영상 기반 비승인자 감지 시스템)

  • Kim, Hyungju;Park, Chan;Moon, Nammee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.470-473
    • /
    • 2021
  • 외부인들이 시설을 무단으로 이용하는 등의 범죄가 계속해서 발생하고 있다. 본 논문은 기존의 시설물에서 사용하고 있는 단순 인증 절차가 아닌 BLE 비콘과 영상데이터를 활용한 비승인자 감지 시스템이다. 이 시스템은 스마트폰 어플리케이션에서 BLE 비콘의 데이터를 받은 후 UUID 값과 RSSI 값을 서버로 전송한다. 이후 전송된 데이터들로 핑거프린팅 기반 RadioMap을 구성하고 RNN 기반 딥러닝 학습을 진행하여 사용자 위치 데이터를 도출한다. CCTV를 통해 수집된 영상데이터는 서버로 전송되며, YOLOv4를 이용하여 객체탐지를 위한 프로세스를 진행한 후 Person 클래스를 추출한다. 이후 승인된 사용자의 위치 데이터에 실시간 영상데이터를 더하여 인증 과정 절차가 진행되지 않은 비승인자들을 추적한다. 본 논문은 COVID-19로 인해 시설물 인증 절차에 사용이 증가하고 있는 QR코드를 이용해 인증 과정 절차의 진행 방식으로 시스템에 대한 확장성까지 기대할 수 있다.