• 제목/요약/키워드: 후처리데이터

검색결과 1,877건 처리시간 0.033초

데이터 웨어하우징 환경에서 질의 처리를 위한 새로운 기법 (A New Method for Processing Queries in Data Warehouse Environment)

  • 김윤호;김진호;감상욱
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.121-123
    • /
    • 2001
  • 대용량의 데이터가 저장되는 데이터 웨어하우징 환경에서는 조인이나 집계 함수와 같은 고비용의 연산의 효율적인 처리는 매우 중요하다. 본 논문에서는 집계 함수(aggregate function)와 조인이 모두 포함된 질의를 처리하는 새로운 기법을 제안한다. 제안하는 기법은 먼저 차원 테이블(dimension table)을 미리 그룹핑한 후, 비트맵 조인 인덱스(bitmap join index)를 이용하여 조인을 처리하는 방식을 사용한다. 이 결과, 사실 테이블만을 접근하여 집계 함수를 처리함으로써 기존 기법이 가지는 성능 저하의 문제점을 해결할 수 있다. 기존 기법과 제안하는 기법에 대한 비용 모델(cost model)을 정립하고, 이를 기반으로 시뮬레이션을 수행함으로써 제안된 기법의 우수성을 규명한다.

  • PDF

서울특별시 네트워크 RTK 시스템의 NTRIP 데이터 전송 몇 Virtual RINEX의 활용 방안 연구 (A Study on Utilization of NTRIP Data Delivery and Virtual RINEX available from Seoul Metro Government Network-RTK system)

  • 남대현;김진환;곽인선;권재현
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2010년도 추계학술대회
    • /
    • pp.152-155
    • /
    • 2010
  • 본 연구에서는 서울특별시 네트워크 RTK 시스템의 활용 및 Virtual RINEX 실용성 검토를 위해 수행하였다. 네트워크 RTK 시스템의 활용 다양화를 위해서는 NTRIP을 통하여 타기관의 사용자 시스템으로 실시간 전송, 시설물의 변위에 대한 GNSS로 모니터링 방법, GNSS Internet Radio Client와 Radio Modem을 이용한 RTK측위를 소개하고, Virtual RINEX 실용성 검토는 VRS RTK 측위 결과와 이동국 측위 지점에 대한 Virtual RINEX 데이터의 후처리 성과를 비교하였다. 그 결과, Virtual RINEX와 GPS 관측 성과는 거의 동일하여 향후 Virtual RINEX도 후처리 데이터로 사용할 수 있는 가능성을 확인하였고, VRS RTK 측위 성과는 Virtual RINEX 후처리 성과와 수 mm 이내 차이를 보여 산출된 성과가 거의 같음을 확인할 수 있었다.

  • PDF

데이터 균형을 위한 Chat-GPT와 Diffusion Model 기반 폐기물 생성모델 설계 (Design of a Waste Generation Model based on the Chat-GPT and Diffusion Model for data balance)

  • 김시웅;고준혁;박정현;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.667-669
    • /
    • 2023
  • 데이터의 균형은 객체 인식 분야에서 영향을 미치는 요인 중 하나이다. 본 논문에서는 폐기물 데이터 균형을 위해 Chat-GPT와 Diffusion model 기반 데이터 생성 모델을 제안한다. Chat-GPT를 사용하여 폐기물의 속성에 해당하는 단어를 생성하도록 질문하고, 생성된 단어는 인코더를 통해 벡터화시킨다. 이 중 폐기물과 관련 없는 단어를 삭제 후, 남은 단어들을 결합하는 전처리 과정을 거친다. 결합한 벡터는 디코더를 통해 텍스트 데이터로 변환 후, Stable Diffusion model에 입력되어 텍스트와 상응하는 폐기물 데이터를 생성한다. 이 데이터는 AI Hub의 공공 데이터를 활용하며, 객체 인식 모델인 YOLOv5로 학습해 F1-score와 mAP로 평가한다.

한국어 음성인식 후처리를 위한 주의집중 기반의 멀티모달 모델 (Attention based multimodal model for Korean speech recognition post-editing)

  • 정영석;오병두;허탁성;최정명;김유섭
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.145-150
    • /
    • 2020
  • 최근 음성인식 분야에서 신경망 기반의 종단간 모델이 제안되고 있다. 해당 모델들은 음성을 직접 입력받아 전사된 문장을 생성한다. 음성을 직접 입력받는 모델의 특성상 데이터의 품질이 모델의 성능에 많은 영향을 준다. 본 논문에서는 이러한 종단간 모델의 문제점을 해결하고자 음성인식 결과를 후처리하기 위한 멀티모달 기반 모델을 제안한다. 제안 모델은 음성과 전사된 문장을 입력 받는다. 입력된 각각의 데이터는 Encoder를 통해 자질을 추출하고 주의집중 메커니즘을 통해 Decoder로 추출된 정보를 전달한다. Decoder에서는 전달받은 주의집중 메커니즘의 결과를 바탕으로 후처리된 토큰을 생성한다. 본 논문에서는 후처리 모델의 성능을 평가하기 위해 word error rate를 사용했으며, 실험결과 Google cloud speech to text모델에 비해 word error rate가 8% 감소한 것을 확인했다.

  • PDF

KSLV-1의 신호 수신.처리를 위한 원격측정 지상국시스템의 자료처리시스템 개발 (The Data Processing System Development of Telemetry Ground System for Korean Space Launch Vehicle-1)

  • 마진아;권순호;오창열;이효근
    • 항공우주기술
    • /
    • 제6권1호
    • /
    • pp.245-254
    • /
    • 2007
  • KSLV-l의 탑재 시스템은 발사 전부터 발사 후 임무 종료 시까지 발사체 및 탑재위성에 대한 각종동작상태 및 특성에 관한 제반자료를 원격측정 지상국시스템으로 전송한다. 원격측정 지상국시스템의 안테나시스템은 이러한 원격측정신호를 실시간으로 획득한 후 자료 처리시스템으로 공급하고, 자료처리시스템은 수신한 텔레메트리 데이터를 처리.저장한 후 임무진행자들에게 분배하여 발사 진행시 발사임무진행을 위한 판단자료로 활용하도록 한다. 본 논문에서는 KSLV-1 으로부터 텔레메트리 신호를 수신한 후 효율적이고 안정적인 데이터처리과정을 위한 최적의 자료처리시스템의 구성 및 기능을 제시하였다.

  • PDF

긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조해결 (Korean End-to-End Coreference Resolution with BERT for Long Document)

  • 조경빈;정영준;이창기;류지희;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.259-263
    • /
    • 2021
  • 상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 end-to-end 모델이 주로 연구되었으나, 512 토큰 이상의 긴 문서를 처리하기 위해서는 512 토큰 이하로 문서를 분할하여 처리하기 때문에 길이가 긴 문서에 대해서는 상호참조해결 성능이 낮아지는 문제가 있다. 본 논문에서는 512 토큰 이상의 긴 문서를 위한 BERT 기반의 end-to-end 상호참조해결 모델을 제안한다. 본 모델은 긴 문서를 512 이하의 토큰으로 쪼개어 기존의 BERT에서 단어의 1차 문맥 표현을 얻은 후, 이들을 다시 연결하여 긴 문서의 Global Positional Encoding 또는 Embedding 값을 더한 후 Global BERT layer를 거쳐 단어의 최종 문맥 표현을 얻은 후, end-to-end 상호참조해결 모델을 적용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 모델과 유사한 성능을 보이면서(테스트 셋에서 0.16% 성능 향상), GPU 메모리 사용량은 1.4배 감소하고 속도는 2.1배 향상되었다.

  • PDF

초등학교 3학년 학생들을 위한 데이터 시각화 교육 프로그램 개발 및 적용 (A Development and Application of Data Visualization EducationProgram for 3rd Grade Students in Elementary School)

  • 우지선;김갑수
    • 정보교육학회논문지
    • /
    • 제26권6호
    • /
    • pp.481-490
    • /
    • 2022
  • 컴퓨팅 기술의 발전으로 빅 데이터 시대가 도래하게 되어 우리는 주변의 수많은 데이터와 생활하고 있다. 초등학생들도 예외는 아니다. 따라서 초등학교부터 데이터 처리하는 것을 학습하는 것이 매우 중요하다. 초등학생들은직관적인 사고를 하기 때문에 데이터를 바로 그림으로 표현하는 데이터 시각화가 중요한 학습 요소이다. 본 연구에서는 초등학생들이 생활 속의 데이터를 시각화해 봄으로써 이것이 정보 처리 역량에 얼마나 효과적인지를 연구한다. 초등학교 3학년 학생들에게 데이터 시각화 도구를 이용하여 8차시의 데이터를 조직화하고, 시각화한 후에, 상호작용의 절차를 체험하는 것으로 데이터 시각화 프로그램을 개발하였다. 개발한 프로그램을 7개 학급에 186명의 학생들에게 적용하고 수업 전과 수업 후 지식정보처리 역량 요소를 평가하였다. 사전·사후 검사를 실시한 결과 지식정보처리 역량에 유의미한 차이가 있었다. 따라서 본 연구에서 개발한 데이터 시각화 프로그램은 효과가 있다.

여행데이터와 결합된 마이데이터 비즈니스 모델 (My data business model combined with travel data)

  • 소원;피유진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.961-963
    • /
    • 2022
  • 데이터 기반 경제가 활성화되면서 데이터의 분석과 활용에 중점을 둔 서비스가 증가하는 추세이다. 금융 분야에서만 활용되던 마이데이터를 관광정보인 외부데이터와 결합해 사용자의 디지털 흔적을 수집, 분석하는 여행 마이데이터 플랫폼을 제시한다. 이를 통해 사용자에게 신뢰도가 높은 여행정보를 제공하고 여행 후 정산 문제를 해결하고자 한다.

$^1TA$를 통한 레거시 시스템 재사용 (Reuse of Legacy System by TA(Transaction Adapter))

  • 김정아;김종윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1681-1684
    • /
    • 2003
  • 본 연구는 트랜잭션 어댑터 서버(이하 TA 서버)를 이용한 레거시 보험 업무 관리 시스템 재사용 및 통합 관련 연구이다. 클라이언트 애플리케이션으로부터 입력받은 보험 업무 관한 처리 데이터는 XML 데이터로 변환되어 TA 서버로 전송되고, TA 서버는 수신된 XML 데이터를 분석 변환하여 레거시 시스템이 처리하는 레이아웃 데이터를 생성한 후, 레거시 시스템에 접속하여 레이아웃 데이터를 전송하는 방식으로 TA서버를 이용한 레거시 보험 관리 시스템의 재사용 및 통합 방법에 관한 것이다. 이로써 보험 상품의 종류와 클라이언트 플랫폼에 관계없이 TA 서버가 데이터 변환처리를 통일적으로 수행하여 시스템 운영시 공통된 모듈의 재사용 및 보험 업무처리를 효율적으로 수행하는 효과를 제공한다. 또한, XML 기반의 레거시 시스템의 e-비즈니스로의 전환을 가능하게 한다.

  • PDF

BLE 비콘을 활용한 영상 기반 비승인자 감지 시스템 (Image-based Unauthorised person detection system using BLE beacons)

  • 김형주;박찬;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.470-473
    • /
    • 2021
  • 외부인들이 시설을 무단으로 이용하는 등의 범죄가 계속해서 발생하고 있다. 본 논문은 기존의 시설물에서 사용하고 있는 단순 인증 절차가 아닌 BLE 비콘과 영상데이터를 활용한 비승인자 감지 시스템이다. 이 시스템은 스마트폰 어플리케이션에서 BLE 비콘의 데이터를 받은 후 UUID 값과 RSSI 값을 서버로 전송한다. 이후 전송된 데이터들로 핑거프린팅 기반 RadioMap을 구성하고 RNN 기반 딥러닝 학습을 진행하여 사용자 위치 데이터를 도출한다. CCTV를 통해 수집된 영상데이터는 서버로 전송되며, YOLOv4를 이용하여 객체탐지를 위한 프로세스를 진행한 후 Person 클래스를 추출한다. 이후 승인된 사용자의 위치 데이터에 실시간 영상데이터를 더하여 인증 과정 절차가 진행되지 않은 비승인자들을 추적한다. 본 논문은 COVID-19로 인해 시설물 인증 절차에 사용이 증가하고 있는 QR코드를 이용해 인증 과정 절차의 진행 방식으로 시스템에 대한 확장성까지 기대할 수 있다.