• Title/Summary/Keyword: 데이터생성

Search Result 7,159, Processing Time 0.035 seconds

Efficient Creation of Data Cube Using Hash Table in Data Warehouse (데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터 큐브 생성 기법)

  • Kim Hyungsun;You Byeongseob;Lee JaeDong;Bae Haeyoung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.211-213
    • /
    • 2005
  • 데이터 웨어하우스는 축적된 대량의 데이터를 분석하여 의사결정을 지원하는 시스템이다. 의사결정을 위한 대량의 데이터 분석은 많은 비용을 요구하므로, 질의 처리 성능을 높이고 의사 결정자에게 빠른 응답을 제공하는 효율적인 데이터 큐브 생성 기법이 연구되었다. 기존 기법으로는 Multiway Array 기법과 H-Cubing 기법이 있다. Multiway Array 기법은 다차원 집계 연산에 필요한 모든 데이터를 배열로 저장하는 것으로 데이터의 양이 많아질수록 메모리 사용이 증가한다. H-Cubing 기법은 Hyper-Tree를 기반으로 튜플을 트리로 구축하므로 모든 튜플을 트리로 구축해야 하는 비용이 증가한다. 본 논문에서는 데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터 큐브 생성 기법을 제안한다. 제안 기법은 데이터 큐브 생성 시 필드 해쉬 테이블과 레코드 해쉬 테이블을 사용한다. 필드 해쉬 테이블은 저장될 레코드 순서 계산을 위하여 각 필드에 대해 레벨 값을 해쉬 테이블로 관리한다. 레코드 해쉬 테이블은 데이터 큐브 테이블에 저장될 레코드의 순서와 데이터 큐브 테이블에 저장하기 위한 임시 레코드의 위치를 관리한다. 필드 해쉬 테이블을 이용하여 다차원 데이터의 저장될 레코드 순서를 빠르게 찾아 저장함으로서 데이터 큐브의 생성속도가 향상된다. 또한 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 따라서 해쉬 테이블의 사용으로 데이터의 빠른 검색과 데이터 큐브 생성 요청에 빠른 응답이 가능하다.

  • PDF

Quality Metrics for RFID Test Dataset to Evaluate RFID Middleware (RFID 미들웨어 평가를 위한 테스트 데이터셋의 품질 지표)

  • Ryu, Woo-Seok;Kwon, Joon-Ho;Hong, Bong-Hee
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06b
    • /
    • pp.141-143
    • /
    • 2012
  • RFID 미들웨어의 평가를 위한 방법으로서, 테스트 데이터셋을 이용한 시뮬레이션은 일반적으로 사용되는 평가 방법이다. 태그 식별자에 따라 순차생성된 가상 데이터셋이나 랜덤 생성된 데이터셋의 경우 미들웨어의 단순 처리량을 평가하기에는 유용하나 미들웨어의 정확성이나 실행 가능성를 평가하기에는 한계가 있다. 테스트 데이터셋은 실제 리더에서 생성된 데이터셋과 매우 유사하여야 함에도 불구하고, 테스트 데이터셋의 품질 기준이 정의되어 있지 않음에 따라 테스트 데이터셋이 얼마만큼 실제 데이터셋과 유사한 지를 평가하기가 어려운 문제가 있다. 이를 위해 본 논문에서는 RFID 미들웨어의 평가에 사용되는 테스트 데이터셋의 품질을 평가하기 위한 품질 지표를 제안한다. 제안하는 품질 지표는 실제 RFID 리더에 태그가 통과할 때 생성되는 데이터 셋을 기반으로 하여 정의하였으며, RFID 무선 인식의 고유의 특성, 즉 중복성과 불확실성을 수치화해서 표현하는 특징이 있다. 또한 제안한 품질 지표를 실제 RFID 리더를 통해 생성한 데이터셋에 적용하여 비교 검토함으로써 품질 지표의 유용성을 입증한다.

A Design of Behavior Recognition method through GAN-based skeleton data generation (GAN 기반 관절 데이터 생성을 통한 행동 인식 방법 설계)

  • Kim, Jinah;Moon, Nammee
    • Annual Conference of KIPS
    • /
    • 2022.11a
    • /
    • pp.592-593
    • /
    • 2022
  • 다중 데이터 기반의 행동 인식 과정에서 데이터 수집 반경이 비교적 제한되는 영상 데이터의 결측에 대한 보완이 요구된다. 본 논문에서는 6축 센서 데이터를 이용하여 결측된 영상 데이터를 생성함으로써 행동 인식의 성능을 개선하는 방법을 제안한다. 가속도와 자이로 센서로부터 수집된 행동 데이터를 이용하여 GAN(Generative Adversarial Network)을 통해 영상에서의 관절(Skeleton) 움직임에 대한 데이터를 생성하고자 한다. 이를 위해 DeepLabCut 기반 모델 학습을 통해 관절 좌표를 추출하며, 전처리된 센서 시퀀스 데이터를 가지고 GRU 기반 GAN 모델을 통해 관절 좌표에 대한 영상 시퀀스 데이터를 생성한다. 생성된 영상 시퀀스 데이터는 영상 데이터의 결측이 발생했을 때 대신 행동 인식 모델의 입력값으로 활용될 수 있어 성능 향상을 기대할 수 있다.

A Pilot Study on the Generation of Legal Document Sentence based on Generative Pre-trained Transformer (생성적 사전학습 언어모델 기반의 판결문 문장 생성에 관한 파일럿 연구)

  • So, Kwangsub;Kim, Ho-Jung;Park, Ro-Seop;Won, Dong-Ok
    • Annual Conference of KIPS
    • /
    • 2022.11a
    • /
    • pp.443-445
    • /
    • 2022
  • 인공지능 기술이 발전함에 따라 경찰의 범죄수사 분야에서도 인공지능 기술을 적용하고자 하는 연구가 활발하다. 범죄수사의 결과물인 수사결과 보고서 작성에 있어 판결문은 중요한 데이터가 될 수 있다. 그러나 판결문은 공개된 데이터의 이미지화로 인해 정형화된 데이터의 확보가 까다롭고, 소수의 법조계 전문가가 아닌 일반인이 생성해내기 어려워 데이터 확보가 쉽지 않은 현실이다. 이에 본 연구에서는 생성적 사전학습 언어모델을 이용한 판결문 문장 데이터 생성을 제안하였다. 카카오의 KoGPT를 활용하여 실제 판결문장 일부를 제시한 결과 판결문과 유사한 형태의 문장을 생성한 것을 확인하였다. 향후 판결문 데이터를 활용하기 위한 인공지능 기술 기반 범죄수사 연구에 있어, 생성된 판결문 데이터를 활용할 수 있을 것으로 기대된다.

Projection-based Mesh Generation for 3D Panoramic Virtual Environment Creation (3D 파노라믹 가상 환경 생성을 위한 투영기반 메쉬 모델 생성 기법)

  • Lee, Won-Woo;Woo, Woon-Tack
    • 한국HCI학회:학술대회논문집
    • /
    • 2006.02a
    • /
    • pp.493-498
    • /
    • 2006
  • 본 논문에서는 3D 파노라믹 가상 환경 생성을 위한 투영기반 메쉬 모델 생성 기법을 제안한다. 제안된 메쉬 모델 생성 기법은 멀티뷰 카메라를 이용해 다수의 시점에서 얻은 실내 환경의 3D 데이터로부터 메쉬 모델을 생성한다. 먼저 미리 보정된 카메라 파라미터를 이용해 입력된 임의의 3D점 데이터를 여러 개의 하위 점군으로 분할한다. 적응적 샘플링을 통해 각 하위 점군으로부터 중복되는 점 데이터를 없애고 새로운 점군을 생성한다. 각각의 하위 점군을 Delaunay삼각화 방법을 통해 메쉬 모델링하고, 인접한 하위 점군의 메쉬들을 통합하여 하나의 메쉬 모델을 생성한다. 제안된 메쉬 모델링 방법은 점군의 분할을 통해 각 부분의 메쉬 모델을 독립적으로 생성하므로 실내 환경과 같은 넓은 영역의 모델링에 알맞다. 또한, 적응적 샘플링을 통해 3D 데이터가 갖는 깊이 정보의 특징을 보존하면서 메쉬 데이터의 크기를 줄인다. 생성된 가상 환경 모델은 가상/증강현실 응용 어플리케이션 등에 적용이 가능하다.

  • PDF

Dynamic Test Data Generation for Branch Coverage (분기 커버리지를 위한 동적 테스트 데이터 생성)

  • Chung, In-Sang;Seong, Yeong-Rak
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06b
    • /
    • pp.150-152
    • /
    • 2012
  • 일반적으로 테스트 데이터 자동 생성을 지원하기 위해 심볼릭 실행기나 제약 해결기와 같은 도구를 요구한다. 그러나 이와 같은 도구들을 개발하는 것은 상당한 노력이 요구되는 것도 사실이다. 이 논문에서는 이러한 도구들의 지원 없이 분기 커버리지를 효과적으로 달성할 수 있는 테스트 데이터 생성 방법을 제안한다. 이를 위해 경로 지향 테스트 데이터 생성을 위해 개발된 Korel의 방법을 확장하여 프로그램의 분기들을 가능한 많이 실행할 수 있는 테스트 데이터를 효과적으로 생성하는 방법을 제안한다.

Automatic Test Data Generation Using Abstract Interpretation (요약 해석을 이용한 데스트 데이터 자동 생성 기법)

  • 한승희;강제성;정인상;권용래
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.460-462
    • /
    • 2001
  • 테스트 데이터의 자동 생성은 소프트웨어 테스팅에서 가장 중요하면서도 어려운 부분이다. 대부분의 데스트 데이터 자동생성에 관한 연구는 명세로부터 테스트 데이터를 자동 생성하는 방식이며 이틀 위해 정확한 정형적 명세를 필요로 한다. 본 논문에서 는 프로그램을 실 행하지 않고 프로그램의 동적인 특성을 분석할 수 있는 요약 해석(abstract interpretation) 방법과 선후 지배 관계(pre-, postdominance relationship)를 이용하여 프로그램 코드로부터 직접 테스트 데이터를 자동 생성할 수 있는 방법 을 제안한다.

  • PDF

A Study of Pattern Defect Data Augmentation with Image Generation Model (이미지 생성 모델을 이용한 패턴 결함 데이터 증강에 대한 연구)

  • Byungjoon Kim;Yongduek Seo
    • Journal of the Korea Computer Graphics Society
    • /
    • v.29 no.3
    • /
    • pp.79-84
    • /
    • 2023
  • Image generation models have been applied in various fields to overcome data sparsity, time and cost issues. However, it has limitations in generating images from regular pattern images and detecting defects in such data. In this paper, we verified the feasibility of the image generation model to generate pattern images and applied it to data augmentation for defect detection of OLED panels. The data required to train an OLED defect detection model is difficult to obtain due to the high cost of OLED panels. Therefore, even if the data set is obtained, it is necessary to define and classify various defect types. This paper introduces an OLED panel defect data acquisition system that acquires a hypothetical data set and augments the data with an image generation model. In addition, the difficulty of generating pattern images in the diffusion model is identified and a possibility is proposed, and the limitations of data augmentation and defect detection data augmentation using the image generation model are improved.

Question Generation of Machine Reading Comprehension for Data Augmentation and Domain Adaptation (추가 데이터 및 도메인 적응을 위한 기계독해 질의 생성)

  • Lee, Hyeon-gu;Jang, Youngjin;Kim, Jintae;Wang, JiHyun;Shin, Donghoon;Kim, Harksoo
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.415-418
    • /
    • 2019
  • 기계독해 모델에 새로운 도메인을 적용하기 위해서는 도메인에 맞는 데이터가 필요하다. 그러나 추가 데이터 구축은 많은 비용이 발생한다. 사람이 직접 구축한 데이터 없이 적용하기 위해서는 자동 추가 데이터 확보, 도메인 적응의 문제를 해결해야한다. 추가 데이터 확보의 경우 번역, 질의 생성의 방법으로 연구가 진행되었다. 그러나 도메인 적응을 위해서는 새로운 정답 유형에 대한 질의가 필요하며 이를 위해서는 정답 후보 추출, 추출된 정답 후보로 질의를 생성해야한다. 본 논문에서는 이러한 문제를 해결하기 위해 듀얼 포인터 네트워크 기반 정답 후보 추출 모델로 정답 후보를 추출하고, 포인터 제너레이터 기반 질의 생성 모델로 새로운 데이터를 생성하는 방법을 제안한다. 실험 결과 추가 데이터 확보의 경우 KorQuAD, 경제, 금융 도메인의 데이터에서 모두 성능 향상을 보였으며, 도메인 적응 실험에서도 새로운 도메인의 문맥만을 이용해 데이터를 생성했을 때 기존 도메인과 다른 도메인에서 모두 기계독해 성능 향상을 보였다.

  • PDF

Map Generation Method using Small Trace Data (경량의 GPS 트레이스 데이터를 이용한 지도 생성 기법)

  • Jang, Sera;Lee, Eunseok
    • Annual Conference of KIPS
    • /
    • 2009.11a
    • /
    • pp.907-908
    • /
    • 2009
  • 지리정보 시스템에서의 지도 데이터 생성은 많은 양의 실세계의 데이터를 기반으로 하기 때문에 그 생성 및 변경에 있어서 많은 비용과 시간을 필요로 한다. 본 논문에서는 이러한 문제를 극복하기 위하여 경량의 차량 GPS 트레이스 데이터를 이용하여 높은 정확도의 도로 지도를 생성하는 방법을 제안하였다. 제안 방법론은 Intelligent Transportation System(ITS)의 중요 요소인 지리정보 생성에 있어 효율적이고 경제적인 도로 지도 생성을 가능하게 한다.