• 제목/요약/키워드: data normalization

검색결과 483건 처리시간 0.029초

Forecasting realized volatility using data normalization and recurrent neural network

  • Yoonjoo Lee;Dong Wan Shin;Ji Eun Choi
    • Communications for Statistical Applications and Methods
    • /
    • 제31권1호
    • /
    • pp.105-127
    • /
    • 2024
  • We propose recurrent neural network (RNN) methods for forecasting realized volatility (RV). The data are RVs of ten major stock price indices, four from the US, and six from the EU. Forecasts are made for relative ratio of adjacent RVs instead of the RV itself in order to avoid the out-of-scale issue. Forecasts of RV ratios distribution are first constructed from which those of RVs are computed which are shown to be better than forecasts constructed directly from RV. The apparent asymmetry of RV ratio is addressed by the Piecewise Min-max (PM) normalization. The serial dependence of the ratio data renders us to consider two architectures, long short-term memory (LSTM) and gated recurrent unit (GRU). The hyperparameters of LSTM and GRU are tuned by the nested cross validation. The RNN forecast with the PM normalization and ratio transformation is shown to outperform other forecasts by other RNN models and by benchmarking models of the AR model, the support vector machine (SVM), the deep neural network (DNN), and the convolutional neural network (CNN).

데이터베이스 성능향상용 역정규화의 무용성 (Harmfulness of Denormalization Adopted for Database for Database Performance Enhancement)

  • 이혜경
    • 전자공학회논문지CI
    • /
    • 제42권3호
    • /
    • pp.9-16
    • /
    • 2005
  • 정규화(normalization)는 데이터의 불필요한 중복의 정도를 최소화찰 뿐만 아니라 데이터의 무결성을 높이는데 기여하기 때문에 데이터베이스를 효율적으로 설계하기 위해 수행하고 있다. 그러나 정규화를 깊숙이 수행한 데이터베이스인 경우 자료 검색 시 필요에 따라 테이블 간의 조인을 해야 하기 때문에 자료 처리 속도의 저하 현상이 발생될 수도 있다. 이러한 정규화의 부작용을 다소나마 해소하기 위한 수단으로 기업에서는 궁여지책으로 역정규화를 함으로써 어느 정도 완화시킬 수 있다고 보는 견해가 있다. 본 논문에서는 정규화와 역정규화와의 성능 평가를 위해 고객관련업무 시스템에 대해 두 가지 방법을 적용하여 데이터베이스 시스템을 구축하고 분석하여 비교하였다. 실험 결과 데이터베이스 크기에 따른 응답 시간은 전체적으로 역정규화 모델이 정규화 모델보다 더 길게 나왔다. 역정규화가 데이터의 중복을 발생시키기 때문에 시스템 성능 향상에 기여하는 바가 거의 없는 것으로 나타났다.

DNA 마이크로어레이 자료의 PRINT-TIP별 표준화(NORMALIZATION) 방법 (Print-tip Normalization for DNA Microarray Data)

  • 이성곤;박태성;강성현;이승연;이용성
    • 응용통계연구
    • /
    • 제18권1호
    • /
    • pp.115-127
    • /
    • 2005
  • DNA마이크로어레이 기술은 수천 개 또는 수만 개의 유전자의 발현을 동시에 탐색할 수 있는 새로운 과학 기술이다. 표준화(normalization)는 마이크로어레이 실험에서 다양한 원인에 의해 발생하는 잡음(noise)을 줄이거나 제거하는 과정을 나타낸다. print-tip의 변동은 잡음의 주요 요인으로 인지되어 왔다. 본 논문에서는 잡음의 주요 발생요인이 되는 print-tip의 변동을 조절하기 위한 print-tip 표준화 작업에 대한 객관적인 비교 및 그 타당성 평가를 하였다. 먼저 그동안 제안된 여러 표준화 방법들 중에서 가장 널리 사용되고 있는 방법들을 정리해서 소개한 후에, 잡음이 많이 포함된 실제 cDNA 실험자료를 이용하여 각 표준화 방법의 특성을 비교해 보았다. 또한 실험자료와 유사한 모의분포를 생성한 후에 print-tip 표준화 작업에 대한 체계적인 비교를 해 보았다.

항만효율성 측정 자료의 정규성과 변환 불변성 검증 소고 : DEA접근 (A Brief Verification Study on the Normalization and Translation Invariant of Measurement Data for Seaport Efficiency : DEA Approach)

  • 박노경;박길영
    • 한국항만경제학회지
    • /
    • 제23권2호
    • /
    • pp.109-120
    • /
    • 2007
  • 본 논문에서는 항만효율성 측정 시 문제가 되었던 두 가지 문제점(첫째, 각기 상이한 기본단위를 갖는 투입변수와 산출변수의 정규화문제, 둘째, DEA분석의 기본가정인 비음수조건에 벗어난 자료, 즉, 음수를 갖는 투입-산출자료의 변환불변성)를 해결하기 위해서 국내 26개항만의 자료를 이용하여 실증분석을 한 후에 검증을 함으로써 항만효율성 측정방법을 부분적으로 확장시켰다. 본 논문의 실증분석의 핵심적인 결과는 다음과 같다. 첫째, 항만효율성 측정 시 사용되는 자료의 정규성과 변환불변성은 실증분석 결과 분명하게 있는 것으로 검증되었다. 둘째, 항만효율성 측정 시 사용되는 자료가 마이너스(-)인 경우에 가장 큰 음수보다 더 큰 양수를 더해 주는 이른바 자료의 변환을 검증하는 변환불변성은 투입지향-산출지향 BCC 모형에서 확인되었다. 위와 같은 실증분석 결과는 다음과 같은 정책적인 함의를 갖고 있다. 즉, 효율성 측정시 사용되는 자료의 정규성과 변환불변성이 실증적으로 검증되었으므로, 국내 항만의 정책입안가들은 항만효율성 측정 시 이용되는 자료의 정규성과 변환불변성과 같은 사항을 고려하여 보다 세부적인 항만통계자료를 수집 정리 공표하는 것이 매우 필요하다. 예를 들면 항만사고와 같은 통계도 해역별이 아닌 항만별로 세부적으로 통계를 발행하도록 관련된 정책적인 지원이 필요하다.

  • PDF

물리적 보정된 핵의학 영상 평가 : 정규화 보정 (Evaluation of Physical Correction in Nuclear Medicine Imaging : Normalization Correction)

  • 박찬록;윤석환;이홍재;김진의
    • 핵의학기술
    • /
    • 제21권1호
    • /
    • pp.29-33
    • /
    • 2017
  • QA 과정을 통해 30개의 정규화 보정값을 얻고, 1개의 기준 데이터 설정 후 29개의 정규화 보정값과 비교하였다. 또한 각 정규화 보정값을 PET raw data 에 적용시켜 재구성된 영상을 동일한 ROI를 그려 SUV 와 count 로 비교평가 하였다. 30개의 정규화 보정값은 차이가 발생하지 않았으며, 각각의 정규화 보정값을 적용시킨 PET 영상도 크게 차이가 없었다. 핵의학 영상은 정량분석을 위해 불감시간 보정 및 광자의 감쇠 및 산란 등 물리적 현상에 대한 보정이 필요하고, 정규화 보정 또한 무시할 수 없는 보정 과정이다. 따라서 이런 과정을 통해 PET 장비의 균일성이 유지되고 여러 디텍터의 효율도 균등해야 영상의 왜곡을 방지할 수 있고, 질 좋은 영상을 만드는데 꼭 필요한 과정이므로 매일 QA 과정이 필요하다고 사료된다.

  • PDF

SVM을 위한 교사 랭크 정규화 (Supervised Rank Normalization for Support Vector Machines)

  • 이수종;허경용
    • 한국컴퓨터정보학회논문지
    • /
    • 제18권11호
    • /
    • pp.31-38
    • /
    • 2013
  • 특징 정규화는 인식기를 적용하기 이전의 전처리 단계로 특징의 스케일에 따른 오류를 줄이기 위해 널리 사용되고 있다. 하지만 기존 정규화 방법은 특징의 분포를 가정하는 경우가 많으며, 클래스 라벨을 고려하지 않으므로 정규화 결과가 인식률에서 최적임을 보장하지 못하는 문제점이 있다. 이 논문에서는 특징의 분포를 가정하지 않는 랭크 정규화 방법과 클래스 라벨을 사용하는 교사 학습법을 결합한 교사 랭크 정규화 방법을 제안하였다. 제안하는 방법은 데이터의 분포를 바탕으로 특징의 분포를 자동으로 추정하므로 특징의 분포를 가정하지 않으며, 데이터 포인트의 최근접 이웃이 가지는 클래스 라벨을 바탕으로 정규화를 시행하므로 오류의 발생을 최소화할 수 있다. 특히 SVM의 경우 서로 다른 클래스에 속하는 데이터 포인트들이 혼재되어 나타나는 영역에 경계선을 설정하므로 이 영역의 밀도를 줄임으로써 경계선 설정을 보다 용이하게 하고 결과적으로 일반화 오류를 감소시킬 수 있다. 이러한 사실들은 실험 결과를 통해 확인할 수 있다.

Investigation of Airborne LIDAR Intensity data

  • Chang Hwijeong;Cho Woosug
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2004년도 Proceedings of ISRS 2004
    • /
    • pp.646-649
    • /
    • 2004
  • LiDAR(Light Detection and Ranging) system can record intensity data as well as range data. Recently, LiDAR intensity data is widely used for landcover classification, ancillary data of feature extraction, vegetation species identification, and so on. Since the intensity return value is associated with several factors, same features is not consistent for same flight or multiple flights. This paper investigated correlation between intensity and range data. Once the effects of range was determined, the single flight line normalization and the multiple flight line normalization was performed by an empirical function that was derived from relationship between range and return intensity

  • PDF

학습 샘플 선택을 이용한 교사 랭크 정규화 (Supervised Rank Normalization with Training Sample Selection)

  • 허경용;최훈;윤주상
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권1호
    • /
    • pp.21-28
    • /
    • 2015
  • 특징 정규화는 인식기를 적용하기 이전의 전처리 단계로 특징 차원에 따라 서로 다른 스케일에 의해 발생하는 오류를 줄이기 위해 널리 사용된다. 하지만 기존 정규화 방법은 클래스 라벨을 고려하지 않으므로 정규화 결과가 인식률에서 최적임을 보장하지 못하는 문제점이 있다. 이를 개선하기 위해 클래스 라벨을 사용하여 정규화를 시행하는 교사 정규화 방법이 제안되었고 기존 정규화 방법에 비해 나은 성능을 보임이 입증되었다. 이 논문에서는 교사 랭크 정규화 방법에 학습 샘플 선택 방법을 적용함으로써 교사 랭크 정규화 방법을 더욱 개선할 수 있는 방법을 제안한다. 학습 샘플 선택은 잡음이 많은 샘플을 학습에서 제외함으로써 잡음에 보다 강한 분류기를 학습시키는 전처리 단계로 많이 사용되며 랭크 정규화에서도 역시 사용될 수 있다. 학습 샘플 선택은 이웃한 샘플이 속하는 클래스와 이웃한 샘플까지의 거리를 바탕으로 하는 두 가지 척도를 제안하였고, 두 가지 척도 모두에서 기존 정규화 방법에 비해 인식률이 향상되었음을 실험 결과를 통해 확인할 수 있었다.

어파인 변형과 교차참조점을 이용한 강인한 워터마킹 기법 (A Robust Watermarking Technique Using Affine Transform and Cross-Reference Points)

  • 이항찬
    • 전기학회논문지
    • /
    • 제56권3호
    • /
    • pp.615-622
    • /
    • 2007
  • In general, Harris detector is commonly used for finding salient points in watermarking systems using feature points. Harris detector is a kind of combined comer and edge detector which is based on neighboring image data distribution, therefore it has some limitation to find accurate salient points after watermark embedding or any kinds of digital attacks. In this paper, we have used cross reference points which use not data distribution but geometrical structure of a normalized image in order to avoid pointing error caused by the distortion of image data. After normalization, we find cross reference points and take inverse normalization of these points. Next, we construct a group of triangles using tessellation with inversely normalized cross reference points. The watermarks are affine transformed and transformed-watermarks are embedded into not normalized image but original one. Only locations of watermarks are determined on the normalized image. Therefore, we can reduce data loss of watermark which is caused by inverse normalization. As a result, we can detect watermarks with high correlation after several digital attacks.

3-level 계층 64QAM 기법의 정규화 인수 (Normalization Factor for Three-Level Hierarchical 64QAM Scheme)

  • 유동호;김동호
    • 한국통신학회논문지
    • /
    • 제41권1호
    • /
    • pp.77-79
    • /
    • 2016
  • 본 논문에서는 디지털 방송시스템의 전송방식에서 널리 사용 되고 있는 계층 변조 (Hierarchical Modulation)를 고려한다. 계층 변조기법은 다수의 독립적인 데이터 스트림의 송신 신호 전력을 조절하여 변조 심볼로 매핑하기 때문에 종래의 M-QAM에서 사용하는 정규화 인수 (Normalization Factor)를 사용할 수 없다. 본 논문에서는 3-level 계층 64QAM 기법의 정확한 정규화 인수를 구하기 위한 방법과 과정을 유도하여 제시한다.