• Title/Summary/Keyword: 데이터 추정

Search Result 3,483, Processing Time 0.026 seconds

Development of Machine Learning Based Precipitation Imputation Method (머신러닝 기반의 강우추정 방법 개발)

  • Heechan Han;Changju Kim;Donghyun Kim
    • Journal of Wetlands Research
    • /
    • v.25 no.3
    • /
    • pp.167-175
    • /
    • 2023
  • Precipitation data is one of the essential input datasets used in various fields such as wetland management, hydrological simulation, and water resource management. In order to efficiently manage water resources using precipitation data, it is essential to secure as much data as possible by minimizing the missing rate of data. In addition, more efficient hydrological simulation is possible if precipitation data for ungauged areas are secured. However, missing precipitation data have been estimated mainly by statistical equations. The purpose of this study is to propose a new method to restore missing precipitation data using machine learning algorithms that can predict new data based on correlations between data. Moreover, compared to existing statistical methods, the applicability of machine learning techniques for restoring missing precipitation data is evaluated. Representative machine learning algorithms, Artificial Neural Network (ANN) and Random Forest (RF), were applied. For the performance of classifying the occurrence of precipitation, the RF algorithm has higher accuracy in classifying the occurrence of precipitation than the ANN algorithm. The F1-score and Accuracy values, which are evaluation indicators of the classification model, were calculated as 0.80 and 0.77, while the ANN was calculated as 0.76 and 0.71. In addition, the performance of estimating precipitation also showed higher accuracy in RF than in ANN algorithm. The RMSE of the RF and ANN algorithms was 2.8 mm/day and 2.9 mm/day, and the values were calculated as 0.68 and 0.73.

Efficient Processing Technique for Unavailable Data in Hardware Implementation of Motion Estimator with Parallel Processing Architecture (움직임 추정기의 병렬처리 구조 하드웨어 구현시비유효 데이터의 효율적인처리 방법)

  • Park, Jong-Hwa;Kang, Hyun-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.9 no.2
    • /
    • pp.1-9
    • /
    • 2009
  • In this paper, we propose the efficient processing technique for unavailable data in hardware implementation of motion estimator in H.264/AVC with parallel processing architecture. Motion estimation processing in the hardware is generally based on pipe-lining, some MV data of neighbor blocks are not available, whereas all MV data are valid in software processing where the data are sequentially processed. In this paper, we solve the problem of data being unavailable in MVp computation. To minimize the quality degradation caused by unavailable MVs, in the proposed method, the unavailable MV of a neighboring block is replaced with an integer pel unit MV, an MVp of neighboring blocks, or an MVcol (MV of co-located block). Comparing to the conventional method [7], our method outperformed maximally 0.832dB and 0.179dB for QCIF and CIF, respectively, in terms of BDPSNR.

Model selection via Bayesian information criterion for divide-and-conquer penalized quantile regression (베이즈 정보 기준을 활용한 분할-정복 벌점화 분위수 회귀)

  • Kang, Jongkyeong;Han, Seokwon;Bang, Sungwan
    • The Korean Journal of Applied Statistics
    • /
    • v.35 no.2
    • /
    • pp.217-227
    • /
    • 2022
  • Quantile regression is widely used in many fields based on the advantage of providing an efficient tool for examining complex information latent in variables. However, modern large-scale and high-dimensional data makes it very difficult to estimate the quantile regression model due to limitations in terms of computation time and storage space. Divide-and-conquer is a technique that divide the entire data into several sub-datasets that are easy to calculate and then reconstruct the estimates of the entire data using only the summary statistics in each sub-datasets. In this paper, we studied on a variable selection method using Bayes information criteria by applying the divide-and-conquer technique to the penalized quantile regression. When the number of sub-datasets is properly selected, the proposed method is efficient in terms of computational speed, providing consistent results in terms of variable selection as long as classical quantile regression estimates calculated with the entire data. The advantages of the proposed method were confirmed through simulation data and real data analysis.

A Study on Algorithm for Travel Time Estimation using Restricted GPS Data (제한된 GPS정보를 활용한 통행 시간 추정 알고리즘에 관한 연구)

  • Yoo, Nam-Hyun
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.9 no.12
    • /
    • pp.1373-1380
    • /
    • 2014
  • In order to calculate accurate traffic and traffic speed, qualified and sufficient GPS data should be provided. However, it is difficult to provide accurate traffic information using restricted GPS data from probe vehicles because of communication costs. This paper developed a algorithm that recovers links omitted by restricted GPS data with topology information, and calculate traffic speed with original links and recovered links. T traffic information service of city with a new algorithm can provide more accurate traffic and traffic speed than the original system.

A Korean POS Tagging System with Handling Corpus Errors (말뭉치 오류를 고려한 HMM 한국어 품사 태깅 시스템)

  • Seol, Yong-Soo;Kim, Dong-Joo;Kim, Kyu-Sang;Kim, Han-Woo
    • KSCI Review
    • /
    • v.15 no.1
    • /
    • pp.117-124
    • /
    • 2007
  • 통계 기반 접근 방법을 이용한 품사태깅에서 태깅 정확도는 훈련 데이터의 양에 좌우될 뿐 아니라, 말뭉치가 충분할지라도 수작업으로 구축한 말뭉치의 경우 항상 오류의 가능성을 내포하고 있으며 언어의 특성상 통계적으로 신뢰할만한 데이터의 수집에도 어려움이 따른다. 훈련 데이터로 사용되는 말뭉치는 많은 사람들이 수작업으로 구축하므로 작업자 중 일부가 언어에 대한 지식이 부족하다거나 주관적인 판단에 의한 태깅 실수를 포함할 수도 있기 때문에 단순한 저빈도와 관련된 잡음 외의 오류들이 포함될 수 있는데 이러한 오류들은 재추정이나 평탄화 기법으로 해결될 수 있는 문제가 아니다. 본 논문에서는 HMM(Hidden Markov Model)을 이용한 한국어 품사 태깅에서 재추정 후 여전히 존재하는 말뭉치의 잡음에 인한 태깅 오류 해결을 위해 비터비 알고리즘적용 단계에서 데이터 부족과 말뭉치의 오류로 인해 문제가 되는 부분을 찾아내고 규칙을 통해 수정을 하여 태깅 결과를 개선하는 방안을 제안한다. 실험결과는 오류가 존재하는 말뭉치를 사용하여 구현된 HMM과 비터비 알고리즘을 적용한 태깅 정확도에 비해 오류를 수정하는 과정을 거친 후 정확도가 향상됨을 보여준다.

  • PDF

On the speaker identification using the informations contained in the voiced intervals (유성음의 정보를 이용한 화자식별에 관한 연구)

  • Oh Chang-Hwan;Park Dae-Sung;Choi Hong-Sub
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • autumn
    • /
    • pp.175-178
    • /
    • 2000
  • GMM을 기반으로 하는 화자식별 시스템은 입력음성의 길이의 장단에 의해서 인식률에 차이가 생긴다. 이는 가우시안 모델의 파라미터를 추정할 때, 않은 데이터를 사용할수록 추정이 정확해지기 때문이다. 따라서 화자식별에 사용하는 입력데이터는 화자가 발성한 모든 음성신호에서 잡음구간만을 제거한 유,무성음을 이용하게 된다. 그러나 이 경우 데이터의 양이 많아져서 실시간 처리에 어려움이 있겠다. 본 논문에서는 전체 음성구간을 이용하는 대신 유성음 구간만을 추출하여 이 구간의 켑스트럼과 피치 값들을 특징파라미터로 이용하여 화자식별에 이용하였다. 특히 피치성분은 일반적으로 통신채널과 핸드셋의 영향에 상대적으로 강한 장점이 있다. 실험을 위하여 20대의 남성 및 여성화자 40명으로부터 얻은 음성데이터에서 유성음구간을 추출하여 GMM을 이용한 문장독립 화자식별 실험을 하였으며, 실험결과 스펙트럼정보와 함께 피치 정보가 화자식별에 유용하게 사용될 수 있음을 알 수 있었다

  • PDF

확률밀도함수의 미분에 대한 커널추정법에 관한 연구

  • Seok, Gyeong-Ha;Kim, Dae-Hak
    • Journal of the Korean Data and Information Science Society
    • /
    • v.7 no.2
    • /
    • pp.211-217
    • /
    • 1996
  • 본 논문은 확률밀도함수의 l 번째 도함수의 커널추정법에 관하여 다루고 있다. 확률밀도함수 도함수의 커널추정에 사용될 수 있는 두가지 평활량의 선택법, 교차타당성방법과 삽입방법에 의한 평활량의 점근분포를 규명하고 이들의 상대적 수렴속도를 각각 밝히고 삽입방법의 우수성을 소표본 모의실험을 통하여 확인하였다.

  • PDF

A novel robot localization algorithm based on neural network and Kalman filter (신경 회로망과 칼만 필터를 결합한 새로운 방식의 로봇 위치인식 알고리즘)

  • 이희성;김은태;박민용
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2004.04a
    • /
    • pp.519-522
    • /
    • 2004
  • 본 논문에서는 외향 기반 접근법을 기반으로 한 로봇의 위치 추정 알고리즘을 제안한다. 로봇이 작업을 수행할 공간에서 강한 상관관계를 갖는 영상들을 취득하여 eigenspace로 투영 시킴으로써 주성분의 추출을 수행한다. 이 추출된 주성분은 신경 회로망을 이용해 eigenspace에서의 연속 외향 함수(continuous appearance function)로 나타낼 수 있다. 로봇의 위치 추정을 위해 새로운 영상이 주어지면 이것을 eigenspace로 투영 시킨 후 연속 외향 함수를 통해 로봇의 현재 위치를 추정한다. 최종적으로는, 영상안의 데이터에 칼만 필터를 적용함으로써 로봇의 정확한 위치와 영상으로 획득된 정보 사이의 오차를 이용하여 보다 정확한 이동 로봇의 위치를 추정하는 알고리즘을 제안한다.

  • PDF

A UWB Channel Estimation Technique Using Training Sequence (훈련 수열을 이용한 UWB 채널 추정 기법)

  • 김종민;김선용
    • Proceedings of the IEEK Conference
    • /
    • 2003.07a
    • /
    • pp.27-30
    • /
    • 2003
  • 무선 통신 서비스에 대한 수요가 급격히 증가하면서 높은 데이터 전송율을 갖는 무선 통신에 대한 연구가 활발히 진행되고 있다. UWB는 (Ultra Wide Band) 이러한 문제점을 해결할 수 있는 통신 방법 중의 하나로 이 논문에서는 현재 IEEE 802.15.TG3a 표준화 위원회에서 제시하고 있는 채널 모델에 대해서 알아보고, 제시된 채널 모델에 LS (Least Square) 방법을 적용하여 채널의 임펄스 응답을 (Channel Impulse Response) 추정한다. 채널 추정의 성능 지표로 Preamble의 크기에 따른 MSE와 (Mean Square Error) 각각의 채널에 대한 비트 에러율을 사용하여 모의 실험을 본 논문에서 다루는 추정 기법의 성능을 분석한다.

  • PDF

무응답 보정에서 변수 선택을 이용한 보조정보의 결정에 관한 연구

  • 손창균;홍기학;이기성
    • Proceedings of the Korean Statistical Society Conference
    • /
    • 2001.11a
    • /
    • pp.63-68
    • /
    • 2001
  • 조사과정에서 필연적으로 발생하는 무응답을 보정하기 위해 보조정보를 사용한다. 이 때, 이용 가능한 보조정보의 차원이 크면, 계산과정에서 많은 시간이 소요되며 데이터를 다루기가 매우 어렵다. 또한 추정량의 분산이 보조정보의 차원에 의존하기 때문에 과소추정의 문제가 발생한다. 이러한 문제를 해결하기 위해 무응답 보정에서 적절한 보조정보의 선택 방법을 제안하였고, 이에 대한 효율성을 모의실험을 통해 살펴보았다.

  • PDF