• 제목/요약/키워드: Data Imputation

검색결과 202건 처리시간 0.02초

심층 인공신경망을 활용한 Smoothed RSSI 기반 거리 추정 (Smoothed RSSI-Based Distance Estimation Using Deep Neural Network)

  • 권혁돈;이솔비;권정혁;김의직
    • 사물인터넷융복합논문지
    • /
    • 제9권2호
    • /
    • pp.71-76
    • /
    • 2023
  • 본 논문에서는 단일 수신기가 사용되는 환경에서 정확한 거리 추정을 위해 심층 인공신경망 (Deep Neural Network, DNN)을 활용한 Smoothed Received Signal Strength Indicator (RSSI) 기반 거리 추정 기법을 제안한다. 제안 기법은 거리 추정 정확도 향상을 위해 Data Splitting, 결측치 대치, Smoothing 단계로 구성된 전처리 과정을 수행하여 Smoothed RSSI 값을 도출한다. 도출된 다수의 Smoothed RSSI 값은 Multi-Input Single-Output(MISO) DNN 모델의 Input Data로 사용되며 Input Layer와 Hidden Layer를 통과하여 최종적으로 Output Layer에서 추정 거리로 반환된다. 제안 기법의 우수성을 입증하기 위해 제안 기법과 선형회귀 기반 거리 추정 기법의 성능을 비교하였다. 실험 결과, 제안 기법이 선형회귀 기반 거리 추정 기법 대비 29.09% 더 높은 거리 추정 정확도를 보였다.

실시간 교통자료 기반 고속도로 교통사고 발생 가능성 추정 모형 (Estimation of Freeway Accident Likelihood using Real-time Traffic Data)

  • 박준형;오철;남궁성
    • 대한교통학회지
    • /
    • 제26권2호
    • /
    • pp.157-166
    • /
    • 2008
  • 본 연구에서는 실시간으로 수집되는 고속도로의 검지기 자료를 이용하여 교통사고 발생 가능성을 확률적 관측값으로 나타낼 수 있는 모형을 개발하였다. 사고발생 지점을 기준으로 상류부 및 하류부에서 수집된 사고발생 이전의 교통자료를 모형의 독립변수로 설정하였다. 이항 로지스틱 회귀분석 기법을 적용하여 교통사고 발생을 유발할 잠재력이 높은 교통상황을 교통사고와는 무관한 교통상황으로부터 추출하는 분류문제(classification problem)로 설정하고 모형을 개발하였다. 최근 3년간 서해안 고속도로에서 발생한 사고자료와 검지기 자료를 맵핑하였으며, 유효한 검지기 자료를 모형에 적용하기 위하여 이상치 제거 및 결측치 보정을 위한 자료처리 과정을 별도로 수행하였다. 본 연구에서 개발한 모형에서 산출되는 계량화된 교통사고 발생가능성은 고속도로상에서 실시간 경고정보 제공 및 다양한 교통운영관리 전략의 교통안전 측면에서의 효과를 평가하는데 유용하게 적용될 수 있을 것으로 기대된다.

교통 데이터에 대한 품질 평가 및 자료 처리 기법의 구현 (Implementation of Quality Evaluation, Error Filtering, Imputation for Traffic Missing Data)

  • 정수정;송수경;이민수;남궁성
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
    • /
    • pp.185-190
    • /
    • 2007
  • 대용량의 자료가 생산됨에 따라 데이터를 효율적으로 저장, 관리, 이용할 수 있는 데이터 웨어하우스의 역할이 중요하게 되었고, 그에 따라 자료 처리 기법의 개발은 필수 과제가 되었다. 품질 평가와 오류 판단, 결측 보정의 자료 처리 과점은 자료의 신뢰도를 판단하고 활용도를 높일 수 있는 과정으로 매우 중요하다. 본 논문에서는 우리나라의 실제 교통상황을 반영하고 평가 기준의 오차를 줄이면서 더욱 간단 명료한 평가 계산식을 도입하여 효율적인 품질평가와 오류판단, 결측 보정의 자료 처리 기법을 제안한다. 또한 오류 판단 기준에 새로운 파라미터론 도입하여 교통 연구자의 요구 사항을 반영할 수 있게 하였다. 결측 보정 과정은 여러 기법을 연구하고 기존의 결측 보정 기법에 입력 변수를 추가하여 실제 대용량의 교통 자료에 적용하였다. 그리고 교통 자료가 저장되는 데이터베이스에 직접 접근하여 결측 보정과정을 수행하도록 PL/SQL로 구현하였으며, 이를 통해 교통 연구자에게 쉽고 다양한 방법으로 결측 보정을 수행하고 그 결과를 이용하여 다양한 교통 정보를 가공할 수 있는 환경을 제공하였다.

  • PDF

공장용지 수요 추정 모형 개발 및 수요예측 (Forecasting the Demand Areas of a Factory Site: Based on a Statistical Model and Sampling Survey)

  • 정형철;한근식;김성용
    • 응용통계연구
    • /
    • 제24권3호
    • /
    • pp.465-475
    • /
    • 2011
  • 본 연구에서는 공장용지 면적을 예측하기 위한 통계적 추정을 다루었다. 공장용지에 대해서는 1981년부터 2003년까지 자료가 존재하며, 2004년 이후에는 공장용지보다 좁은 개념인 산업단지 면적에 대한 조사 자료만 존재한다. 한국산업단지공단에서는 2009년 10월 표본조사를 실시하여 당해의 공장용지 면적을 추정하였으며, 동 조사 시 향후 5개년의 공장용지면적에 대한 수요를 조사한 바 있다. 본 연구에서는 과거 절단된 자료를 여러 통계모형을 사용하여 적절히 대체할 수 있는 수요예측모형을 도출하고, 표본조사에 의한 추정치와 통계적 모형에 의한 대체값들을 융합하는 평활기법으로 향후 공장용지 수요를 예측하는 방법을 다루었다.

절사표본에서 최적 절사점에 관한 연구 (A Study on the Optimal Cut-off Point in the Cut-off Sampling Method)

  • 이상은;조민지;신기일
    • 응용통계연구
    • /
    • 제27권3호
    • /
    • pp.501-512
    • /
    • 2014
  • 상당수의 사업체 조사는 절사표본설계법을 사용하고 있다. 이는 절사표본설계법에서 얻은 전수층이 많은 정보를 포함하고 있어 전체 표본크기를 최소화 할 수 있는 장점이 있기 때문이다. 그러나 최근 전수층에 포함된 사업체들의 무응답률이 높아감에 따라 전수층이 가지고 있는 장점에 한계가 나타나고 있다. 이에 Lee (2011), Shin과 Lee (2013)는 표본설계 단계에서부터 주어진 허용오차를 만족하면서 전수층 규모를 최소화하는 연구를 실시하였다. 본 연구에서는 주어진 허용오차를 만족하고 Hidiroglou (1986)가 제안한 방법으로 산출 된 표본크기를 고정한 상태에서 표본층 분산에 알려진 함수를 적합하여 전수층 크기를 최소화하는 새로운 최적 절사점을 제안하였다. 또한 Hidiroglou (1986)와 Shin과 Lee (2013)가 제안한 절단분포를 이용한 방법과 본 연구에서 제안한 방법을 모의실험과 사례연구를 통해 비교하였다.

교통 통계 정보를 이용한 속도 패턴 예측에 관한 연구 (A Study for Traffic Forecasting Using Traffic Statistic Information)

  • 최보승;강현철;이성건;한상태
    • 응용통계연구
    • /
    • 제22권6호
    • /
    • pp.1177-1190
    • /
    • 2009
  • 도로의 성능을 측정는데 있어서, 주행속도는 가장 중요한 정보가 된다. 또한 도로 교통의 정보를 제공하는데 있어서 현 시점의 교통정보와 더불어 향후 예측되는 교통정보를 함께 제공하는 것은 보다 정확한 예측 시간과 구간을 제공하기 위한 차별화된 기능이라 할 수 있다. 본 연구에서는 그 동안 축적된 도로 구간별 속도 자료를 이용하여 속도 패턴을 다양하게 분석하고 퓨리에 변환 및 삼각함수를 설명변수로 하는 시계열 회귀모형을 이용한 예측모형을 개발하여 구간별 및 시간대별 평균 속도를 예측하였다. 이와 더불어 보다 정확한 예측을 위하여 결측치에 대한 대체 방법 및 특이치 처리 방법을 함께 고려하였고 방대한 데이터에 대한 효율적인 분석을 위하여 유사 속도 구간에 대한 그룹핑(grouping) 방법도 제안하였다.

Survival Prognostic Factors of Male Breast Cancer in Southern Iran: a LASSO-Cox Regression Approach

  • Shahraki, Hadi Raeisi;Salehi, Alireza;Zare, Najaf
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제16권15호
    • /
    • pp.6773-6777
    • /
    • 2015
  • We used to LASSO-Cox method for determining prognostic factors of male breast cancer survival and showed the superiority of this method compared to Cox proportional hazard model in low sample size setting. In order to identify and estimate exactly the relative hazard of the most important factors effective for the survival duration of male breast cancer, the LASSO-Cox method has been used. Our data includes the information of male breast cancer patients in Fars province, south of Iran, from 1989 to 2008. Cox proportional hazard and LASSO-Cox models were fitted for 20 classified variables. To reduce the impact of missing data, the multiple imputation method was used 20 times through the Markov chain Mont Carlo method and the results were combined with Rubin's rules. In 50 patients, the age at diagnosis was 59.6 (SD=12.8) years with a minimum of 34 and maximum of 84 years and the mean of survival time was 62 months. Three, 5 and 10 year survival were 92%, 77% and 26%, respectively. Using the LASSO-Cox method led to eliminating 8 low effect variables and also decreased the standard error by 2.5 to 7 times. The relative efficiency of LASSO-Cox method compared with the Cox proportional hazard method was calculated as 22.39. The19 years follow of male breast cancer patients show that the age, having a history of alcohol use, nipple discharge, laterality, histological grade and duration of symptoms were the most important variables that have played an effective role in the patient's survival. In such situations, estimating the coefficients by LASSO-Cox method will be more efficient than the Cox's proportional hazard method.

머신러닝 기반의 강우추정 방법 개발 (Development of Machine Learning Based Precipitation Imputation Method)

  • 한희찬;김창주;김동현
    • 한국습지학회지
    • /
    • 제25권3호
    • /
    • pp.167-175
    • /
    • 2023
  • 강우 데이터는 습지관리, 수문모의, 수자원 관리와 같은 다양한 분야에서 활용되는 필수 입력자료 중 하나이다. 강우 데이터를 활용하여 효율적인 수자원관리를 위해서는 기본적으로 데이터의 결측률을 최소화 시킴으로써 최대한 많은 데이터를 확보하는 것이 필수적이다. 또한 미계측 지역에 대한 강우 데이터를 확보한다면 보다 효율적인 수문모의가 가능하다. 그러나 결측 강우 데이터는 주로 통계학적 기법에 의해 추정되어 왔다. 본 연구의 목적은 데이터 간의 상관관계를 기반으로 새로운 데이터를 예측할 수 있는 머신러닝 알고리즘을 활용하여 결측 강우 데이터를 복원할 수 있는 새로운 방법을 제안하고자 한다. 또한, 기존의 통계적 방법들과 비교하여 머신러닝 기법의 결측 강우 데이터 복원을 위한 활용가치를 평가하고자 한다. 평가를 위해 대표적인 머신러닝 알고리즘인 Artificial Neural Network (ANN)과 Random Forest (RF)을 적용하였다. 강우의 발생 유무를 분류하는 성능은 RF 알고리즘이 ANN 알고리즘보다 강우 발생유무의 분류 정확도가 높은 것으로 나타났다. 분류 모형의 평가 지표인 F1-score나 Accuracy값이 RF는 0.80, 0.77인 반면에, ANN은 0.76, 0.71로 계산되었다. 또한 강우량을 추정하는 성능 역시 RF가 ANN 알고리즘보다 보다 높은 정확도를 보였다. RF과 ANN 알고리즘의 RMSE은 2.8mm/day과 2.9mm/day이고, R2값은 0.73, 0.68으로 계산되었다.

표본조사에 의한 기업 연구개발활동 통계 작성방안 (Development of Sample Survey Design for the Industrial Research and Development Statistics)

  • 조성표;박선영;한기인;노민선
    • 기술혁신연구
    • /
    • 제17권2호
    • /
    • pp.1-23
    • /
    • 2009
  • 본 연구에서는 국가의 연구개발활동조사에서 기업연구개발활동 통계에 대한 효과적인 산출방법을 제시하고자 하였다. 이를 위하여 국내 외 연구개발 통계 방법을 조사한 후 이를 토대로 우리나라에서 기업연구개발활동에 대한 자료의 수집 및 분석에 대한 개선 방안을 제시 하였다. 대부분의 국가에서 대기업은 전수조사, 소규모 기업은 표본조사를 수행하고 있으나, 우리나라에서는 연구소 등록법인에 대하여 전수조사를 행하고 있다. 전수조사는 비용이 많이 들고 비표본오차로 인하여 모집단에 대한 체계적인 추정이 불가능하다는 문제점이 있다. 현재 산업기술진흥협회에 등록된 연구기관의 수가 20,000개를 넘어서고 있어 전수조사는 한계에 다다른 것으로 생각되어 표본조사 도입에 대한 타당성과 방법론을 중점적으로 검토하였다. 먼저, 표본조사의 타당성을 평가하기 위하여 현재 전수조사를 통해 수집된 자료를 이용하여 표본조사를 수행한 결과를 비교 분석하였다. 산업별(24개), 그룹별(8개)로 구분하여 216개 셀별로 모집단수/표본수를 곱하여 산정(셀별추정법)한 결과, 전수 통계치와 거의 동일하게 나타났다. 따라서, 산업별, 그룹별로 세분하여 모집단수/표본수를 곱하여 추정하는 셀별추정법이 타당한 것으로 평가할 수 있다. 이상의 분석결과를 토대로 조사설계 방안을 제시하면 다음과 같다. 직전연도 조사기업은 직전연도 연구개발비 수준과 기업종류(대기업, 벤처기업, 중소기업), 그리고 산업에 따라 셀을 분할한다. 대기업, 연구개발비 수준이 높은 기업 등 주요한 셀에 대하며는 전수조사를 실시한다. 나머지 셀에 대하여는 각 셀별 연구개발지출의 분포가 동질적이기 때문에 표본 추출 방법은 단순임의추출법(SRS)을 사용한다. 다만 전년도 미계상된(또는 미포함된) 기업에 대하여는 신규 대형 연구소 진입 등을 고려하여 규모비례확률추출법(PPS)을 고려하는 것이 바람직할 것으로 판단된다. 일부 기업들이 특정 항목에 대한 자료를 제공하지 않는 항목무응답의 경우, 누락된 자료에 대하여는 대체기법(Imputation Algorithm)에 따라 이를 추정한다. 이러한 표본조사방법은 전수조사에서 발생하는 비표본오차를 해소하고, 자료 수집비용 및 소규모기업의 행정적 부담을 경감할 수 있다는 장점이 있다. 향후 연구에서는 좀 더 구체적인 조사방법론을 강구할 필요가 있으며, 이와 함께, 연구개발에 대한 다양한 측면의 정보를 수집하기 위해 새로운 설문지를 개발할 필요성이 있다.

  • PDF

이중구간중도절단된 생존자료의 생존함수 비교를 위한 검정: 한국인 암 예방연구 중 당뇨병에의 응용 (Comparing Survival Functions with Doubly Interval-Censored Data: An Application to Diabetes Surveyed by Korean Cancer Prevention Study)

  • 지선하;남정모;김진흠
    • 응용통계연구
    • /
    • 제22권3호
    • /
    • pp.595-606
    • /
    • 2009
  • 이중구간중도절단된 자료의 생존함수를 비교하기 위한 두 검정법을 소개하고 한국인 암 예방연구 (Jee 등, 2005) 자료에 적용하여 당뇨병 잠복시간의 분포를 성별과 연령에 따라 비교하였다. Kim 등 (2006)의 검정법을 이중구간중도절단된 자료로 확장한 검정법은 위험집합의 크기에만 의존하는 가중값을 사용하기 때문에 대용량 자료의 분석에서 Sun (2006)의 검정법보다 계산 시간을 대폭 줄일 수 있으며, 이산형 생존자료뿐만 아니라 연속형 생존자료에도 적용가능한 장점이 있다. 당뇨병의 잠복시간이 성별에 따라 매우 유의하게 달랐으며 여자의 잠복시간이 남자보다 긴 것으로 나타났다. 4개 연령그룹 간 당뇨병의 잠복시간도 성별에 관계 없이 매우 유의하게 달랐으며 여자의 경우가 남자의 경우보다 그 차이가 훨씬 더 유의했다. 한편, 소표본 모의실험을 통해 제안한 검정법과 Sun (2006)의 검정법의 검정력을 비교하였으며 제안한 검정법의 검정력이 Sun (2006)의 검정법보다 더 좋은 것으로 나타났다.