• 제목/요약/키워드: 결측

검색결과 432건 처리시간 0.025초

주변화 모형을 이용한 의료 패널 이진 데이터 분석 (Analysis of medical panel binary data using marginalized models)

  • 오채영;이근백
    • 응용통계연구
    • /
    • 제37권4호
    • /
    • pp.467-484
    • /
    • 2024
  • 경시적 자료는 같은 개체를 반복 측정함으로써 시간의 흐름에 따른 반복 측정된 자료들 간의 상관관계가 존재한다. 따라서 경시적 자료분석에서는 이 상관관계를 분석할 때 개체 내 상관관계와 개체 간 변동성 모두를 고려해야 한다. 본 논문에서는 경시적 이진 자료를 분석하기 위한 모형 중 공변량의 모집단 평균 효과의 추정을 위해 주변화 모형에 집중하고자 한다. 경시적 이진 자료분석을 위한 주변화 모형으로는 주변화 임의효과, 주변화 전이, 주변화 전이 임의효과 모형이 있으며, 본 논문에서 이들 모형을 먼저 고찰하고, 그리고 모형들의 성능을 비교하기 위해 결측치가 없는 자료와 결측치가 있는 자료로 나눠서 모의실험을 진행한다. 모의실험에서 자료에 결측치가 있는 경우에 자료가 생성된 모형에 따른 성능 차이가 있음을 확인하였다. 마지막으로 주변화 모형을 이용하여 한국의료패널자료를 분석한다. 한국의료패널자료는 반응변수로 주관적 불건강 응답을 이진변수로 고려하였고, 여러 설명변수를 가진 모형을 비교하고 가장 적합한 모형을 제시한다.

통행사슬 구조를 이용한 교통카드 이용자의 대중교통 통행종점 추정 (Inferring the Transit Trip Destination Zone of Smart Card User Using Trip Chain Structure)

  • 신강원
    • 대한교통학회지
    • /
    • 제34권5호
    • /
    • pp.437-448
    • /
    • 2016
  • 본 연구는 선행연구에서 제시하고 있는 통행기점 정보만을 제공하고 있는 불완전한 대중교통카드 자료로부터 대중교통 통행의 종점을 통행사슬 구조를 이용하여 추정할 수 있는 모형의 국내 자료 적용 가능성을 살펴보고 모형 적용 결과를 제시하였다. 이를 위해 본 연구는 부산에서 2014년 10월 주중에 수집된 선불 교통카드 승 하차 태그 원시자료 1,846,252건을 대상으로 하루 동안 한 대중교통 이용자가 발생시킨 일련의 통행들을 시 공간적으로 연계시켜 통행사슬을 형성하고, 대중교통 이용자의 결측 종점을 연속된 다음 통행의 승차지점 또는 최초 승차지점이 속한 교통존으로 추정하였다. 모형 검증을 위해 대중교통 통행종점이 관측된 자료에 모형을 적용한 결과 실제 통행종점과 추정 통행종점의 일치도는 82.4%로 나타났으며 이 때 통행종점으로 추정된 정류장과 실제 하차 정류장간 거리의 오차는 최소가 되는 것으로 나타나 제안모형의 유용성은 높은 것으로 분석되었다. 통행사슬 구조를 이용한 통행종점 추정 모형을 종점결측 통행에 적용했을 때 종점결측 통행의 비율은 적용 전 71.40%(718,915통행)에서 21.74%(218,907통행)로 감소하였으며 종점추정이 불가한 218,907통행의 대부분은 모형 적용이 불가한 일일 통행횟수 '1회'인 통행(169,359통행, 77.37%)인 것으로 나타났고, 일일 통행횟수가 '2회 이상'인 통행의 종점결측 비율은 69.56%에서 모형 적용 후 6.27%로 크게 감소하였다. 한편 통행종점 추정 모형 적용에 따른 존간 통행 및 존내 통행분포의 변화를 비교하기 위해 순위상관계수 및 카이제곱 적합도 검정을 수행하였으며, 분석 결과 통행종점 추정 모형 적용에 따라 각 중존별 통행량의 순위는 변화하지 않으나 통행량 분포는 유의한 변화를 보였다. 따라서 통행사슬 구조를 이용한 교통카드 이용자의 통행종점 추정 모형 적용은 통행종점이 결측된 불완전 대중교통카드 자료가 수집되고 있는 도시의 대중교통 통행패턴을 보다 현실적으로 반영할 수 있게 도움을 줄 것으로 판단된다.

협력적 여과 시스템에서 사용자 변동 계수를 이용한 기본 평가간 예측 (Default Voting using User Coefficient of Variance in Collaborative Filtering System)

  • 고수정
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권11호
    • /
    • pp.1111-1120
    • /
    • 2005
  • 협력적 여과 시스템에서 대부분의 사용자들은 모든 아이템에 대하여 선호도를 평가하지 않으므로 인하여 사용자~아이템 행렬은 희박성을 나타내며, 또한 사용자가 평가하지 않은 아이템으로부터 결측치가 발생한다. 일반적인 결측치 예측 방법은 특정 대상의 사용자가 평가하지 않은 결측치를 이 사용자와 비슷한 흥미를 갖는 사용자들의 평가값을 기반으로 예측하나, 기본 평가값 예측 방법은 사용자-아이템 렬의 결측치를 특정 사용자가 아닌 전체 사용자에 대하여 예측한다. 기본 평가값 예측 방법 중 가장 많이 사용되는 방법은 아이템 평균이나 사용자 평균을 이용한 방법이다. 그러나 이 방법은 아이템이나 사용자의 특성, 또한 데이타 집합의 분포 특성을 전혀 고려하지 않는다는 문제점을 갖는다. 본 논문에서는 이러한 문제점을 해결하기 위하여 데이타 집합에 나타난 사용자의 변동 계수를 이용하는 기본 평가값 예측방법을 제안한다. 제안한 방법에서는 수식을 이용하여 자동적으로 사용자 변동 계수의 임계값을 선택하고, 그 임계값에 따라 사용자 평균에서 아이템 평균으로 전환하여 사용자들의 결측치에 대한 기본 평가값을 결정한다. 그러나 사용자 변동 계수들의 분포 정보로 인하여 사용자 변동 계수와 임계갈이 항상 일정한 관계를 유지하는 것이 아니므로, 제안된 방법에서는 임계값을 선택하기 위하여 사용자 변동 계수의 평균과 변동 계수의 분포 정보를 병합한다. 제안된 방법은 사용자가 영화에 대하여 평가한 MovieLens 데이타 집합을 대상으로 평가되었으며, 기존의 기본 평가값 예측 방법보다 그 성능이 우수함을 보인다.

BMS 데이터를 활용한 링크단위 여행시간 산출방안에 관한 연구 (An Estimation of Link Travel Time by Using BMS Data)

  • 전옥희;안계형;현철승;홍경식;김현주;이철기
    • 한국ITS학회 논문지
    • /
    • 제13권3호
    • /
    • pp.78-88
    • /
    • 2014
  • 현재 UTIS는 수도권 22개 지자체에 노변기지국 1,150개소, 차량내장치 51,000여대를 구축하여 교통정보를 수집, 제공하고 있으나, UTIS 사업의 안정화 및 결측구간을 최소화 하기위해서는 교통정보 수집원의 확대 및 이를 통한 UTIS 교통정보의 질 제고가 필수적이다. 본 연구에서는 이러한 문제점을 극복하기 위한 방편으로 수도권에 구축되어 운영중인 BIS(Bus Information System)를 기반으로 하여 실시간으로 수집되는 BMS 데이터를 이용한 일반차량의 링크 통행시간 추정모형 개발을 통해 UTIS 결측 구간의 정보제공에 활용하고자 한다. 이를 위해 수원시(경수대로, 중부대로구간), 안양시(흥안대로 구간)의 전용차로 여부에 따른 일부 구간을 선정하여 각각의 Case별 BMS 자료와 UTIS 교통정보와의 모형 추정 및 검증을 실시하였다. 그 결과 Case2, 4, 6, 8의 경우 UTIS 소통정보와 추정값 간의 신뢰도가 높게 나타났으며, Case 3, 5의 경우 큰 오차로 인해 UTIS 결측구간의 소통정보를 대체하기에는 다소 무리가 있을 것으로 판단된다. 따라서 대상구간의 도로운영 조건 및 상황에 맞추어 신뢰도가 높은 모형식을 적용 할 필요가 있다.

공간통계기법과 내비게이션 자료를 활용한 도시부 도로 교통량 추정연구 (The Study for Estimating Traffic Volumes on Urban Roads Using Spatial Statistic and Navigation Data)

  • 홍다희;김진오;장동익;이태우
    • 대한교통학회지
    • /
    • 제35권3호
    • /
    • pp.220-233
    • /
    • 2017
  • 교통량은 주말 및 첨두시 O/D 구축, 차량주행거리 산정, 혼잡도로개선 대책 등에 활용되는 중요한 기초자료이다. 그럼에도 불구하고 국내 도시부 도로의 교통량 링크 커버리지는 매우 낮아, 현재 수집 교통량으로는 교통정책 및 분석에 제약이 따를 수밖에 없다. 이에 본 연구에서는 특 광역시 중 수집교통량 및 속도의 링크 커버리지가 가장 낮은 서울시를 대상으로, 수집 교통량과 속도를 활용하여 교통량 결측링크의 교통량을 추정하는 방안을 제안하였다. 여기서, 교통량 추정 방법으로 공간적 통계기법을 활용하였다. 교통량 추정모형 구축시, 서울시의 도시고속도로와 도시부 도로는 교통류 및 통행패턴은 상이하므로 이를 분류하여 도시고속도로에는 구간별 상수함수, 도시부 도로에는 회귀크리깅을 적용하였다. 이용 데이터로는 서울시 TOPIS, 국교부 국가교통정보센터 등에서 수집한 공공부문 교통량, 속도와 민간 내비게이션 DB를 활용하였다. 내비게이션 DB는 대부분의 도로링크에서 수집되므로 교통량 추정에 매우 용이하다는 강점을 가지고 있다. 단, 내비게이션 DB는 수집 교통데이터의 샘플데이터이므로, 모집단인 교통량, 속도와 비교 검증하여 적용하였다. 뿐만 아니라 내비게이션 DB도 결측링크가 존재하고, 차종이 승용차로만 구성되어 있으므로 이를 보정하여 적용하였다. 공간적 통계기법을 통해 추정한 교통량은 MAPE, RMSE를 활용하여 실제 교통량과 비교 검증하였다. 검증결과 model error가 MAPE 6.26%, RMSE 5,410로 모델의 추정력이 높고, prediction error는 MAPE 20.3% 로 교통량 추정에 대한 추정력도 높은 것으로 분석되었다. 본 연구에서 제시한 교통량 결측링크의 교통량 추정모형은 차량주행거리와 온실가스 배출량 산정 등에 다양하게 활용될 수 있을 것으로 판단된다.

GOCI Chlorophyll-a 결측 자료의 복원을 위한 DINEOF 방법 적용 (Application of DINEOF to Reconstruct the Missing Data from GOCI Chlorophyll-a)

  • 황도현;정한철;안재현;최종국
    • 대한원격탐사학회지
    • /
    • 제37권6_1호
    • /
    • pp.1507-1515
    • /
    • 2021
  • 해색 원격 탐사를 통해 chlorophyll-a를 추정하면 식물성 플랑크톤, 해양일차생산력의 전 지구적 분포를 파악할 수 있다. 하지만 위성으로 관측된 해색 자료는 구름이나 기상 상황 등에 의하여 결측 데이터가 발생한다. 본 연구에서는 DINEOF를 이용하여 GOCI chlorophyll-a 산출물의 결측 자료를 복원하고자 하였다. DINEOF는 시·공간 자료에 기반을 두어 결측 자료를 복원하는 방법으로, 정확도는 GOCI chlorophyll-a 영상의 일부를 제거한 뒤 복원 영상과 비교하여 교차 검증하였다. 연구지역에서 DINEOF를 위한 최적의 EOF 모드는 10-13이었다. 시·공간 복원 자료 결과에서는 오후 시간대 chlorophyll-a 농도가 증가하는 경향이 반영되었고, 노이즈에 해당되는 이상치는 필터링 되는 효과를 보였다. 따라서 DINEOF는 결측이 발생한 영상에 대하여 복원 자료로 활용 가능할 것으로 보이며, 이를 통해 해양 환경 모니터링을 위한 기초 자료로 사용 가능할 것으로 판단된다.

혼합형 데이터 보간을 위한 디노이징 셀프 어텐션 네트워크 (Denoising Self-Attention Network for Mixed-type Data Imputation)

  • 이도훈;김한준;전종훈
    • 한국콘텐츠학회논문지
    • /
    • 제21권11호
    • /
    • pp.135-144
    • /
    • 2021
  • 최근 데이터 기반 의사결정 기술이 데이터 산업을 이끄는 핵심기술로 자리 잡고 있는바, 이를 위한 머신러닝 기술은 고품질의 학습데이터를 요구한다. 하지만 실세계 데이터는 다양한 이유에 의해 결측값이 포함되어 이로부터 생성된 학습된 모델의 성능을 떨어뜨린다. 이에 실세계에 존재하는 데이터로부터 고성능 학습 모델을 구축하기 위해서 학습데이터에 내재한 결측값을 자동 보간하는 기법이 활발히 연구되고 있다. 기존 머신러닝 기반 결측 데이터 보간 기법은 수치형 변수에만 적용되거나, 변수별로 개별적인 예측 모형을 만들기 때문에 매우 번거로운 작업을 수반하게 된다. 이에 본 논문은 수치형, 범주형 변수가 혼합된 데이터에 적용 가능한 데이터 보간 모델인 Denoising Self-Attention Network(DSAN)를 제안한다. DSAN은 셀프 어텐션과 디노이징 기법을 결합하여 견고한 특징 표현 벡터를 학습하고, 멀티태스크 러닝을 통해 다수개의 결측치 변수에 대한 보간 모델을 병렬적으로 생성할 수 있다. 제안 모델의 유효성을 검증하기 위해 다수개의 혼합형 학습 데이터에 대하여 임의로 결측 처리한 후 데이터 보간 실험을 수행한다. 원래 값과 보간 값 간의 오차와 보간된 데이터를 학습한 이진 분류 모델의 성능을 비교하여 제안 기법의 유효성을 입증한다.

불완전한 짝자료에 대한 검정법 (Tests for Incomplete Paired Data)

  • 이승묵;박진경;박태성
    • 응용통계연구
    • /
    • 제12권2호
    • /
    • pp.415-432
    • /
    • 1999
  • 짝자료(paired data)에서 결측값이 발생했을 때에 이 자료를 처리할 수 있는 여러통계검정 방법들을 고찰해보았다. 결측값들을 어떻게 처리하는 지에 따라서 다섯 가지 방법으로 분류해 보았고, 이 방법들이 짝 t-검정에 미치는 효과를 모의실험을 통해 비교해 보았다. 결측값들에 대한 세 종류의 메카니즘을 고려하여 검정크기와 검정력을 구하였다.

  • PDF

순차적 혼합물 실험계획을 평가하기 위한 그래픽방법

  • 장대홍;박상현
    • Communications for Statistical Applications and Methods
    • /
    • 제2권1호
    • /
    • pp.64-73
    • /
    • 1995
  • 혼합물 실험계회긔 확장시 기존의 연구들은 D-최적계획을 중심으로 전개되어 왔다. 이러한 판정기준들은 실험계획의 전 영역에 걸친 성능의 정도를 알아내는 데는 한계가 있다. 이러한 단점을 극복하기 위하여 하나의 그래픽 방법을 제안하였다. 혼합물 실험 계획에서 결측값이 발생하는 경우에도 이 그래픽 방법을 이용할 수 있다.

  • PDF