• 한국지능시스템학회논문지
• /
• 제14권6호
• /
• pp.789-792
• /
• 2004

웹 마이닝, 바이오정보학, 통계적 자료 분석 등 여러 분야에서 매우 다양한 형태의 결측치가 발생하여 학습 데이터를 희소하게 만든다. 결측치는 주로 전처리 과정에서 가장 기본적인 평균과 최빈수뿐만 아니라 조건부 평균, 나무 모형, 그리고 마코프체인 몬테칼로 기법과 같은 결측치 대체 기법들을 적용하여 추정된 값에 의해 대체된다. 그런데 주어진 데이터의 결측치 비율이 크게 되면 기존의 결측치 대체 방법들의 예측의 정확도는 낮아지는 특성을 보인다. 또한 데이터의 결측치 비율이 증가할수록 사용 가능한 결측치 대체 방법들의 수는 제한된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 통계적 학습 이론 중에서 Vapnik의 Support Vector Regression을 데이터 전처리 과정에 알맞게 변형하여 적용하였다. 제안 방법을 이용하여 결측치 비율이 큰 희소 데이터의 전처리도 가능할 수 있도록 하였다 UCI machine learning repository로부터 얻어진 데이터를 이용하여 제안 방법의 성능을 확인하였다.

• 한국조사연구학회지:조사연구
• /
• 제9권2호
• /
• pp.1-27
• /
• 2008

사회조사 자료를 활용한 통계분석에 있어서 불완전 자료의 문제는 거의 모든 연구자들이 경험하는 하나의 보편적인 문제이다. 불완전 자료의 문제는 특히 패널조사와 같은 종단적 자료를 활용한 연구에 있어서 중요한 이슈가 된다. 본 연구의 목적은 최근까지 이루어진 불완전 자료에 대한 보정방범을 소개하는 것이다. 특히, 본 연구는 패널자괴에서 발생한 불완전 자료의 처리에 대한 관심이 부족한 점을 고려하여 최근까지 이루어진 보정방법들을 반복측정 패널자료 분석에 적용하는데 초점을 맞춘다. 첫째, 본 연구는 불완전 자료에 대한 적절하지 못한 사후처리는 분석결과에 있어서 유의미한 차이로 이어 수 있음을 시사한다. 특히, 분석결과는 반복측정 자료를 사용하는 연구의 경우 불완전 자료의 발생은 궤적의 초기값보다는 시간의 경과에 따른 궤적의 변화를 적절히 추정하는데 문제를 가질 수 있음을 시사하고 있다. 둘째, 분석결과는 완전제거법이나 평균대체법이 EM, FIML, MICE 방법들에 비해 불완전 자료의 처리효과가 상대적으로 떨어짐을 보여준다. 특히, 완전제거법이나 평균대체법과 같은 방법에 비해 최대우도법이나 다중대체법이 갖는 상대적 우위는 MCAR 가정에 비해 보다 현실적인 가정이라고 할 수 있는 MAR 조건하에서 크게 나타난다. 본 연구의 분석결과는 또한 비록 결측치의 발생기제가 MNAR 상황이라고 하더라도 연구자가 결측치의 발생과 관련된 변수들을 보정과정에서 적절하게 활용하면 편의의 상당부분을 감소시킬 수 있음을 시사한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2018년도 추계학술대회
• /
• pp.342-344
• /
• 2018

본 논문에서는 기존 오 결측 데이터 분석 기법인 평균 대체법, 상관계수 수치분석, 그래프 상관성 분석 및 통계 전문가 분석 등 통계적 방법으로 대체 가능성을 조사하여 정수처리 공정에서 계측되는 각종 이상 데이터를 정제하기 위한 방법을 다양한 분석연구로 진행하였다. 또한 물 정보 데이터 오 결측 저감 정제 알고리즘의 신뢰성 및 검증에 있어 분위수 패턴과 딥러닝 기반의 LSTM 알고리즘으로 동작하는 시스템을 모델링하고, Keras, Theano, Tensorflow 등의 오픈 소스 라이브러리로 구현할 수 있는 체계를 연구하였다.

• Asian Pacific Journal of Cancer Prevention
• /
• 제16권15호
• /
• pp.6773-6777
• /
• 2015

We used to LASSO-Cox method for determining prognostic factors of male breast cancer survival and showed the superiority of this method compared to Cox proportional hazard model in low sample size setting. In order to identify and estimate exactly the relative hazard of the most important factors effective for the survival duration of male breast cancer, the LASSO-Cox method has been used. Our data includes the information of male breast cancer patients in Fars province, south of Iran, from 1989 to 2008. Cox proportional hazard and LASSO-Cox models were fitted for 20 classified variables. To reduce the impact of missing data, the multiple imputation method was used 20 times through the Markov chain Mont Carlo method and the results were combined with Rubin's rules. In 50 patients, the age at diagnosis was 59.6 (SD=12.8) years with a minimum of 34 and maximum of 84 years and the mean of survival time was 62 months. Three, 5 and 10 year survival were 92%, 77% and 26%, respectively. Using the LASSO-Cox method led to eliminating 8 low effect variables and also decreased the standard error by 2.5 to 7 times. The relative efficiency of LASSO-Cox method compared with the Cox proportional hazard method was calculated as 22.39. The19 years follow of male breast cancer patients show that the age, having a history of alcohol use, nipple discharge, laterality, histological grade and duration of symptoms were the most important variables that have played an effective role in the patient's survival. In such situations, estimating the coefficients by LASSO-Cox method will be more efficient than the Cox's proportional hazard method.

• 한국융합학회논문지
• /
• 제12권8호
• /
• pp.39-45
• /
• 2021

본 논문은 손실값을 포함하는 불완전한 데이터를 처리하는 방법에 대해 논한다. 손실값을 최적으로 처리한다는 것은 학습 데이터가 가지고 있는 정보들에서 본래값과 가장 근사한 추정치를 구하고, 이 값으로 손실값을 대치하는 것이다. 이것을 실현하기 위한 방안으로 분류기가 정보를 분류하는 과정에서 완성되어가는 결정트리를 이용한다. 다시말해 이 결정트리는 전체 학습 데이터 중에서 손실값을 포함하지 않는 완전한 정보만을 C4.5 분류기에 입력하여 학습하는 과정에서 얻어진다. 이 결정트리의 노드들은 분류 변수의 정보를 가지는데, 루트에 가까운 상위 노드일수록 많은 정보를 포함하게 되고 말단 노드에서는 루트로부터의 경로를 통해 분류 영역을 형성하게 된다. 또한 각 영역에는 분류된 데이터 사건들의 평균이 기록된다. 손실값을 포함하는 사건들은 이러한 결정트리에 입력되어 각 노드의 정보에 따라 순회과정을 통해 사건과 가장 근접한 영역을 찾아가게 된다. 이 영역에 기록된 평균값을 손실값의 추정치로 간주하고, 보상 과정은 완성된다.

• Journal of Nutrition and Health
• /
• 제51권6호
• /
• pp.567-579
• /
• 2018

본 연구는 국민건강영양조사 자료를 이용하여 교대 근무자의 근무시간이 대사증후군의 유병률에 영향을 미치는 요인을 파악하는데 대사증후군의 위험군으로 식습관, 영양섭취상태, 일상생활 관련 특성의 관점에서 관리하는 데 도움을 주고자 진행되었다. 본 연구의 분석결과는 다음과 같다. 첫째, 교대 근무자의 근무시간과 식습관 관계는 직접관계 (direct causality)가 있지 않으나 일상생활과는 직접관계를 갖는 것으로 나타났다. 또한, 식습관과 영영 상태, 대사증후군과는 직접관계가 있지 않은 것으로 나타났고 영양섭취상태와 대사증후군과는 직접관계가 없으나 일상생활과는 직접 인과관계가 있는 것으로 나타났다. 둘째, 교대 근무자의 근무시간과 대사증후군 관계에서 각각 식습관, 일상생활의 개별 매개 효과 (specific mediator effect)는 통계적으로 유의한 것으로 나타났으나, 식습관과 영양섭취상태의 다중매개효과 (multiple mediator effect), 그리고 식습관, 영양섭취상태, 일상생활의 다중매개 효과는 통계적으로 유의하지 않는 것으로 나타났다. 셋째, 교대 근무자의 근무시간이 배제된 상태에서 영양섭취상태, 일상생활 그리고 대사증후군 간의 관계에서 영양섭취상태와 일상생활 그리고 일상생활과 대사증후군과는 직접 인과관계는 없으나 일상생활에 의한 매개 효과는 통계적으로 유의한 것으로 나타났다. 넷째, 교대 근무자의 근무시간과 식습관은 대사증후군에 대해 전체 총 효과 (total effect)를 가진 것으로 나타났으나 영양섭취상태와 일상생활은 대사증후군에 대해 총 효과를 갖고 있지 않은 것으로 나타났다. 결론적으로, 구조방정식 모델을 사용하여 교대 근무자의 교대시간은 그들의 일상생활 또는 식습관에 영향을 주고 대사증후군 유병률과 관련성이 있음을 밝혔다.