• 응용통계연구
• /
• 제24권5호
• /
• pp.941-949
• /
• 2011

본 논문에서는 세 집단만을 판별분석 할 경우에 계산되는 오분류확률에 영향을 미치는 이상치 판별을 목적으로 하며, 쉽게 응용 가능한 간단한 영향함수식을 제시하였다. 그리고 제시된 수식을 이용하여 안면 데이터로 세 가지 사상체질을 분류해보고 각 관찰값들의 오분류확률에 대한 영향함수를 계산하였다. 이상치를 제거하고 재 판별분석을 하는 데 있어, 오분류확률에 대한 영향함수를 이용하는 것이 효율적인 방법임을 확인하였다.

• 대한토목학회논문집
• /
• 제34권5호
• /
• pp.1455-1461
• /
• 2014

본 연구에서는 2011년 5월, 6월, 7월에 덕유산 덕곡제에서 관측된 플럭스자료를 이용하여 에디공분산방법으로부터 증발산량을 측정하는 경우 발생할 수 있는 연직방향 풍속의 이상치 판별 및 대체에 대한 통계적 분석을 실시하였다. 연직방향 풍속의 이상치를 파악하기 위해 적용된 통계분석방법은 사분위수를 바탕으로 상자그림(boxplot)의 분석결과 중에 이상치를 판별하기 위한 interquartile range (IQR)을 적용하여 이상치를 탐색하였다. 또한 삭제하거나 평균값으로 대체하는 방법을 통하여 보완된 연직방향 풍속자료를 이용하여 증발산량을 측정하였으며, 이를 보완전의 증발산량과 비교분석하였다. 비교분석한 결과에 의하면 이상치를 대체하기 전의 증발산량과 이상치를 대체한 후의 증발산량 사이에 차이를 보였으며, 특히 강우 시에 보다 큰 차이를 보였다. 따라서 증발산량 측정과정에서 발생하는 이상치를 보완하기 위해 이상치를 삭제하거나 대체하여 증발산량을 측정하는 것이 필요하다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2015년도 학술발표회
• /
• pp.275-275
• /
• 2015

최근 기후변화에 따른 극한 강우사상의 증가로 인하여 농업용 저수지의 재해 위험도가 증가하고 있는 추세이며, 사고가 발생할 때 마다 파손/붕괴된 시설물을 보수하는 대응형 유지관리체계에서 벗어나 기반시설의 성능과 생애주기 등을 고려하여 재해 발생을 사전에 예보 및 경보를 알릴 수 있는 예방적 관리체계로의 전환이 필요하다. 한국농어촌공사는 전국 1,500개 저수지에서 10분 단위 수위자료를 측정하고 있으며, 이를 분석하여 재해예방에 활용할 수 있는 기반이 조성되어 있으나 이에 대한 관리가 이루어지지 않고 있고 수집된 자료를 활용하여 재해 징후를 분석할 수 있는 재해 예방적 분석기술이 마련되어 있지 않은 실정이다. 본 연구에서는 농업용 저수지 수위자료를 이용한 저수지 이상거동을 판별하기 위하여 전국 34개 한국농어촌공사 관할 저수의 시계열 수위자료의 특성(Feature)을 분석하고자 한다. 시계열 자료의 시계열 특성을 분석하기 위하여 한국농어촌공사 관할의 전국 34개 저수지를 선정하여 분석을 실시하였다. 대상저수지는 지역별, 저수용량, 안정등급, 붕괴발생, 1개 지사관할 저수지로 각각 구분하여 선정하였으며, 각 저수지의 수위 측정기간(최소 5개년)에 대한 자료를 수집하였다. 농업용 저수지의 시계열 수위 자료의 특성을 분석하기 위하여 자료의 전처리를 수행하였다. 자료의 전처리는 시계열 수위자료의 잡음 특성, 기상자료 관련 변동특성 등 분류(Classification)에 영향을 미치는 노이즈 요소를 제거하는 과정이다. 전처리과정을 거친 자료는 특징(Feature) 추출 과정을 거치게 되고, 추출된 특징의 적합성에 따라 분류 알고리듬 성능에 많은 영향을 미친다. 따라서 시계열 자료의 특성을 파악하고 특징을 추출하는 것은 이상치 탐지에 있어 매우 중요한 과정이다. 본 연구에서는 시계열 자료 특징 추출 방법으로 물리적인 한계치, 확률적인 문턱값(Threshold), 시계열 패턴, 주변 저수지와의 시계열 상관분석 등을 적용하였으며, 이를 데이터베이스로 구축하여 이후 분류알고리듬 학습에 적용하여 정상치와 이상치를 판별하는데 이용될 수 있도록 하였다. 따라서 본 연구에서 제시되는 농업용 저수지의 시계열 특성은 다양한 분류알고리듬에 적용할 수 있으며, 이를 통하여 저수지 이상거동 판별을 위한 최적을 분류알고리듬의 선택에 도움이 될 것이다.

• Journal of the Korean Data and Information Science Society
• /
• 제27권1호
• /
• pp.131-142
• /
• 2016

통계조사에서 이상치는 총계추정에 큰 영향을 줄 수 있다. 통계조사에서 보고된 값은 극단적이 아니지만 그것의 가중치 (weight)가 커서 추정값에 큰 영향을 주거나, 극단값이라 해도 그것이 작은 가중치를 가질 때 추정에 큰 영향을 주지 않는 경우도 있다. 이러한 극단값이나 추정에 영향을 주는 값 들은 표본조사에서 민감하다. 일반적으로 치우친 분포를 가진 모집단에서 추출된 표본으로 조사를 하는 사업체 조사에서는 특별히 더 큰 영향을 준다. 본 연구에서는, 우리는 이상치를 판별하고 처리하는 방법에 대해서 다루고자 한다. 이상치 판별은 분위수에 기초해서 판정하였으며, 판정된 이상치는 여러 가지 다양한 방법을 적용해 보았다. 연구에서는 2가지 winsorised 방법과 세가지 cut-off 방법에 대하여 적용하였다. 그리고 시뮬레이션에서는 4가지 방법의 가중치를 각각 적용하여 진행하였다. 여러 가지 이상치 처리방법들을 비교해 본 결과 type I 윈저화 방법보다는 type II 윈저화 방법이 효율적인 결과값을 보여주었으며, 가중치 변환방법들 중에서는 제곱근 변환을 통한 가중치 감소방법이 다른 처리방법에 비해 좋은 결과값을 보여주었다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.81-84
• /
• 2022

제조 산업에서의 이상치 검출은 생산품의 품질과 운영비용을 절감하기 위한 중요한 요소로 최근 딥러닝을 사용하여 자동화되고 있다. 이상치 검출을 위한 딥러닝 기법에는 CNN이 있으며, CNN을 계층적으로 구성할 경우 단일 CNN 모델에 비해 상대적으로 성능의 향상을 보일 수 있다는 것이 많은 선행 연구에서 나타났다. 이에 MVTec-AD 데이터셋을 이용하여 계층 CNN이 다중 클래스 이상치 판별 문제에 대해 효과적인지를 탐구하고자 하였다. 실험 결과 단일 CNN의 정확도는 0.7715, 계층 CNN의 정확도는 0.7838로 다중 클래스 이상치 판별 문제에 있어 계층 CNN 방식 접근이 다중 클래스 이상치 탐지 문제에서 알고리즘의 성능을 향상할 수 있음을 확인할 수 있었다. 계층 CNN은 모델과 파라미터의 개수와 리소스의 사용이 단일 CNN에 비하여 기하급수적으로 증가한다는 단점이 존재한다. 이에 계층 CNN의 장점을 유지하며 사용 리소스를 절약하고자 하였고 K-means, GMM, 계층적 클러스터링 알고리즘을 통해 제작한 새로운 클래스를 이용해 계층 CNN을 구성하여 각각 정확도 0.7930, 0.7891, 0.7936의 결과를 얻을 수 있었다. 이를 통해 Clustering 알고리즘을 사용하여 적절히 물체를 분류할 경우 물체에 따른 개별 상태 판단 모델을 제작하는 것과 비슷하거나 더 좋은 성능을 내며 리소스 사용을 줄일 수 있음을 확인할 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제26권8호
• /
• pp.23-30
• /
• 2021

본 연구에선 제조 공정에서의 양/불량 판정을 위한 오토인코더(AE) 기반의 이상 탐지 방법들의 비교 분석과 우수한 성능을 보인 이상치 판별 기준을 제시한다. 제조 현장의 특성상 불량 데이터의 수는 적고, 불량의 형태가 다양하다. 이러한 특성은 정상과 비정상 데이터를 모두 활용하는 인공지능 기반 양/불량 판정 모델의 성능을 저하시키고, 성능 향상을 위한 비정상 데이터의 추가 확보에 시간과 비용을 발생시킨다. 이러한 문제를 해결하기 위해서 정상 데이터만을 이용해 이상 탐지를 수행하는 AE, VAE 등 AE 기반의 모델에 관한 연구들이 진행되고 있다. 본 연구에서는 Convolutional AE, VAE, Dilated VAE 모델을 기반으로 잔차 이미지에 대한 통계치와 MSE, 정보 엔트로피를 이상치 판별 기준으로 선정하여 각 모델의 성능을 비교 분석했다. 특히 Convolutional AE 모델에 대해서 범위 값을 적용했을 때, AUC PRC 0.9570, F1 Score 0.8812, AUC ROC 0.9548, 정확도 87.60%의 가장 우수한 성능을 보였다. 이는 기존의 이상치 판별 기준으로 자주 사용되었던 MSE에 비해 정확도 기준 약 20%P(Percentage Point)의 성능 향상을 보이며, 이상치 판별 기준에 따른 모델 성능 향상이 가능함을 확인하였다.

• 한국의류학회지
• /
• 제25권9호
• /
• pp.1633-1644
• /
• 2001

이 연구의 목적은 중년여성들의 체형을 분류하고 이들 체형을 분류하는 판별기준을 세우고자 하는 것이다. 이 연구에서 개발한 판별방법은 중년여성들의 체형을 간편하게 판별할 수 있도록 해주므로 이 방법을 활용하여 중년여성복을 제작할 경우, 소비자들은 인체적합도가 높은 의복을 구입 할 수 있고 의류업 체들은 이에 따른 매출증대를 가져올 수 있다. 연구의 진행절차와 이에 따른 결과는 다음과 같다. 1. 만 40세~59세 중년여성 279명에 대 한 인체 계측을 하였다. 인체 계측항목은 34개의 직접 계측항목과 측면사진 촬영을 통한 3개의 간접계측항목,11개의 지수치, 5개의 계산치 등의 총 53개 항목이다. 인체 계측치에 대한 통계분석 방법으로는 분산분석과 SNK검정, 판별분석 방법을 사용하였다. 2. 피험자는 몇 가지 체형으로 분류되었다. 상반신 체형분류는 인체측면 자세와 유방크기를 분류기준으로 하여 바른-유방중소 체형, 바른-유방대 체형, 젖힌-유방중소 체형 , 숙인/휜-유방중소 체형, 숙인/휜-유방대 체형의 5가지로 분류하였다. 하반신 체형분류는 배와 엉덩이의 돌출정도에 따라 분류하여 배정상-엉덩이정상 체형, 배 정상-엉덩이돌출 체형, 배돌출-엉덩이정상 체형 , 배돌출-엉덩이돌출 체형의 4가지로 분류하였다. 3. 분류된 체형은 다음의 판별변수에 따라 체형이 판별되었다. 상반신 체 형 의 판별변수는 앞품/뒤품, 가슴둘레/밑가슴둘레 , 앞길이/뒤 길이, 앞허리선$\longrightarrow$어깨선 길이/어깨선$\longrightarrow$뒤허 리선 길이의 4가지 항목이고, 하반신 판별변수는 엉덩이상부각도, 배 하부각도, 배상부 각도, 엉덩이둘레/엉덩이 최대둘레, 뒤엉덩이둘레의 5가지 항목이다. 상반신 체 형과 하반신 체형 판별함수 모두 70% 이상의 높은 적중률을 나타내었다.

• 응용통계연구
• /
• 제33권5호
• /
• pp.527-540
• /
• 2020

이상치에 대한 적절한 선별과 배제없이 모든 데이터를 종합적으로 분석하게 되는 경우 데이터 분석을 통해 얻은 결과의 신뢰성과 해석의 일반성에 치명적인 위협을 받을 수 있다. 따라서 데이터의 분석 과정에서 이러한 이상치를 판별하고, 이상치가 통계량, 통계적 모형에 어떠한 영향을 주는 지에 대한 분석은 매우 중요한 일이라 할 수 있다. Hampel이 영향함수를 활용하여 이상치를 판별할 수 있는 방법을 소개한 이후, 이상치를 판별하기 위한 방법론으로 영향함수가 폭넓게 활용되어 왔다. 영향함수에는 경험적 영향함수와 표본영향함수가 있으며, 경험적 영향함수를 활용해 표본영향함수를 근사 추론하여 하나의 관측값이 제거되었을 때 통계량에 미치는 영향을 예측하는 방법론이 주로 활용되었다. 본 연구에서는 표본평균, 표본분산, 표본표준편차의 표본영향함수 유도를 통해 경험적 영향함수와 표본영향함수의 차이를 살펴 본다. 또한 경험적 영향함수로 표본영향함수를 근사하는 과정에서 발생하는 오차를 줄이기 위해 경험적 영향함수의 보정으로 표본영향함수를 근사 추론하는 방법을 제안하고, 모의실험을 통해 제안한 추론 방법의 타당성을 확인한다.

• 한국기록관리학회지
• /
• 제22권1호
• /
• pp.43-59
• /
• 2022

전자적으로 생산된 공공기록물은 생산과 동시에 편철되고 보존기간이 부여되며 일정기간이 지나면 영구기록물관리기관으로 이관되어 보존된다. 이관 시 기록물관리 담당자가 기록물 분류정보를 확인하고 품질을 일정 수준으로 유지토록 해야 하지만, 이관된 기록물의 분류는 기록물 정리/기술 업무로 편성되어 있고, 대부분의 정리/기술 업무는 수작업에 의존하고 있어 당해 연도에 처리해야 할 기록물 수량을 맞추기 어려운 실정이다. 이에 본 연구는 이관 기록물 분류 업무의 효율화와 일관된 기준을 유지하기 위한 방안을 제안하고자 한다. 이를 위해 먼저 국가기록원에서 수행하고 있는 현행의 기록분류 업무 프로세스를 분석하고 개선 요구사항을 수렴하여 분류 업무의 수작업을 최소화하기 위한 방안으로 이관된 기록물의 편철 정보, 즉 목록에 기반한 분류 이상치 후보를 판별하는 과정을 도출·체계화하였다. 나아가 제안한 이상치 판별 프로세스를 실제 국가기록원으로 이관된 기록물을 대상으로 적용하고, 그 결과를 규격화하여 추후 기계학습에 활용 가능한 학습데이터 형식으로 구축하였다. 본 연구의 궁극적인 목적은 지능형 전자기록 관리 환경 구축을 위한 사전 단계로, 기록관리 업무 내 기계학습 기법이 적용 가능한 문제 유형을 선별하고 자동화하는 방안을 모색하고자 한다.

• Communications for Statistical Applications and Methods
• /
• 제16권5호
• /
• pp.745-751
• /
• 2009

생물학적 동등성 시험에서 피험자로부터 얻어진 생체 이용률 자료들 중 하나 혹은 일부가 다른 자료에 비해 크게 차이가 나는 자료를 이상치라 정의한다. 이러한 이상치의 존재는 소수의 피험자로 이루어지는 생물학적 동등성 시험의 결과에 큰 영향을 주는 것으로 알려져 있다. 생물학적 생동성 시험에서 이상치를 판별하는 통계적 방법 중 우도거리 혹은 추정량거리를 비교하는 통계적 검정이 많이 활용되고 있는데 본 연구논문에서는 이러한 통계적 방법을 보다 일반화하여 이상치를 판단하는데 보다 효율적인 검정 방법을 제안한다. 제안된 방법은 예제를 통해 자세하게 논의된다.