• 제목/요약/키워드: potential outliers

검색결과 32건 처리시간 0.024초

이변량 성과척도를 가지는 시뮬레이션 결과 분석을 위한 BMORE 도표의 활용 (Application of the BMORE Plot to Analyze Simulation Output Data with Bivariate Performance Measures)

  • 이미림;이진표;박민재
    • 한국시뮬레이션학회논문지
    • /
    • 제29권2호
    • /
    • pp.83-93
    • /
    • 2020
  • BMORE(Bivariate measure of risk and error) 도표는 본래 확률적 시뮬레이션에서의 이변량 성과 데이터와, 그와 관계된 표본 평균, 중앙값, 이상점, 특정 백분위 내의 결과 데이터의 범위 등과 같은 통계량들을 시각화하기 위해 설계되었으며, 정적인 정보들만 제공하는 것에 비해 사용자들이 시뮬레이션 결과 데이터에 담긴 가변성을 더욱 직관적으로 쉽게 이해할 수 있도록 돕는다. 본 연구에서는 BMORE 도표를 단순히 한 시스템의 가변성을 시각화하기 위한 것이 아닌, 특정 확률적 제약 아래 대상 시스템들의 실행 가능성을 타진하고, 통계적 배경 아래 여러 시스템들의 성과 비교를 행하며, 매개변수들의 민감도 분석을 실시하기 위한 의사결정 도구로써 활용할 수 있음을 보이고 이를 위한 여러 방안을 제안한다. 그 활용 예시를 보이고자 본 연구에서는 간단한 재고 관리 문제를 차용하였으나, 제시된 방안들 자체는 이변량 성과 척도를 가지는 시뮬레이션/실험 데이터를 근거로하여 여러 시스템들을 비교하는 문제라면 어디든 사용될 수 있음을 밝혀둔다.

통신지사의 성과평가 : 비재량 요인을 포함한 DEA 적용 (Evaluating Performance of Telecommunication Branch : Application of DEA with Non-Discretionary Factor)

  • 권순만;한창희
    • 산업경영시스템학회지
    • /
    • 제40권4호
    • /
    • pp.21-28
    • /
    • 2017
  • Improving efficiency of the telecommunication is crucial to the development and growth of Korean economy. Recently, it has become important with the huge development of information technology and its greater potential for extensive impact on the rest of the economy. Hence, it is useful to determine the factors that help enhance efficiency in telecommunication and consider them in improving the evaluation model. This study applies DEA (data envelopment analysis) to evaluate the relative efficiency of 51 branches of a Korean telecommunication company. Using the super-efficiency approach, we tested outliers which may affect the results and ranked the efficient branches. A method of deriving key variables applied to business operation is proposed to identify the key performance indicators for evaluation that takes environmental (non-discretionary) factors into account. We used the extended CCR model proposed by Banker and Morey to investigate the influence of non-discretionary factor. The information provided by the model (slacks, weights) and the sensitivity analysis shows that the most important indicator that affects the branch performance is operating cost. The results of sensitivity analysis show that average efficient score decreases from 0.972 (base case) to 0.863 for CASE2-COST. The average score of the data proves the priority of operating cost over other indicators. The effect of environmental (non-discretionary) variable was found to be significant. The population effect was positive and improved overall efficiency by 0.91% on average. Non-discretionary factor plays a meaningful role explaining the performance of branches. The performance optimization report can help a manager of an inefficient branch to develop branch strategies. Managers can identify the top-performing units, study best practices and adopt the strategy to the organization.

퍼터베이션 방법을 활용한 평균-숏폴 포트폴리오 최적화 (Mean-shortfall optimization problem with perturbation methods)

  • 원하연;박세영
    • 응용통계연구
    • /
    • 제34권1호
    • /
    • pp.39-56
    • /
    • 2021
  • Markowitz (1952)의 분산투자 모형 발표 이후 포트폴리오 최적화에 대한 많은 연구가 이루어졌다. 마코위츠의 평균-분산 포트폴리오 최적화 모형은 수익 분포가 정규분포를 따른다는 가정하에서 성립한다. 그러나 실생활에서는 수익 분포가 정규분포를 따르지 않는 경우가 존재한다. 또한 분산은 이상치의 영향을 많이 받는 민감한 지표이다. 이런 분산의 단점을 보완할 수 있는 하방위험인 숏폴(Shortfall)을 위험 지표로 적용함으로써 수익 분포에 대해 최적화가 가능한 평균-숏폴 포트폴리오 모형이 제안되었다. 또한 Jorion (2003)과 Park(2019)은 포트폴리오의 위험도를 최소화하는 동시에 적은 수의 자산으로 구성(sparse)되고 안정적(stable)인 포트폴리오를 얻는 퍼터베이션 방법을 제안하였다. 본 논문에서는 평균-숏폴 포트폴리오 모형에 퍼터베이션 방법과 adaptive Lasso를 적용하여 사용되는 자산의 수가 적으면서 안정적이고 쉽게 적용 가능한 포트폴리오 모형을 제안한다. 그리고 실증 데이터 분석을 통하여 모형의 타당성을 입증한다.

Low-GloSea6 기상 예측 소프트웨어의 머신러닝 기법 적용 연구 (A Study of the Application of Machine Learning Methods in the Low-GloSea6 Weather Prediction Solution)

  • 박혜성;조예린;신대영;윤은옥;정성욱
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권5호
    • /
    • pp.307-314
    • /
    • 2023
  • 슈퍼컴퓨팅 기술 및 하드웨어 기술이 발전함에 따라 기후 예측 모델도 고도화되고 있다. 한국 기상청 역시 영국 기상청으로부터 GloSea5을 도입하였고 한국 기상 환경에 맞추어 업데이트된 GloSea6를 운용 중이다. 각 대학 및 연구기관에서는 슈퍼컴퓨터보다는 사양이 낮은 중소규모 서버에서 활용하기 위해 저해상도 결합모델인 Low-GloSea6를 구축하여 사용하고 있다. 본 논문에서는 중소규모 서버에서의 기상 연구의 효율성을 위한 Low-GloSea6 소프트웨어를 분석하여 가장 많은 CPU Time을 점유하는 대기 모델의 tri_sor.F90 모듈의 tri_sor_dp_dp 서브루틴을 Hotspot으로 검출하였다. 해당 함수에 머신러닝의 한 종류인 선형 회귀 모델을 적용하여 해당 기법의 가능성을 확인한다. 이상치 데이터를 제거 후 선형 회귀 모델을 학습한 결과 RMSE는 2.7665e-08, MAE는 1.4958e-08으로 Lasso 회귀, ElasticNet 회귀보다 더욱 좋은 성능을 보였다. 이는 Low-GloSea6 수행 과정 중 Hotspot으로 검출된 tri_sor.F90 모듈에 머신러닝 기법 적용 가능성을 확인하였다.

뉴스 데이터를 활용한 재난에 대한 사회적 관심 측정방법 개발 (Development of a Method for Measuring Social Interest Index on Disaster Using News Data)

  • 신은혜;김도우;정재학;장성록
    • 한국안전학회지
    • /
    • 제38권5호
    • /
    • pp.27-35
    • /
    • 2023
  • Social interest in disasters is a significant factor in shaping disaster management policies, enabling the enhancement of disaster safety management and prevention activities according to the specific needs of society. However, in the past, there were limits to measuring which disasters society was particularly interested in. Hence, in this study, a method of measuring social interest using news data was devised. Specifically, we classifed news reports into natural and social disasters, creating a comprehensive Social Interest Index (SII) on disasters covering from 2011 to 2021. Additionally, we quantitatively compared the SII with budgets allocated to disaster-related efforts. Our primary findings are as follows: First, our methodology not only distinguishes natural disasters from social disasters but also identifies emerging areas of societal concern. Second, in recent years (2014-2021), social disasters gained more attention than natural disasters. Third, the disaster safety budget accounted for approximately 3.5% of Korea's total budget, closely paralleling the SII we measured. However, exceptions were noted in cases such as heavy snow, cold waves, and heat waves, where the SII remained high, but the disaster safety budget was relatively low, indicating potential outliers. The findings of this research are projected to contribute to the improvement of national disaster management policies by providing a quantitative measure of social interest in disaster, enabling more informed and effective policy decisions.

Naive Bayes-LSTM 기반 예지정비 플랫폼 적용을 통한 화물 상차 시스템의 운영 안전성 및 신뢰성 확보 연구 (On the Parcel Loading System of Naive Bayes-LSTM Model Based Predictive Maintenance Platform for Operational Safety and Reliability)

  • 황선우;김진오;최준우;김영민
    • 대한안전경영과학회지
    • /
    • 제25권4호
    • /
    • pp.141-151
    • /
    • 2023
  • Recently, due to the expansion of the logistics industry, demand for logistics automation equipment is increasing. The modern logistics industry is a high-tech industry that combines various technologies. In general, as various technologies are grafted, the complexity of the system increases, and the occurrence rate of defects and failures also increases. As such, it is time for a predictive maintenance model specialized for logistics automation equipment. In this paper, in order to secure the operational safety and reliability of the parcel loading system, a predictive maintenance platform was implemented based on the Naive Bayes-LSTM(Long Short Term Memory) model. The predictive maintenance platform presented in this paper works by collecting data and receiving data based on a RabbitMQ, loading data in an InMemory method using a Redis, and managing snapshot DB in real time. Also, in this paper, as a verification of the Naive Bayes-LSTM predictive maintenance platform, the function of measuring the time for data collection/storage/processing and determining outliers/normal values was confirmed. The predictive maintenance platform can contribute to securing reliability and safety by identifying potential failures and defects that may occur in the operation of the parcel loading system in the future.

MODIS 식생지수에 미치는 센서 geometry의 영향과 센서 간 자료 호환성 검토 (Compatibility of MODIS Vegetation Indices and Their Sensitivity to Sensor Geometry)

  • 박선엽
    • 대한지리학회지
    • /
    • 제49권1호
    • /
    • pp.45-56
    • /
    • 2014
  • 지표의 식생활력도를 간접적으로 반영하는 위성 기반의 식생지수 자료를 연속적으로 확보하기 위해 자료합성법이 통상적으로 적용된다. 이는 자료합성을 통해 누락 자료나 신호 오류의 영향을 최소화함으로써 장기적인 식생지수 자료 구축이 가능해지기 때문이다. 또, 합성주기에 따라 두 개 이상의 위성 센서로부터 같은 시점에 생성된 식생지수 자료를 상호교호적으로 사용할 경우, 식생지수 자료 축적의 연속성과 안정성을 보다 더 강화할 수 있다. 본 연구는 식물생장 연구에 있어 위성시스템 간 자료 호환 가능성뿐만 아니라 MODIS 자료 취득 조건, 즉 태양과 센서의 천정각이 미치는 영향을 센서 geometry 측면에서 파악하여 장기적인 식생모니터링을 위한 자료 구축 개선에 기여하고자 한다. 연구 기간 중 센서천정각의 변화는 일정한 패턴을 보이지 않았고, 연도별로 불규칙한 등락을 나타냈다. 또, 동일 계절별로 분석한 결과에서도 계절에 따른 특징적 경년변화 패턴은 나타나지 않았다. 두 가지 분석 대상 자료인 NDVI와 EVI를 비교했을 때, EVI가 NDVI에 비해 더 안정된 결과를 보여주었고, 전반적으로 중위도 지역 식물생장의 계절적 특성을 전형적으로 보여주었다. 식생피복에 따른 NDVI-EVI 간 상관관계는 모두 유효한 결과를 얻었으나, 식생피복별로 상관도 차이를 보였고 상호간에 선형 관계가 아닌 상단부에서 수렴되는 곡선 관계를 보여주었다. Terra와 Aqua 위성에 의해 오전과 오후에 각각 관측된 식생지수를 비교한 결과, 상관계수 범위는 NDVI의 경우 0.641-0.880로, EVI의 경우 0.747-0.963으로 나타나, NDVI자료에 비해 EVI자료의 호환성이 높은 것으로 조사되었다. 두 센서 기반의 식생지수간 호환성 개선을 위해서는 두 자료 간의 회귀선으로부터 벗어나 있는 예외치에 대한 정밀한 분석이 과제로 남는다.

  • PDF

거주지 분화에 대한 공간통계학적 접근 (II): 국지적 공간 분리성 측도를 이용한 탐색적 공간데이터 분석 (A Spatial Statistical Approach to Residential Differentiation (II): Exploratory Spatial Data Analysis Using a Local Spatial Separation Measure)

  • 이상일
    • 대한지리학회지
    • /
    • 제43권1호
    • /
    • pp.134-153
    • /
    • 2008
  • 이 논문의 주된 목적은 국지적 공간 분리성 측도를 이용한 탐색적 공간데이터 분석을 통해 거주지 분화 연구에서 공간통계학적 접근이 가지는 의의를 논증하는 것이다. 탐색적 공간데이터 분석은 공간 데이터를 다양한 과학적 지도학적 시각화 방식을 통해 탐색함으로써 패턴을 발견해 내고, 의미 있는 가설을 수립하며, 더 나아가 공간 데이터에 대한 통계학적 모델을 평가하는 것을 주목적으로 한다. 이 연구는 국지 통계량에 기반한 탐색적 공간데이터 분석이 구체적인 연구 수행에서 실질적인 도움을 줄 수 있다는 믿음에 기반을 두고 진행된 것이다. 중요한 결과는 다음과 같다. 첫째, 이미 개발된 전역적 공간 분리성 측도로부터 국지적 공간 분리성 측도를 도출하였다. 둘째, 두 가지 유의성 검정을 위한 가정, 즉 총체적 랜덤화 가정과 조건적 랜덤화 가정에 기반한 가설검정 방법을 제시하였다 셋째, 측도와 유의성 검정을 바탕으로 한 탐색적 공간데이터 분석 기법으로 '공간 분리성 산포도 지도'와 '공간 분리성 이례치 지도'를 제시하였다. 부가적으로 각 인구 집단 별 집중도에 대한 표준화 지표도 제시되었다. 넷째, 개발된 기법을 우리나라 7대 도시의 고학력 집단과 저학력 집단간 거주지 분화에 적용한 결과, 특히, 이변량 공간적 클러스터와 공간적 특이점을 확인하는 데 유용성이 있는 것으로 드러났다.

웨이블릿 변환과 기계 학습 접근법을 이용한 수위 데이터의 노이즈 제거 비교 분석 (Comparative analysis of wavelet transform and machine learning approaches for noise reduction in water level data)

  • 황유관;임경재;김종건;신민환;박윤식;신용철;지봉준
    • 한국수자원학회논문집
    • /
    • 제57권3호
    • /
    • pp.209-223
    • /
    • 2024
  • 4차 산업혁명 시대에 접어들어 데이터 기반의 의사결정이 보편화되고 있다. 하지만 데이터 품질이 확보되지 않은 채 수행되는 데이터 분석은 왜곡된 결과를 낳을 가능성이 존재한다. 수자원 관리의 기초가 되는 수위 데이터도 마찬가지로 결측, 스파이크, 잡음 등 다양한 품질 문제를 가진다. 본 연구에서는 잡음으로 인해 발생하는 데이터 품질 문제를 해결하고자 하였다. 잡음은 데이터의 트렌드 분석을 어렵게 하고 비정상적인 이상치를 생성할 가능성이 있다. 본 연구는 이러한 문제를 해결하기 위해 Wavelet Transform을 이용한 잡음 제거 접근 방안을 제안한다. Wavelet Transform은 신호처리에 주로 사용되는 방법으로 잡음 제거에 효과적인 것으로 알려져 있으며 수집된 데이터의 정답 데이터(True value) 수집을 요구하지 않으므로 시간과 비용을 줄일 수 있다는 점에서 적용이 용이한 편이다. 본 연구는 Wavelet Transform의 성능 평가를 위해 대표적인 머신러닝 기반 잡음 제거 방법인 Denoising Autoencoder와 성능 비교를 수행하였다. 그 결과 Wavelet Transform 중 Coiflets 함수는, Denoising Autoencoder에 비해 Mean Absolute Error, Mean Absolute Percentage Error, Mean Squared Error 등 모든 측면에서 우수한 성능을 보이는 것으로 나타났다. 이러한 결과는 환경에 맞는 적절한 웨이블릿 함수의 선택을 통한 잡음 문제를 효과적으로 해결할 수 있음을 시사한다. 본 연구는 수위 데이터의 품질을 향상시켜 수자원 관리 결정의 신뢰성에 기여하는 강력한 도구로서 Wavelet Transform의 잠재력을 확인한 의의가 있다.

Himawari-8 정지궤도 위성 영상을 활용한 딥러닝 기반 산불 탐지의 효율적 방안 제시 (Efficient Deep Learning Approaches for Active Fire Detection Using Himawari-8 Geostationary Satellite Images)

  • 이시현;강유진;성태준;임정호
    • 대한원격탐사학회지
    • /
    • 제39권5_3호
    • /
    • pp.979-995
    • /
    • 2023
  • 산불은 예측이 어려운 재해이기 때문에 실시간 모니터링을 통해 빠르게 대응하는 것이 중요하며, 정지 궤도 위성 영상은 광역을 짧은 시간 간격으로 모니터링할 수 있어 산불 탐지 분야에 활발히 이용되고 있다. 기존의 위성 영상 기반 산불 탐지 알고리즘은 밝기 온도의 통계량 분석을 통한 임계값 기반으로 이상치를 탐지하는 방향으로 진행되어 왔다. 그러나 강도가 약한 산불을 탐지하기 어렵거나, 적절한 임계값 설정의 어려움으로 일반화 성능이 저하되는 한계점이 있어 최근에는 기계학습을 이용한 산불 탐지 알고리즘들이 제시되고 있다. 현재까지는 random forest, VanillaConvolutional neural network (CNN), U-net 구조 등의 비교적 간단한 기법이 적용되고 있다. 따라서, 본 연구에서는 정지궤도 위성인 Advanced Himawari Imager를 이용하여 동아시아와 호주를 대상으로 State of the Art (SOTA)딥러닝 기법을 적용한 산불 탐지 알고리즘을 개발하고자 하였다. SOTA 모델은 EfficientNet과 lion optimizer를 적용하여 개발하고, Vanilla CNN 구조를 사용한 모델과 산불 탐지 결과를 비교하였다. EfficientNet은 동아시아와 호주에서 0.88 및 0.83의 F1-score를 기록함으로써 CNN (동아시아: 0.83, 호주: 0.78)에 비해 뛰어난 성능을 입증하였다. EfficientNet에 불균형 문제 해결을 위한 weighted loss, equal sampling, image augmentation 기법 적용 시, 동아시아와 호주에서 각각 0.92와 0.84의 F1-score를 기록함으로써 적용 전(동아시아: 0.88, 호주: 0.83)에 비하여 성능이 향상되었음을 확인하였다. 본 연구를 통하여 제시된 SOTA 딥러닝 기법의 산불 탐지에의 적용 가능성과 딥러닝 모델의 성능 향상을 위해 고려해야 할 방향은 향후 산불탐지 분야에 대한 딥러닝 적용에 도움이 될 것으로 기대된다.