• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.251-256
• /
• 2022

범주 불균형은 분류 모델이 다수 범주에 편향되게 학습되어 소수 범주에 대한 분류 성능을 떨어뜨리는 문제를 야기한다. 언더 샘플링 기법은 다수 범주 데이터의 수를 줄여 소수 범주와 균형을 이루게하는 대표적인 불균형 해결 방법으로, 텍스트 도메인에서의 기존 언더 샘플링 연구에서는 단어 임베딩과 랜덤 샘플링과 같은 비교적 간단한 기법만이 적용되었다. 본 논문에서는 트랜스포머 기반 문장 임베딩과 군집화 기반 샘플링 방법을 통해 텍스트 데이터의 정보 손실을 최소화하는 언더샘플링 방법을 제안한다. 제안 방법의 검증을 위해, 감성 분석 실험에서 제안 방법과 랜덤 샘플링으로 추출한 훈련 세트로 모델을 학습하고 성능을 비교 평가하였다. 제안 방법을 활용한 모델이 랜덤 샘플링을 활용한 모델에 비해 적게는 0.2%, 많게는 2.0% 높은 분류 정확도를 보였고, 이를 통해 제안하는 군집화 기반 언더 샘플링 기법의 효과를 확인하였다.

• Journal of the Institute of Electronics Engineers of Korea TC
• /
• v.45 no.6
• /
• pp.34-51
• /
• 2008

Today, the Internet is a part of our life. For that reason, we regard revealing characteristics of Internet traffic as an important research theme. However, Internet traffic cannot be easily manipulated because it usually occupy huge capacity. This problem is a serious obstacle to analyze Internet traffic. Many researchers use various sampling techniques to reduce capacity of Internet traffic. In this paper, we compare several famous sampling techniques, and propose efficient sampling scheme. We chose some sampling techniques such as Systematic Sampling, Simple Random Sampling and Stratified Sampling with some sampling intensities such as 1/10, 1/100 and 1/1000. Our observation focused on Traffic Volume, Entropy Analysis and Packet Size Analysis. Both the simple random sampling and the count-based systematic sampling is proper to general case. On the other hand, time-based systematic sampling exhibits relatively bad results. The stratified sampling on Transport Layer Protocols, e.g.. TCP, UDP and so on, shows superior results. Our analysis results suggest that efficient sampling techniques satisfactorily maintain variation of traffic stream according to time change. The entropy analysis endures various sampling techniques well and fits detecting anomalous traffic. We found that a traffic volume diminishment caused by bottleneck could induce wrong results on the entropy analysis. We discovered that Packet Size Distribution perfectly tolerate any packet sampling techniques and intensities.

• The Journal of Korean Association of Computer Education
• /
• v.18 no.5
• /
• pp.63-70
• /
• 2015

In the environment that the complex conditions need to be satisfied, skyline query have been applied to various field. To processing a skyline query in centralized scheme, several techniques have been suggested and recently map/reduce platform based approaches has been proposed which divides data space into multiple partitions for the vast volume of multidimensional data. However, the performances of these approaches are fluctuated due to the uneven data loading between servers and redundant tasks. Motivated by these issues, this paper suggests a novel technique called MR-DEAP which solves the uneven data loading using the random sampling. The experimental result gains the proposed MR-DEAP outperforms MR-Angular and MR-BNL scheme.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.101-104
• /
• 2014

3차원 영상 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 깊이를 측정하는 TOF 카메라에 의해 획득된 깊이 영상은 컬러 영상에 비해 매우 작은 해상도의 영상을 갖게 되는 문제가 있다. 따라서 색상 영상과 함께 3차원 영상 제작에 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 방법이 필요하다. 특히 컬러 영상에서 사물 간의 경계에 해당하는 부분에서 색상 차이를 인지하지 못하여 깊이 맵을 부적절하게 처리하게 되는 경우가 발생한다. 본 논문에서는 색상 영상에서 경계부분에 해당하는 영역을 이용하여 저해상도 깊이 영상을 업샘플링 하는 방법을 제안한다. 깊이 영상을 업샘플링 할 때 중요하게 다루어야 할 경계 부분을, 고해상도 색상 영상과 저해상도 깊이 영상을 이용하여 찾아낸다. 색상 경계 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 MRF를 이용하여 모델링하고, 신뢰 확산(belief propagation)방법을 이용하여 에너지 함수 최적화를 수행한다. 제안한 방법은 기존의 다른 에너지 함수나 필터 기반 업샘플링 방법보다 우수한 성능을 나타내었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.675-678
• /
• 2017

본 논문에서는 스트림 환경에서의 샘플링 기법 중 랜덤 샘플링과 유사한 특성을 갖는 KSample의 균일신뢰도 향상에 초점을 맞춘다. 이를 위해, 먼저 KSample의 균일신뢰도 문제점을 분석하여 KSample의 균일신뢰도가 초기에 많이 감소하는 현상을 초기 균일신뢰도 저하 문제로, KSample의 균일신뢰도가 지속적으로 감소하는 현상을 지속 균일신뢰도 저하 문제라 정의한다. 그리고 초기 균일신뢰도 저하 문제를 발생시키는 성질을 과거 샘플 불변으로, 지속 균일신뢰도 저하 문제를 발생시키는 성질을 샘플 추출 범위 증가로 정의하고 이를 해결하여 균일신뢰도를 향상시킨 UC KSample을 제안한다. 실험 결과, 샘플링 비율 p=0.01, 균일신뢰도 하한 ${\varepsilon}=0.7$일 때, UC KSample의 균일신뢰도가 기존 KSample 보다 약 2.2배 증가하였고, 균일신뢰도는 항상 하한 이상으로 유지되었다. 본 연구는 스트림 환경에서 중요한 척도인 균일신뢰도를 KSample에 결합시킨 최초의 시도로서, 샘플링 비율을 유지하며 동적으로 샘플링하는 KSample의 장점은 유지하면서도 균일신뢰도를 증가시킨 우수한 연구라 사료된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.470-472
• /
• 2023

최근 위치 기반 장소 (POI) 추천 서비스가 많이 사용되면서, 사용자의 이전 방문지들에 대한 체크인 시퀀스를 기반으로 현재 (다음으로) 방문할 법한 POI 를 찾아 사용자에게 추천하는, next POI 추천 시스템에 관한 연구가 활발히 진행되고 있다. 하지만, 기존 연구들의 경우 next POI 추천을 위한 모델 학습 시, 사용자의 네거티브 POIs 에 관한 정교한 샘플링 없이 사용자 선호도를 추론해왔다. 본 연구에서는, 사전 학습된 별도의 사용자 선호도 추론 모델을 통해 사용자의 네거티브 POI로서 쉽게 분류되기 어려운 하드 네거티브 POIs 를 찾고, 이들을 위주로 수행되는 하드 네거티브 샘플링 방법을 새롭게 제안한다. 우리는 실 세계 데이터셋을 이용한 실험을 통해, 제안 방안이 기존 연구들에서 사용되어 온 랜덤 네거티브 샘플링 방법 대비 recall@5 기준, 최대 16.4%까지 추천 정확도를 향상시킬 수 있음을 확인하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2016.05a
• /
• pp.124-124
• /
• 2016

하천에서의 분변성대장균은 분변성 오염 정도를 나타내는 지표로서, 이 농도가 높을수록 오염된 하천수와의 접촉을 통한 호흡기, 소화기 및 피부 관련 질병의 발발 확률이 높다고 알려져 있다. 따라서 하천에서의 수영, 수상스키 등과 같은 입수형 친수활동을 할 때, 분변성대장균 농도가 농도 기준 이하인지를 확인하고 이러한 정보를 친수활동에 이용할 필요가 있다. 그러나 분변성대장균의 경우, 현재 자동수질측정망에서 측정되고 있는 다른 수질인자들과는 달리 실시간 측정이 불가능하다고 알려져 있다. 분변성대장균을 측정하는데 있어 최소 18시간 이상이 필요하며, 이러한 분변성대장균 측정 방식은 하천 이용자들이 안전한 친수활동을 영위하는데 있어 적절한 수질 정보를 제공하지 못한다. 그러므로 분변성대장균을 예측하는 모델을 개발하고, 이를 이용하여 실시간 분변성대장균 정보를 생성하여 하천 이용자들에게 제공할 필요가 있다. 본 연구에서는 친수활동이 활발하게 이루어지는 곳 중 하나인 북한강의 대성리 지점에 대해 데이터 기반 모델을 이용하여 분변성대장균을 예측하였다. 데이터 기반 모델은 물리 기반 모델에서 필요한 지형데이터나 비점오염원 등의 초기 오염물의 양에 대한 데이터를 필요로 하지 않고, 대신 독립변수로 사용되는 기상 및 수질데이터를 필요로 한다. 이러한 기상 및 수질데이터는 기존 기상관측소, 수질관측소에서 매일 자동으로 측정되기 때문에 데이터 기반 모델은 물리 기반 모델에 비해 입력데이터를 구성하기가 쉽다는 장점을 지닌다. 이러한 데이터 기반 모델 중 분류 모델은 회귀 모델과 달리 분변성대장균 농도가 일정 수질기준 이상을 넘는지를 바로 예측할 수 있다. 본 연구에서는 분류 모델 중 높은 예측력을 가진다고 알려진 랜덤포레스트(random forest) 기법을 이용하여 분변성대장균 예측 모델을 개발하였다. 분변성대장균 예측 모델은 주어진 기상 및 수질 조건에 대해 분변성대장균이 200 CFU/100ml가 넘는지를 예측하였다. 예측된 분변성대장균이 기준을 넘는 경우를 2등급, 넘지 않는 경우를 1등급으로 명명하였다. 모델을 개발하기 위하여 북한강 대성리 인근 측정소에서 2010년부터 2015년까지 측정된 기상 및 수질데이터를 수집하였다. 수집한 데이터를 훈련 및 검증데이터로 샘플링하였으며, 이 때 샘플링한 데이터가 기존 데이터가 가지고 있던 등급별 비율을 유지하기 위하여 층화샘플링을 하였다. 본 연구에서는 샘플링에 의한 불확실성을 줄이기 위하여 랜덤하게 50번 샘플링된 각각의 훈련데이터에 대해 모델을 개발하였다. 50개의 모델의 검증 결과를 종합한 결과, 전체 예측률은 0.139로 나타났다.

• Journal of KIISE:Software and Applications
• /
• v.36 no.3
• /
• pp.208-216
• /
• 2009

A number of estimation of distribution algorithms have been proposed that do not use explicitly crossover and mutation of traditional genetic algorithms, but estimate the distribution of population for more efficient search. But because it is not easy to discover higher-order correlations of variables, lower-order correlations are estimated most cases under various constraints. In this paper, we propose a new estimation of distribution algorithm that represents higher-order correlations of the data and finds global optimum more efficiently. The proposed algorithm represents the higher-order correlations among variables by building random hypergraph model composed of hyperedges consisting of variables which are expected to be correlated, and generates the next population by Bayesian sampling algorithm Experimental results show that the proposed algorithm can find global optimum and outperforms the simple genetic algorithm and BOA(Bayesian Optimization Algorithm) on decomposable functions with deceptive building blocks.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.28 no.11B
• /
• pp.1038-1049
• /
• 2003

Exactly measuring traffic load is the basis for efficient traffic engineering. However, precise traffic measurement involves inspecting every packet traversing a lint resulting in significant overhead on routers with high-speed links. Sampling techniques are proposed as an alternative way to reduce the measurement overhead. But, since sampling inevitably accompany with error, there should be a way to control, or at least limit, the error for traffic engineering applications to work correctly. In this paper, we address the problem of bounding sampling error within a pre-specified tolerance level. We derive a relationship between the number of samples, the accuracy of estimation and the squared coefficient of variation of packet size distribution. Based on this relationship, we propose an adaptive random sampling technique that determines the minimum sampling probability adaptively according to traffic dynamics. Using real network traffic traces, we show that the proposed adaptive random sampling technique indeed produces the desired accuracy, while also yielding significant reduction in the amount of traffic samples.

• The Korean Journal of Applied Statistics
• /
• v.30 no.5
• /
• pp.681-690
• /
• 2017

Various imbalanced binary classification problems exist such as fraud detection in banking operations, detecting spam mail and predicting defective products. Several sampling methods such as over sampling, under sampling, SMOTE have been developed to overcome the poor prediction performance of binary classifiers when the proportion of one group is dominant. In order to overcome this problem, several sampling methods such as over-sampling, under-sampling, SMOTE have been developed. In this study, we investigate prediction performance of logistic regression, Lasso, random forest, boosting and support vector machine in combination with the sampling methods for binary imbalanced data. Four real data sets are analyzed to see if there is a substantial improvement in prediction performance. We also emphasize some precautions when the sampling methods are implemented.