• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.251-256
• /
• 2022

범주 불균형은 분류 모델이 다수 범주에 편향되게 학습되어 소수 범주에 대한 분류 성능을 떨어뜨리는 문제를 야기한다. 언더 샘플링 기법은 다수 범주 데이터의 수를 줄여 소수 범주와 균형을 이루게하는 대표적인 불균형 해결 방법으로, 텍스트 도메인에서의 기존 언더 샘플링 연구에서는 단어 임베딩과 랜덤 샘플링과 같은 비교적 간단한 기법만이 적용되었다. 본 논문에서는 트랜스포머 기반 문장 임베딩과 군집화 기반 샘플링 방법을 통해 텍스트 데이터의 정보 손실을 최소화하는 언더샘플링 방법을 제안한다. 제안 방법의 검증을 위해, 감성 분석 실험에서 제안 방법과 랜덤 샘플링으로 추출한 훈련 세트로 모델을 학습하고 성능을 비교 평가하였다. 제안 방법을 활용한 모델이 랜덤 샘플링을 활용한 모델에 비해 적게는 0.2%, 많게는 2.0% 높은 분류 정확도를 보였고, 이를 통해 제안하는 군집화 기반 언더 샘플링 기법의 효과를 확인하였다.

• 대한전자공학회논문지TC
• /
• 제45권6호
• /
• pp.34-51
• /
• 2008

인터넷이 일상생활에서 중요한 위치를 차지함에 따라 인터넷에서 발생되는 트래픽의 특성을 밝히는 것은 매우 중요한 연구과제로 주목을 받고 있다. 그러나 인터넷 트래픽은 대용량이므로 쉽게 다룰 수 없다. 이러한 문제는 인터넷 트래픽 측정 연구에 가장 큰 장애다 많은 연구자들은 다양한 샘플링 기법을 통해 트래픽을 다를 수 있는 양으로 샘플링하여 분석하고 있다. 본 연구에서는 기존의 인터넷 측정 연구에서 사용된 샘플링 기법을 비교 분석하고, 가장 효과적인 샘플링 방안을 제시하고자 한다. 연구에 비교 사용된 샘플링 기법은 규칙적 샘플링, 단순 랜덤 샘플링, 층화 샘플링이며, 샘플링 단위는 1/10, 1/100, 1/1000을 사용하였다. 분석한 항목은 트래픽 크기 분석, 엔트로피 분석, 패킷 크기 분석이다. 단순 랜덤 샘플링은 무난한 결과를 보였고, (간격을 패킷 개수로 설정한) 규칙적 샘플링은 대상과 샘플링 강도에 상관없이 고른 결과를 보였다. 한편, 간격을 시간으로 설정한 규칙적 샘플링은 매우 좋지 않을 결과를 나타내었다. 전송층 프로토콜을 기준으로 층화 샘플링 수행할 경우 더욱 좋은 결과를 얻을 수 있었다. 연구 결과를 통해 샘플링 기법이 시간에 따른 트래픽의 흐름을 얼마나 잘 유지하는가가 샘플링 성능을 좌우함을 알 수 있었다. 또한 엔트로피 분석은 샘플링에 강하고, 이상 트래픽 탐지에 매우 적절함이 확인되었다. 그러나 병목 현상에 의한 트래픽 크기 감소는 잘못된 엔트로피 분석 결과를 유발할 수 있음을 발견하였다. 마지막으로, 패킷 크기 분포는 패킷 샘플링 방식이나 강도에 영향을 받지 않음을 발견하였다.

• 컴퓨터교육학회논문지
• /
• 제18권5호
• /
• pp.63-70
• /
• 2015

상호 연관되는 복잡한 데이터 조건이 존재하는 환경에서 스카이라인 질의는 의사결정 시스템 등 폭넓은 애플리케이션 활용 가능성으로 다양한 분야에서 연구되어 왔다. 중앙집중식 환경에서 스카이라인 질의처리 기법이 초기에 제안되었으며 최근 대량의 다차원 데이터에 대해 데이터 공간을 분할하여 맵/리듀스 플랫폼 상에서 병렬적으로 처리하는 기법이 제안되었다. 그러나 현재까지의 기법이 비균등적 실행과 높은 중복 작업으로 효율성이 저하된다는 문제점을 배경으로 본 논문에서는 랜덤 샘플링을 통해 데이터 분포를 추정하여 비균등 분할 문제를 해결하고 각 기반의 데이터 공간을 분할하여 스카이라인 처리 과정에서 중복 작업을 최소화한 새로운 기법 MR-DEAP를 제안한다. 마지막으로 다양한 환경에서의 실험결과 제안된 기법이 다른 각 기반 분할과 그리드 분할 기법보다 우수한 것을 입증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 하계학술대회
• /
• pp.101-104
• /
• 2014

3차원 영상 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 깊이를 측정하는 TOF 카메라에 의해 획득된 깊이 영상은 컬러 영상에 비해 매우 작은 해상도의 영상을 갖게 되는 문제가 있다. 따라서 색상 영상과 함께 3차원 영상 제작에 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 방법이 필요하다. 특히 컬러 영상에서 사물 간의 경계에 해당하는 부분에서 색상 차이를 인지하지 못하여 깊이 맵을 부적절하게 처리하게 되는 경우가 발생한다. 본 논문에서는 색상 영상에서 경계부분에 해당하는 영역을 이용하여 저해상도 깊이 영상을 업샘플링 하는 방법을 제안한다. 깊이 영상을 업샘플링 할 때 중요하게 다루어야 할 경계 부분을, 고해상도 색상 영상과 저해상도 깊이 영상을 이용하여 찾아낸다. 색상 경계 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 MRF를 이용하여 모델링하고, 신뢰 확산(belief propagation)방법을 이용하여 에너지 함수 최적화를 수행한다. 제안한 방법은 기존의 다른 에너지 함수나 필터 기반 업샘플링 방법보다 우수한 성능을 나타내었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.675-678
• /
• 2017

본 논문에서는 스트림 환경에서의 샘플링 기법 중 랜덤 샘플링과 유사한 특성을 갖는 KSample의 균일신뢰도 향상에 초점을 맞춘다. 이를 위해, 먼저 KSample의 균일신뢰도 문제점을 분석하여 KSample의 균일신뢰도가 초기에 많이 감소하는 현상을 초기 균일신뢰도 저하 문제로, KSample의 균일신뢰도가 지속적으로 감소하는 현상을 지속 균일신뢰도 저하 문제라 정의한다. 그리고 초기 균일신뢰도 저하 문제를 발생시키는 성질을 과거 샘플 불변으로, 지속 균일신뢰도 저하 문제를 발생시키는 성질을 샘플 추출 범위 증가로 정의하고 이를 해결하여 균일신뢰도를 향상시킨 UC KSample을 제안한다. 실험 결과, 샘플링 비율 p=0.01, 균일신뢰도 하한 ${\varepsilon}=0.7$일 때, UC KSample의 균일신뢰도가 기존 KSample 보다 약 2.2배 증가하였고, 균일신뢰도는 항상 하한 이상으로 유지되었다. 본 연구는 스트림 환경에서 중요한 척도인 균일신뢰도를 KSample에 결합시킨 최초의 시도로서, 샘플링 비율을 유지하며 동적으로 샘플링하는 KSample의 장점은 유지하면서도 균일신뢰도를 증가시킨 우수한 연구라 사료된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.470-472
• /
• 2023

최근 위치 기반 장소 (POI) 추천 서비스가 많이 사용되면서, 사용자의 이전 방문지들에 대한 체크인 시퀀스를 기반으로 현재 (다음으로) 방문할 법한 POI 를 찾아 사용자에게 추천하는, next POI 추천 시스템에 관한 연구가 활발히 진행되고 있다. 하지만, 기존 연구들의 경우 next POI 추천을 위한 모델 학습 시, 사용자의 네거티브 POIs 에 관한 정교한 샘플링 없이 사용자 선호도를 추론해왔다. 본 연구에서는, 사전 학습된 별도의 사용자 선호도 추론 모델을 통해 사용자의 네거티브 POI로서 쉽게 분류되기 어려운 하드 네거티브 POIs 를 찾고, 이들을 위주로 수행되는 하드 네거티브 샘플링 방법을 새롭게 제안한다. 우리는 실 세계 데이터셋을 이용한 실험을 통해, 제안 방안이 기존 연구들에서 사용되어 온 랜덤 네거티브 샘플링 방법 대비 recall@5 기준, 최대 16.4%까지 추천 정확도를 향상시킬 수 있음을 확인하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2016년도 학술발표회
• /
• pp.124-124
• /
• 2016

하천에서의 분변성대장균은 분변성 오염 정도를 나타내는 지표로서, 이 농도가 높을수록 오염된 하천수와의 접촉을 통한 호흡기, 소화기 및 피부 관련 질병의 발발 확률이 높다고 알려져 있다. 따라서 하천에서의 수영, 수상스키 등과 같은 입수형 친수활동을 할 때, 분변성대장균 농도가 농도 기준 이하인지를 확인하고 이러한 정보를 친수활동에 이용할 필요가 있다. 그러나 분변성대장균의 경우, 현재 자동수질측정망에서 측정되고 있는 다른 수질인자들과는 달리 실시간 측정이 불가능하다고 알려져 있다. 분변성대장균을 측정하는데 있어 최소 18시간 이상이 필요하며, 이러한 분변성대장균 측정 방식은 하천 이용자들이 안전한 친수활동을 영위하는데 있어 적절한 수질 정보를 제공하지 못한다. 그러므로 분변성대장균을 예측하는 모델을 개발하고, 이를 이용하여 실시간 분변성대장균 정보를 생성하여 하천 이용자들에게 제공할 필요가 있다. 본 연구에서는 친수활동이 활발하게 이루어지는 곳 중 하나인 북한강의 대성리 지점에 대해 데이터 기반 모델을 이용하여 분변성대장균을 예측하였다. 데이터 기반 모델은 물리 기반 모델에서 필요한 지형데이터나 비점오염원 등의 초기 오염물의 양에 대한 데이터를 필요로 하지 않고, 대신 독립변수로 사용되는 기상 및 수질데이터를 필요로 한다. 이러한 기상 및 수질데이터는 기존 기상관측소, 수질관측소에서 매일 자동으로 측정되기 때문에 데이터 기반 모델은 물리 기반 모델에 비해 입력데이터를 구성하기가 쉽다는 장점을 지닌다. 이러한 데이터 기반 모델 중 분류 모델은 회귀 모델과 달리 분변성대장균 농도가 일정 수질기준 이상을 넘는지를 바로 예측할 수 있다. 본 연구에서는 분류 모델 중 높은 예측력을 가진다고 알려진 랜덤포레스트(random forest) 기법을 이용하여 분변성대장균 예측 모델을 개발하였다. 분변성대장균 예측 모델은 주어진 기상 및 수질 조건에 대해 분변성대장균이 200 CFU/100ml가 넘는지를 예측하였다. 예측된 분변성대장균이 기준을 넘는 경우를 2등급, 넘지 않는 경우를 1등급으로 명명하였다. 모델을 개발하기 위하여 북한강 대성리 인근 측정소에서 2010년부터 2015년까지 측정된 기상 및 수질데이터를 수집하였다. 수집한 데이터를 훈련 및 검증데이터로 샘플링하였으며, 이 때 샘플링한 데이터가 기존 데이터가 가지고 있던 등급별 비율을 유지하기 위하여 층화샘플링을 하였다. 본 연구에서는 샘플링에 의한 불확실성을 줄이기 위하여 랜덤하게 50번 샘플링된 각각의 훈련데이터에 대해 모델을 개발하였다. 50개의 모델의 검증 결과를 종합한 결과, 전체 예측률은 0.139로 나타났다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권3호
• /
• pp.208-216
• /
• 2009

유전자알고리즘의 교차나 돌연변이 연산을 직접적으로 사용하지 않고 개체군의 확률분포를 추정하여 보다 효율적인 탐색을 수행하려는 분포추정알고리즘이 여러 방법으로 제안되었다. 그러나 실제로 변수들간의 고차상관관계를 파악하는 일은 쉽지 않은 일이라 대부분의 경우 낮은 차수의 상관관계를 제한된 가정하에 추정하게 된다. 본 논문에서는 데이타의 고차상관관계를 표현할 수 있고 최적 해를 좀 더 효율적으로 찾을 수 있는 새로운 분포추정알고리즘을 제안한다. 제안된 알고리즘에서는 상관관계가 있을 것으로 추정되는 변수들의 집합으로 정의된 하이퍼에지로 구성된 랜덤 하이퍼그래프 모델을 구축하여 변수들 간의 고차상관관계를 표현하고, 베이지안 샘플링 알고리즘(Bayesian Sampling Algorithm)을 통해 다음 세대의 개체를 생성한다. 기만하는 빌딩블럭(deceptive building blocks)을 가진 분해가능(decomposable) 함수에 대하여 실험한 결과 성공적으로 최적해를 구할 수 있었으며 단순 유전자알고리즘과 BOA (Bayesian Optimization Algorithm)와 비교하여 좋은 성능을 얻을 수 있었다.

• 한국통신학회논문지
• /
• 제28권11B호
• /
• pp.1038-1049
• /
• 2003

트래픽 부하 측정은 네트웍 트래픽 엔지니어링의 기반이 된다. 그러나 고속 링크에서 트래픽 부하 정보를 얻기 위해 모든 패킷을 측정하는 것은, 라우터의 패킷 포워딩 성능을 저해시키므로 확장성이 결여된다. 이에 따라 샘플링 기법이 트래픽 측정의 대안으로 제시되었다. 샘플링은 라우터의 성능 저해를 최소화시킬 수 있으나 샘플링으로 예측되는 트래픽 부하는 실제 트래픽 부하와 차이를 보이게 되며, 이와 같은 오류가 제한되지 못한다면 측정값을 기반으로 하는 응용들에 부영향을 미치게 된다. 본 논문에서는 샘플링 오류를 오류 허용범위 내로 제한시킬 수 있는 적응성 있는 패킷 샘플링 기법을 제안한다. 제안 기법은 수학적 분석을 통해 얻어진 부하 예측 오류에 영향을 미치는 주요 트래픽 파라메터를 각 블록의 시작마다 예측하여 샘플링 확률을 동적으로 적응시킨다. 본 논문에서는 또한 실제 측정된 인터넷 트래픽을 이용하여 제안 기법의 확장성과 성능을 검증하였다

• 응용통계연구
• /
• 제30권5호
• /
• pp.681-690
• /
• 2017

파산감지, 스팸메일 감지, 불량품 감지 등 일상생활에서 불균형적인 이항 분류 문제를 다양하게 접할 수 있다. 반응변수의 클래스의 비율이 상당히 불균형한 경우 이항 분류 모형의 예측 성능이 좋지 않다는 점은 이미 잘 알려진 사실이다. 이러한 문제점을 해결하기 위해 그 동안 오버 샘플링, 언더 샘플링, SMOTE와 같은 여러 샘플링 기법이 개발되어 왔다. 본 연구에서는 분류 모형으로 많이 사용되는 기계학습모형으로 로지스틱 회귀모형, Lasso, 랜덤포레스트, 부스팅, 서포트 벡터 머신을 위의 샘플링 기법들과 결합하여 사용했을 때의 예측 성능을 살펴보았다. 실질적인 예측 성능의 개선 여부를 확인하기 위해 네 개의 실제 자료를 분석하였다. 이와 더불어, 샘플링 방법이 사용될 때 주의해야 할 점에 대해서 강조하였다.