• 제목/요약/키워드: 불균형데이터 처리

검색결과 121건 처리시간 0.025초

위키피디아를 이용한 영-한 개체명 대역어 쌍 구축 (Extracting English-Korean Named-Entity Word-pairs using Wikipedia)

  • 김은경;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.101-105
    • /
    • 2009
  • 본 논문은 공통적으로 이용할 수 있는 웹 환경에서의 한국어 정보로 획득할 수 있는 정보의 양이 영어권 정보의 양보다 상대적으로 적다는 것을 토대로, 웹정보 이용의 불균형을 해소하고자 하는 목적으로부터 출발하였다. 최근에는 지식 정보의 세계화, 국제화에 따라 동일한 정보를 각국 언어로 제공하고자하는 연구가 꾸준히 증가하고 있다. 온라인 백과사전인 위키피디아 역시 현재 다국어로 제공이 되고 있지만 한국어로 작성된 문서는 영어로 작성된 문서의 5% 미만인 것으로 조사되었다. 본 논문에서는 위키피디아 내에서 제공하는 다국어간의 링크 정보와 인포박스 데이터를 활용하여 위키피디아 문서 내에서 개체명을 인식하고, 자동으로 개체명의 영-한 대역어 쌍을 추출하는 것을 목표로 한다. 개체명은 일반 사전에 등재 되지 않은 경우가 많기 때문에, 기계번역에서 사전 데이터 등을 활용하여 개체명을 처리하는 것은 쉽지 않으며 일반적으로 음차표기 방식을 함께 사용하여 해결하고 있다. 본 논문을 통해 위키피디아 데이터를 활용해 만들어진 영-한 개체명 대역어 사전을 구축하기 위해 사용된 기술은 추후 위키피디아 문서를 기계번역하는데 있어 동일한 방법으로 사용이 가능하며, 구축된 사전 데이터는 추후 영-한 자동 음차표기 연구의 사전 데이터로도 활용이 가능하다.

  • PDF

모바일 싱크 기반의 태양 에너지 수집형 무선 센서 네트워크에서 무선 전력 전송을 이용한 효율적인 클러스터 관리 기법 (An Efficient Cluster Management Scheme Using Wireless Power Transfer for Solar-powered Wireless Sensor Networks with a Mobile Sink)

  • 손영재;강민재;고정현;노동건
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.370-371
    • /
    • 2019
  • 태양 에너지 수집형 무선 센서 네트워크는 지속해서 에너지를 수집할 수 있어 배터리 기반 센서 네트워크의 에너지 제약 문제를 완화할 수 있지만, 고정된 싱크의 사용으로 싱크 주변에 존재하는 노드들이 상대적으로 에너지 소비가 증가하는 문제, 즉 에너지 사용 불균형 문제는 해결하지 못한다. 최근의 연구에서는 클러스터링을 기반으로 한 모바일 싱크를 도입하여 이를 해결하고자 했지만, 클러스터 헤드 및 그 주변 노드들의 에너지 부담은 여전히 존재한다. 한편, 무선 전력 전송 기술 발전에 따라 무선 센서 네트워크에서 모바일 싱크를 이용한 무선 전력 전송의 연구가 활발히 이루어지고 있다. 따라서 본 논문에서는 무선 전력 전송이 가능한 모바일 싱크와 효율적인 클러스터링 기법(클러스터 헤드 선출 포함)을 이용하여 에너지 불균형 문제를 최소화하는 기법을 제안한다. 제안 기법은 클러스터 헤드 및 헤드 주변 노드의 에너지 핫 스팟이 완화됨으로, 전체 네트워크의 정전 노드들이 감소하고 수집된 데이터양이 증가한 것을 성능평가를 통해 확인할 수 있다.

수급 불균형을 고려한 전력망의 최적 자원 할당을 위한 일치 기반의 분산 알고리즘 (Consensus-Based Distributed Algorithm for Optimal Resource Allocation of Power Network under Supply-Demand Imbalance)

  • 임영훈
    • 한국정보전자통신기술학회논문지
    • /
    • 제15권6호
    • /
    • pp.440-448
    • /
    • 2022
  • 최근 분산 에너지 자원들의 도입으로 전력망의 최적 자원 할당 문제의 중요성이 강조되고 있고, 대규모 전력망의 방대한 양의 데이터를 처리하기 위해 분산 자원 할당 기법이 요구되고 있다. 최적 자원 할당 문제에서 각 발전기의 발전 용량의 한계로 인하여 수급의 균형이 만족하는 경우를 고려한 연구는 많이 진행되고 있지만, 총 요구량이 최대 발전 용량을 초과하는 경우인 수급 불균형을 고려한 연구는 아직 미미한 실정이다. 본 논문에서는 수급 균형인 상황뿐만 아니라 수급 불균형 상황을 고려하여 전력망의 최적 자원 할당을 위한 일치 기반의 분산 알고리즘을 제안한다. 제안하는 분산 알고리즘은 수급 균형을 만족하는 경우에는 최적의 자원을 할당하고, 수급이 불균형한 경우에는 부족한 자원의 양을 계측할 수 있도록 설계하였다. 마지막으로 모의실험을 통하여 제안된 알고리즘의 성능을 검증하였다.

나이브 베이지안에 기반한 성별 예측 및 정확률 추론 기법 (Gender Prediction and Precision Inference Method based on the naive Bayesian)

  • 권태원;이의종;백두권
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.588-590
    • /
    • 2016
  • 사용자의 성별은 기본적이면서도 중요한 마케팅 데이터다. 그러나 최근에는 개인정보보호 강화 추세로, 회원가입 시 성별이나 나이 등의 세부 정보를 입력하지 않는 간편 가입이 많아졌다. 이러한 입력되지 않은 정보 추출을 위해 성별 예측 연구의 필요성이 증가되었다. 성별이 입력된 사용자의 정보를 바탕으로 성별이 입력되지 않은 사용자의 성별을 예측하는 기존 연구가 다양한 방법으로 진행되어왔고, 우수한 식별이 가능한 기법들은 이진분류기인 SVM을 기반으로 한 연구가 다수 존재한다. 그러나 SVM 알고리즘은 이진 분류만 가능하기 때문에 성별예측에 대한 정확률은 알 수가 없다. 성별예측의 정확률을 활용하면 부정확한 분류를 예방할 수 있으며 상품추천의 가중치로 사용 될 수 있다. 본 연구는 확률을 기반으로 하여 정확률을 추론 가능한 나이브 베이지안을 응용한다. 그리고 데이터 집합 사례를 균형있게 늘려주는 SMOTE기법을 이용해 클래스 불균형 문제를 개선했으며 또한 성별 예측의 특성에 맞게 노이즈를 제거하고, 성별 분류에 확정적인 아이템에 가중치를 적용했다. 더불어 제안 방법을 실제 데이터에 적용시켜 우수성을 입증하였다.

병렬 조인에서 샘플링 기반 비용 예측 기법을 이용한 균등 부하 분산 (Uniform Load Distribution Using Sampling-Based Cost Estimation in Parallel Join)

  • 박웅규
    • 한국정보처리학회논문지
    • /
    • 제6권6호
    • /
    • pp.1468-1480
    • /
    • 1999
  • 데이터베이스 시스템에서 조인 연산은 시스템의 성능에 영향을 주는 가장 복잡하고 소모적인 연산이다. 데이터베이스 시스템의 향상을 위한 많은 병렬 처리 알고리즘들이 제안되었으나 기존의 방법들은 AVS(Attribute Value Skew)와 JPS(Join Product Skew) 등과 같은 데이터 편지를 고려하고 있지 않다. 따라서 데이터 편재의 상황에서 기존의 방법들은 조인 연산 중에 노드들 간의 부하 불균형으로 인하여 그 성능이 급격하게 저하된다. 본 논문에서는 병렬 조인 시에 AVS와 JPS를 고려하여 노드간에 균등하게 부하를 분산하는 방법과 이를 이용한 효율적인 병렬 조인 알고리즘을 제안한다. 제안된 알고리즘은 먼저 기존의 샘플링 방법을 이용하여 조인 연산의 입력과 결과 릴레이션의 데이터 분포를 예측하고, 이를 기반으로 데이터 값에 대한 조인 비용을 산출한다. 그리고 히스토그램 균등화 기법을 이용하여 국부적인 조인 과정에서 노드들 간에 부하 균등을 성취할 수 있도록 데이터를 각 노드에 재 분재한다. 본 논문에서는 성능 평가를 위하여 제안된 알고리즘과 기존의 대표적인 알고리즘들을 위한 모의 실험 모델을 제시하고 모의 실험 결과를 기술한다. 성능 측정 결과 제안된 알고리즘이 기존의 알고리즘들에 비해서 데이터 편재의 상황에서 성능이 우수한 것으로 나타났다.

  • PDF

데이터 편재 하에서 히스토그램 변환기법에 기초한 효율적인 병렬 해쉬 결합 알고리즘 (Effective Parallel Hash Join Algorithm Based on Histoftam Equalization in the Presence of Data Skew)

  • 박웅규;최황규;김탁곤
    • 한국정보처리학회논문지
    • /
    • 제4권2호
    • /
    • pp.338-348
    • /
    • 1997
  • 본 논문은 병렬 해쉬 결합 연산에서 데이터 분산 시에 나타나는 부하의 불균형과 버켓 오버플로우를 해결하기 위한 새로운 데이터 분산 방법을 제안한다. 제안된 데이터 분산 방법은 편재된 분포를 갖는 데이터들을 히스토프로그램 변환 기법에 의하여 각 노드의 성능에 따라 균일하게 분산 시킨다. 또한 본 논문에서는 이 분산 방법을 병렬 해쉬 결합 연산에 적용하여 데이터 편재에 따른 성능 저하를 해결할 수 있는 알고리즘을 제안하고, 기존의 병렬 결합 알고리즘들과의 성능 비교를 위하여 모의 실험결과COREDB 병렬 데이터베이스 컴퓨터 상에서의 실험을 통하여 편재된 분포를 갖는 데이터에 대하여 성능 분석을 수행한다. 실험 결과에서 편재된 데이터에 대하여 기존의 다른 결합 연산 알고리즘보다 제안된 알고리즘이 우수한 성능을 나타냄을 보인다.

  • PDF

그리드 데이터베이스에서 질의 처리를 위한 캐쉬 관리 기반의 부하분산 기법 (Load Balancing Method for Query Processing Based on Cache Management in the Grid Database)

  • 신숭선;백성하;어상훈;이동욱;김경배;정원일;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제11권7호
    • /
    • pp.914-927
    • /
    • 2008
  • 그리드 컴퓨팅 환경에서 대용량 데이터의 처리와 가용성 향상, 데이터 통합을 위해 그리드 데이터베이스 관리 시스템이 사용된다. 그리드 데이터베이스 관리 시스템은 효율저인 질의처리를 위해 여러 노드로 질의를 분산하여 처리한다. 하지만 질의 처리가 임의의 노드에 집중되어 처리 성능이 감소되고, 작업 부하의 불균형이 발생한다. 본 논문에서는 그리드 데이터베이스에서 질의 처리를 위한 캐쉬 관리 기반의 부하분산 기법을 제안한다. 제안 기법에서는 여러 노드에 있는 캐쉬들을 관리하기 위해 캐쉬 관리자를 사용하며, 캐쉬 관리자는 노드를 지역별 그룹으로 연결하고 자신의 그룹 안에 있는 노드의 캐싱된 메타 정보를 관리한다. 노드는 캐쉬 관리자를 통해 질의를 전달 할 최적의 메타 정보를 캐싱한다. 노드에서 캐싱된 메타 정보를 통해 질의를 전달하여 노드의 부하를 분산한다. 제안 기법은 캐쉬 기반으로 부하가 적은 노드에서 질의를 처리하여 노드들의 부하를 분산하여 질의 처리시에 향상된 성능을 보인다.

  • PDF

좌, 우뇌 활성도 향상을 위한 뉴로 피드백 시스템 개발 (Development of Neuro-Feedback System for Activity Improvement of Left and Right Brain)

  • 안소영;신동일;신동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1715-1717
    • /
    • 2015
  • 최근 의학 및 게임 분야에서 뉴로 피드백에 관한 연구들이 활발하다. 뉴로 피드백이란 뇌의 전기적 활동을 뜻하는EEG(Electroencephalogram)을 대상으로 하는 바이오피드백(biofeedback) 시스템의 일종이다. 좌 우뇌의 불균형은 불안과 우울 등의 정서적 장애를 초래한다. 본 논문에서는 좌, 우뇌 활성도를 대칭적으로 향상시켜 뇌기능의 최적화를 위한 시스템을 제안하며 뇌파를 분석하여 정서 상태 파악 후 규칙적 훈련을 통한 우울, 불안 등의 정서적 문제를 개선하는 뉴로 피드백 시스템 개발에 대한 결과를 보고한다. 실험을 통한 시스템의 검증으로 3주간 진행한 훈련 결과를 비교하였으며 그 증가율을 살펴보았다. 1주차와 3주차의 데이터를 비교해본 결과 평균적으로 26.18%의 증가율을 보였고 좌, 우뇌의 활성도의 대칭이 향상된 것을 알 수 있었다.

이미지 전처리와 앙상블 기법을 이용한 이미지 기반 악성코드 분류 시스템 (Image-based malware classification system using image preprocessing and ensemble techniques)

  • 김해수;김미희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.715-718
    • /
    • 2021
  • 정보통신 기술이 발전함에 따라 악의적인 공격을 통해 보안문제를 발생시키고 있다. 또한 새로운 악성코드가 유포되어 기존의 시그니처 비교방식은 새롭게 발생하는 악성코드를 빠르게 분석 할 수 없다. 새로운 악성코드를 빠르게 분석하고 방어기법을 제안하기 위해 악성코드의 패밀리를 분류할 필요가 있다. 본 논문에서는 악성코드의 바이너리 파일을 이용해 시각화하고 CNN모델을 통해 분류한다. 또한 정확도를 높이기 위해 LBP, HOG를 통해 악성코드 이미지에서 중요한 특성을 찾고 데이터 클래스 불균형에서 오는 문제를 앙상블 모델을 통해 해결하는 시스템을 제안한다.

불균형 데이터세트 학습에서 정확도 균일화를 위한 학습 방법에 관한 연구 (A Study of a Method for Maintaining Accuracy Uniformity When Using Long-tailed Dataset)

  • 박근표;박흠우;김종국
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.585-587
    • /
    • 2023
  • Long-tailed datasets have an imbalanced distribution because they consist of a different number of data samples for each class. However, there are problems of the performance degradation in tail-classes and class-accuracy imbalance for all classes. To address these problems, this paper suggests a learning method for training of long-tailed dataset. The proposed method uses and combines two methods; one is a resampling method to generate a uniform mini-batch to prevent the performance degradation in tail-classes, and the other is a reweighting method to address the accuracy imbalance problem. The purpose of our proposed method is to train the learning models to have uniform accuracy for each class in a long-tailed dataset.