• Title/Summary/Keyword: 불균형데이터 처리

Search Result 115, Processing Time 0.032 seconds

Disproportional Enlargement Policy for Indices of RFID Tag Data (RFID 태그 데이터의 색인을 위한 불균형 확장 정책)

  • Kim, Gi-Hong;Ahn, Sung-Woo;Hong, Bong-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.421-424
    • /
    • 2006
  • RFID 시스템에서 태그를 부착한 객체의 위치를 추적하는 응용이 중요하며 태그 위치를 추적하기 위한 질의를 효율적으로 처리하기 위해서는 태그 궤적의 저장 및 검색을 빠르게 처리 할 수 있는 색인이 필요하다. 기존의 시공간 기반 이동체 색인과는 달리 태그 위치 색인은 태그 식별자(tid), 리더 식별자(rid), 시간(time)을 도메인으로 가진다. RFID 환경에서는 태그 위치 색인의 rid 와 tid 도메인의 크기가 크고 한쪽 도메인으로 불균등한 영역 질의의 발생이 빈번하다. 따라서, 최소 면적 확장 정책에 따른 기존의 이동체 색인의 삽입 기법을 태그 위치 색인에 그대로 적용했을 경우 질의 영역과 생성된 노드 간의 겹침이 심하게 되어 색인 검색 비용이 증가하는 문제가 발생한다. 논문에서는 R$^{\ast}$-tree 의 삽입 정책을 따르는 태그 위치 색인의 삽입 방법으로 불균형 확장 정책을 제안한다. 제안한 삽입 정책은 둘레길이에 가중치를 부여하는 방법이며 이러한 정책을 사용함으로써 불균등한 질의 영역으로 인해 발생하는 질의 영역과 노드간의 중첩을 최소화하여 검색 시 노드 접근 횟수를 줄인다. 또한 실험을 통하여 기존 삽입 방법인 최소 면적 확장 정책의 삽입 비용과 검색 비용을 비교하였으며 그 결과 불균등한 질의 영역을 가지는 RFID 환경에서 삽입 및 검색 비용을 줄여 성능을 향상시켰다.

  • PDF

A Study on Gait Imbalance Estimation System using 3-axis Accelerometer (3축 가속도 센서를 이용한 보행 불균형 평가 시스템에 관한 연구)

  • Choi, C.H.;Park, Y.D.;Sim, H.M.;Lee, S.M.
    • Journal of rehabilitation welfare engineering & assistive technology
    • /
    • v.9 no.1
    • /
    • pp.37-43
    • /
    • 2015
  • In this paper, an efficient system using 3-axis accelerometer is proposed to diagnose the gait imbalance. The proposed hardware system consists of two 3-axis accelerometers to measure 3 directional acceleration of ankles and an embedded system to transfer the data. The acquired data were normalized and then compared to analyze the symmetry between normal and abnormal gait with ROCC (ratio of correlation coefficient). 10 healthy subjects were participated and each subject repeated the experiment 5 times. To make unbalanced ambulation, the height of the heel of one foot was changed during experiments. From the results, it is verified that ROCC index grew apart from the reference according to growing imbalance and the proposed system could be available for estimation of gait imbalance.

  • PDF

Traffic Data Generation Technique for Improving Network Attack Detection Using Deep Learning (네트워크 공격 탐지 성능향상을 위한 딥러닝을 이용한 트래픽 데이터 생성 연구)

  • Lee, Wooho;Hahm, Jaegyoon;Jung, Hyun Mi;Jeong, Kimoon
    • Journal of the Korea Convergence Society
    • /
    • v.10 no.11
    • /
    • pp.1-7
    • /
    • 2019
  • Recently, various approaches to detect network attacks using machine learning have been studied and are being applied to detect new attacks and to increase precision. However, the machine learning method is dependent on feature extraction and takes a long time and complexity. It also has limitation of performace due to learning data imbalance. In this study, we propose a method to solve the degradation of classification performance due to imbalance of learning data among the limit points of detection system. To do this, we generate data using Generative Adversarial Networks (GANs) and propose a classification method using Convolutional Neural Networks (CNNs). Through this approach, we can confirm that the accuracy is improved when applied to the NSL-KDD and UNSW-NB15 datasets.

Improving target recognition of active sonar multi-layer processor through deep learning of a small amounts of imbalanced data (소수 불균형 데이터의 심층학습을 통한 능동소나 다층처리기의 표적 인식성 개선)

  • Young-Woo Ryu;Jeong-Goo Kim
    • The Journal of the Acoustical Society of Korea
    • /
    • v.43 no.2
    • /
    • pp.225-233
    • /
    • 2024
  • Active sonar transmits sound waves to detect covertly maneuvering underwater objects and detects the signals reflected back from the target. However, in addition to the target's echo, the active sonar's received signal is mixed with seafloor, sea surface reverberation, biological noise, and other noise, making target recognition difficult. Conventional techniques for detecting signals above a threshold not only cause false detections or miss targets depending on the set threshold, but also have the problem of having to set an appropriate threshold for various underwater environments. To overcome this, research has been conducted on automatic calculation of threshold values through techniques such as Constant False Alarm Rate (CFAR) and application of advanced tracking filters and association techniques, but there are limitations in environments where a significant number of detections occur. As deep learning technology has recently developed, efforts have been made to apply it in the field of underwater target detection, but it is very difficult to acquire active sonar data for discriminator learning, so not only is the data rare, but there are only a very small number of targets and a relatively large number of non-targets. There are difficulties due to the imbalance of data. In this paper, the image of the energy distribution of the detection signal is used, and a classifier is learned in a way that takes into account the imbalance of the data to distinguish between targets and non-targets and added to the existing technique. Through the proposed technique, target misclassification was minimized and non-targets were eliminated, making target recognition easier for active sonar operators. And the effectiveness of the proposed technique was verified through sea experiment data obtained in the East Sea.

Improved Network Intrusion Detection Model through Hybrid Feature Selection and Data Balancing (Hybrid Feature Selection과 Data Balancing을 통한 효율적인 네트워크 침입 탐지 모델)

  • Min, Byeongjun;Ryu, Jihun;Shin, Dongkyoo;Shin, Dongil
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.10 no.2
    • /
    • pp.65-72
    • /
    • 2021
  • Recently, attacks on the network environment have been rapidly escalating and intelligent. Thus, the signature-based network intrusion detection system is becoming clear about its limitations. To solve these problems, research on machine learning-based intrusion detection systems is being conducted in many ways, but two problems are encountered to use machine learning for intrusion detection. The first is to find important features associated with learning for real-time detection, and the second is the imbalance of data used in learning. This problem is fatal because the performance of machine learning algorithms is data-dependent. In this paper, we propose the HSF-DNN, a network intrusion detection model based on a deep neural network to solve the problems presented above. The proposed HFS-DNN was learned through the NSL-KDD data set and performs performance comparisons with existing classification models. Experiments have confirmed that the proposed Hybrid Feature Selection algorithm does not degrade performance, and in an experiment between learning models that solved the imbalance problem, the model proposed in this paper showed the best performance.

Network intrusion detection Model through Hybrid Feature Selection and Data Balancing (Hybrid Feature Selection과 Data Balancing을 통한 네트워크 침입 탐지 모델)

  • Min, Byeongjun;Shin, Dongkyoo;Shin, Dongil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.526-529
    • /
    • 2020
  • 최근 네트워크 환경에 대한 공격이 급속도로 고도화 및 지능화 되고 있기에, 기존의 시그니처 기반 침입탐지 시스템은 한계점이 명확해지고 있다. 이러한 문제를 해결하기 위해서 기계학습 기반의 침입 탐지 시스템에 대한 연구가 활발히 진행되고 있지만 기계학습을 침입 탐지에 이용하기 위해서는 두 가지 문제에 직면한다. 첫 번째는 실시간 탐지를 위한 학습과 연관된 중요 특징들을 선별하는 문제이며 두 번째는 학습에 사용되는 데이터의 불균형 문제로, 기계학습 알고리즘들은 데이터에 의존적이기에 이러한 문제는 치명적이다. 본 논문에서는 위 제시된 문제들을 해결하기 위해서 Hybrid Feature Selection과 Data Balancing을 통한 심층 신경망 기반의 네트워크 침입 탐지 모델을 제안한다. NSL-KDD 데이터 셋을 통해 학습을 진행하였으며, 평가를 위해 Accuracy, Precision, Recall, F1 Score 지표를 사용하였다. 본 논문에서 제안된 모델은 Random Forest 및 기본 심층 신경망 모델과 비교해 F1 Score를 기준으로 7~9%의 성능 향상을 이루었다.

Combining Imitation Learning and Reinforcement Learning for Visual-Language Navigation Agents (시각-언어 이동 에이전트를 위한 모방 학습과 강화 학습의 결합)

  • Oh, Suntaek;Kim, Incheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.559-562
    • /
    • 2020
  • 시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이타에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델은 서로 다른 두 학습 간에 발생 가능한 학습 불균형도 고려하여 손실 정규화를 포함하고 있다. 또, 제안 모델에서는 기존 연구들에서 사용되어온 목적지 기반 보상 함수의 문제점을 발견하고, 이를 해결하기 위해 설계된 새로은 최적 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실들을 통해, 제안 모델의 높은 성능을 입증하였다.

Bert-based Classification Model Improvement through Minority Class Data Augmentation (소수 클래스 데이터 증강을 통한 BERT 기반의 유형 분류 모델 성능 개선)

  • Kim, Jeong-Woo;Jang, Kwangho;Lee, Yong Tae;Park, Won-joo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.810-813
    • /
    • 2020
  • 자연어처리 분야에서 딥러닝 기반의 분류 모델은 획기적인 성능을 보여주고 있다. 특히 2018 년 발표된 구글의 BERT 는 다양한 태스크에서 높은 성능을 보여준다. 본 논문에서는 이러한 BERT 가 클래스 불균형이 심한 데이터에 대해 어느 정도 성능을 보여주는지 확인하고 이를 해결하는 방법으로 EDA 를 선택해 성능을 개선하고자 한다. BERT 에 알맞게 적용하기 위해 다양한 방법으로 EDA 를 구현했고 이에 대한 성능을 평가하였다.

A study on the improvement of Object Detection Model via Data Augmentation (데이터 증강을 통한 안전모 착용 여부 확인 객체 탐지 모델 성능 향상 연구)

  • Jae-Ho Cho;Hyun-Joon Lee;Gwang-Hwi Jeon;Min-Taek Oh;Sang-Bum Yoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.1102-1103
    • /
    • 2023
  • 안전모 착용 여부를 확인하는 객체 탐지 모델을 물류 현장에서 활용하기 위해서는 안전모를 착용한 경우와 착용하지 않은 경우를 정확하게 탐지해야 한다. 하지만 학습 데이터가 안전모를 착용한 클래스와 착용하지 않은 클래스 간 불균형이 존재하는 경우 해당 데이터만으로는 태스크에 맞게 학습이됐다고 보긴 힘들다. 본 연구는 데이터 증강 기법 적용 시 임의의 데이터에 증강을 적용하는 대신 상대적으로 적은 안전모를 착용하지 않은 클래스를 포함하는 이미지에 대하여 데이터 증강 기법을 적용하였다. 여러 데이터 증강 기법 중 Rotation, Gaussian Noise, 객체를 기준으로 한 Crop을 직접 구현 및 적용하여 객체 탐지 모델인 YOLOv5의 성능을 효과적으로 높이며 더욱 강건한 모델을 개발하는 방법을 제안한다.

Emotion and Speech Act classification in Dialogue using Multitask Learning (대화에서 멀티태스크 학습을 이용한 감정 및 화행 분류)

  • Shin, Chang-Uk;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.532-536
    • /
    • 2018
  • 심층인공신경망을 이용한 대화 모델링 연구가 활발하게 진행되고 있다. 본 논문에서는 대화에서 발화의 감정과 화행을 분류하기 위해 멀티태스크(multitask) 학습을 이용한 End-to-End 시스템을 제안한다. 우리는 감정과 화행을 동시에 분류하는 시스템을 개발하기 위해 멀티태스크 학습을 수행한다. 또한 불균형 범주 분류를 위해 계단식분류(cascaded classification) 구조를 사용하였다. 일상대화 데이터셋을 사용하여 실험을 수행하였고 macro average precision으로 성능을 측정하여 감정 분류 60.43%, 화행 분류 74.29%를 각각 달성하였다. 이는 baseline 모델 대비 각각 29.00%, 1.54% 향상된 성능이다. 본 논문에서는 제안하는 구조를 이용하여, 발화의 감정 및 화행 분류가 End-to-End 방식으로 모델링 가능함을 보였다. 그리고, 두 분류 문제를 하나의 구조로 적절히 학습하기 위한 방법과 분류 문제에서의 범주 불균형 문제를 해결하기 위한 분류 방법을 제시하였다.

  • PDF