• Title/Summary/Keyword: 손실데이터 기법

Search Result 676, Processing Time 0.061 seconds

Loss-adjusted Regularization based on Prediction for Improving Robustness in Less Reliable FAQ Datasets (신뢰성이 부족한 FAQ 데이터셋에서의 강건성 개선을 위한 모델의 예측 강도 기반 손실 조정 정규화)

  • Park, Yewon;Yang, Dongil;Kim, Soofeel;Lee, Kangwook
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.18-22
    • /
    • 2019
  • FAQ 분류는 자주 묻는 질문을 범주화하고 사용자 질의에 대해 가장 유사한 클래스를 추론하는 방식으로 진행된다. FAQ 데이터셋은 클래스가 다수 존재하기 때문에 클래스 간 포함 및 연관 관계가 존재하고 특정 데이터가 서로 다른 클래스에 동시에 속할 수 있다는 특징이 있다. 그러나 최근 FAQ 분류는 다중 클래스 분류 방법론을 적용하는 데 그쳤고 FAQ 데이터셋의 특징을 모델에 반영하는 연구는 미미했다. 현 분류 방법론은 이러한 FAQ 데이터셋의 특징을 고려하지 못하기 때문에 정답으로 해석될 수 있는 예측도 오답으로 여기는 경우가 발생한다. 본 논문에서는 신뢰성이 부족한 FAQ 데이터셋에서도 분류를 잘 하기 위해 손실 함수를 조정하는 정규화 기법을 소개한다. 이 정규화 기법은 클래스 간 포함 및 연관 관계를 반영할 수 있도록 오답을 예측한 경우에도 예측 강도에 비례하여 손실을 줄인다. 이는 오답을 높은 확률로 예측할수록 데이터의 신뢰성이 낮을 가능성이 크다고 판단하여 학습을 강하게 하지 않게 하기 위함이다. 실험을 위해서는 다중 클래스 분류에서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 비교 실험을 위한 정규화 방법으로는 통상적으로 사용되는 라벨 스무딩을 채택했다. 실험 결과, 본 연구에서 제안한 방법은 기존 방법보다 성능이 개선되고 보다 안정적으로 학습이 된다는 것을 확인했으며, 데이터의 신뢰성이 부족한 상황에서 효과적으로 분류를 수행함을 알 수 있었다.

  • PDF

An Adaptive multimedia Synchronization playback scheme using buffer level (버퍼레벨을 이용한 적응형 멀티미디어 동기화 재생 기법)

  • Sung, Kyung-Sang;Hwang, Min-Koo;Yi, Gi-Sung;Lee, Kuen-Wang;Oh, Hae-Seok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.04b
    • /
    • pp.619-622
    • /
    • 2001
  • 실시간 응용 프로그램은 미디어 데이터간에 만족되어야 할 동기화 제약조건(synchronization constraints)을 가지고 있다. 이러한 제약조건은 프리젠테이션 되어야 할 미디어 데이터간의 지연시간 및 서비스 품질을 나타낸다. 미디어 데이터간의 지연시간 및 서비스 품질을 효율적으로 표현하기 위해서는 이에 적합한 새로운 동기화 기법이 요구된다. 제안된 논문은 가변적 전송 지연 시간을 흡수하면서 미디어 데이터간의 동기화를 수행하는 동적 동기화이다. 즉, 최대 지연 지터 시간을 이용한 동기화 구간 조정과 지연시간의 변화에 따른 가변적 대기 시간을 융통성 있게 처리하여 미디어 데이터간의 동기화 요구를 만족시킬 수 있는 기법이다. 본 논문은 동기화 구간 조정을 처리하기 위해 지연 지터를 적용함으로써 트래픽 증가로 인한 미디어 데이터의 손실 시간 및 지연시간의 변화로 인한 데이터 손실을 감소시켰다. 그리고 스무딩 버퍼의 대기 시간을 가변으로 처리함으로써 지연시간의 변화로 인한 불연속을 감소시켰다. 제안된 논문은 고품질 서비스의 보장을 요구하는 시스템에 적합하며 재생율 증가와 손실율 감소 등 서비스 품질을 향상시켰다.

  • PDF

Medical Image Compression based on Region of Interest (관심 영역에 기반한 의료 영상 압축)

  • 김희숙;임숙자
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2004.05a
    • /
    • pp.228-231
    • /
    • 2004
  • 의학 분야에서 의료 영상 데이터에 해당하는 컴퓨터 단층 찰영(CT. Computer Tomography), 자기 공명 영상법 (MRI : Magnetic Resonance Imaging)둥의 데이터 등이 정확하고 신속한 진단ㆍ관리를 위하여 의료 영상 데이터 중에서 관심의 대상이 되는 영역은 무손실 압축 기법을 수행하고, 그외의 지역은 움직임 보상 방식을 사용하여 압축하는 방식을 제안하고 실험하였다. 그 결과 기존의 손실 압축 기법에 비하여 더 낮은 비트율로 효율적인 압축을 수행하였다.

  • PDF

Probability Estimation Method for Imputing Missing Values in Data Expansion Technique (데이터 확장 기법에서 손실값을 대치하는 확률 추정 방법)

  • Lee, Jong Chan
    • Journal of the Korea Convergence Society
    • /
    • v.12 no.11
    • /
    • pp.91-97
    • /
    • 2021
  • This paper uses a data extension technique originally designed for the rule refinement problem to handling incomplete data. This technique is characterized in that each event can have a weight indicating importance, and each variable can be expressed as a probability value. Since the key problem in this paper is to find the probability that is closest to the missing value and replace the missing value with the probability, three different algorithms are used to find the probability for the missing value and then store it in this data structure format. And, after learning to classify each information area with the SVM classification algorithm for evaluation of each probability structure, it compares with the original information and measures how much they match each other. The three algorithms for the imputation probability of the missing value use the same data structure, but have different characteristics in the approach method, so it is expected that it can be used for various purposes depending on the application field.

Efficient Super-Resolution of 2D Smoke Data with Optimized Quadtree (최적화된 쿼드트리를 이용한 2차원 연기 데이터의 효율적인 슈퍼 해상도 기법)

  • Choe, YooYeon;Kim, Donghui;Kim, Jong-Hyun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.01a
    • /
    • pp.261-264
    • /
    • 2021
  • 본 논문에서는 SR(Super-Resolution)을 계산하는데 필요한 데이터를 효율적으로 분류하고 분할하여 빠르게 SR연산을 가능하게 하는 쿼드트리 기반 최적화 기법을 제안한다. 제안하는 방법은 입력 데이터로 사용하는 연기 데이터를 다운스케일링(Downscaling)하여 쿼드트리 연산 소요 시간을 감소시키며, 이때 연기의 밀도를 이진화함으로써, 다운스케일링 과정에서 밀도가 손실되는 문제를 피한다. 학습에 사용된 데이터는 COCO 2017 Dataset이며, 인공신경망은 VGG19 기반 네트워크를 사용한다. 컨볼루션 계층을 거칠 때 데이터의 손실을 막기 위해 잔차(Residual)방식과 유사하게 이전 계층의 출력 값을 더해주며 학습한다. 결과적으로 제안하는 방법은 이전 결과 기법에 비해 약15~18배 정도의 속도향상을 얻었다.

  • PDF

A Study on Prevention of Collision and Data Loss of the RFID System Using a Full-Length Instruction Code Method (무선인식 시스템의 완전 명령 코드 기법을 이용한 데이터 충돌 및 손실 방지에 관한 연구)

  • 강민수;신석균;이재호;박면규;이기서
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.29 no.7A
    • /
    • pp.756-765
    • /
    • 2004
  • Using single carrier frequency RFID system in one-to-multiple wireless communications, might be generated data loss because of data collisions. Conventional Anti-collision method prevent data loss from data collisions which are binary tree method and ALOHA. However, those two preventive measures also have week points which are strongly dependent on the time and space when passing through the recognition area. This paper suggests the full-length instruction code method which fits in to half-duplex method, prevents data collision effectively by calculating the non-transmitting time of multiple tags considering approaching time to the recognition area. After full-length instruction code method test using 13.56MHz bandwidth RFID system shows that full-length instruction code method could make better result than any other methods. Moreover, the record shows O(n) result after analyzing O-notation of conventional time-domain procedure.

A Study of Effective x.264 Coding Method Considering Packet Loss in WLAN (무선랜에서 패킷 손실을 고려한 효율적인 x.264 코딩 기법 연구)

  • Kim, Dong Hyun;Seo, Hyung Yoon;Kim, Jong Deok
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2012.07a
    • /
    • pp.459-461
    • /
    • 2012
  • 스마트폰과 같은 휴대용 멀티미디어 장치의 보급으로 사용자들은 고용량의 멀티미디어 데이터를 끊김없이 서비스 받길 원한다. 무선랜 기반 방송시스템은 한정적인 무선자원을 다수의 사용자들에게 원활하게 서비스하기 위해 유니캐스트 패킷이 아닌 방송 패킷을 이용한다. 하나의 패킷을 다수의 사용자들에게 한번에 전송할 수 있는 방송패킷은 효율적이지만, 손실복구가 어렵다는 단점을 가지고 있다. 이러한 단점을 극복하기 위해 일반적으로 FEC와 같은 방법으로 손실을 복구한다. 그러나 이러한 FEC와 같은 방법은 원본 데이터를 전송하기 위해 추가적인 데이터를 같이 전송해야한다. 이러한 전송은 대역폭의 증가를 가져온다. 그래서 본 연구진은 FEC와 같은 방법대신 전송의 특징을 고려한 x.264코딩 기법만으로 코딩된 동영상 데이터를 전송하여 동영상 품질수준에서 제안한 방법의 우수성을 검증하려한다.

  • PDF

An Efficient Integrity Auditing System for Cloud Storage (클라우드 스토리지를 위한 효율적인 데이터 검증 시스템)

  • Son, Junggab;Hussain, Rasheed;Oh, Heekuck
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.835-838
    • /
    • 2013
  • 클라우드 컴퓨팅을 사용하면 컴퓨팅 자원을 구축하는 비용을 절감할 수 있다는 장점이 있다. 문제는 클라이언트가 데이터 센터와 서비스제공자를 완전히 신뢰할 수 없다는 것이다. 예를 들어, 클라우드에 저장된 파일이 손실되었을 때 서비스 제공자는 서비스의 신뢰도가 떨어지는 것을 막기 위해 이를 숨길 수 있다. 이때, 데이터가 저장 후에 손실되었다는 것을 증명하지 못하면, 그 피해는 클라이언트에게 돌아오게 된다. 따라서, 클라이언트의 데이터를 보호하기 위하여 무결성을 검증할 수 있는 적절한 기법을 적용하여야 한다. 기존 연구로는 homomorphic tags 기반의 기법들이 많이 제안되었으나 이 기법은 많은 지수연산을 필요로 하므로 상용화할 수 있을 만큼의 효율성을 가지지 못한다. 특히, 클라이언트가 증거 생성을 위해 많은 연산을 부담해야 한다. 본 논문에서는 효율성에 중점을 둔, 특히 클라이언트의 효율성에 중점을 둔 무결성 검증 기법을 제안한다. 제안하는 기법은 Modular arithmetic을 기반으로 설계되었으며, 무결성 검증뿐만 아니라 데이터가 자주 업데이트 되는 환경을 지원한다. Simulation result는 제안하는 기법이 기존 기법에 매우 효율적임을 보여준다.

A data extension technique to handle incomplete data (불완전한 데이터를 처리하기 위한 데이터 확장기법)

  • Lee, Jong Chan
    • Journal of the Korea Convergence Society
    • /
    • v.12 no.2
    • /
    • pp.7-13
    • /
    • 2021
  • This paper introduces an algorithm that compensates for missing values after converting them into a format that can represent the probability for incomplete data including missing values in training data. In the previous method using this data conversion, incomplete data was processed by allocating missing values with an equal probability that missing variables can have. This method applied to many problems and obtained good results, but it was pointed out that there is a loss of information in that all information remaining in the missing variable is ignored and a new value is assigned. On the other hand, in the new proposed method, only complete information not including missing values is input into the well-known classification algorithm (C4.5), and the decision tree is constructed during learning. Then, the probability of the missing value is obtained from this decision tree and assigned as an estimated value of the missing variable. That is, some lost information is recovered using a lot of information that has not been lost from incomplete learning data.

Implementation of Energy-Aware Transmission Mechanism Supporting PSM mode in IEEE 802.11b Environments (IEEE 802.11b 환경에서 저전력 모드(PSM)를 지원하는 저전력 전송 기법 구현)

  • 김태현;차호정
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10c
    • /
    • pp.313-315
    • /
    • 2004
  • 본 논문은 IEEE 802.l1b 유무선 환경 에 서 TCP를 이용한 데이터 전송 시 에이젼트를 이용하여 패킷 손실의 원인을 분석, 무선 링크에서 발생한 패킷 손실에 대해서는 혼잡 윈도우 크기를 유지하고, 유선 링크에서 발생한 패킷 손실에 대해서는 지역 재전송을 수행하는 저전력 전송 기법을 제안하고 실제 구현한다. 제안하는 저전력 전송기법 은 전송 후 WNIC를 저 전력 모드로 전환 시킴으로써 WNIC 전력 소비를 최소화 한다. 실험 결과 높은 무선 링크 에러율(1~2%)에서 기존 TCP-Reno 보다 약 18% 에너지 감소 효과를 나타냈다.

  • PDF