• Title/Summary/Keyword: 불완전한 데이터

Search Result 150, Processing Time 0.051 seconds

Deep Learning Model for Incomplete Data (불완전한 데이터를 위한 딥러닝 모델)

  • Lee, Jong Chan
    • Journal of the Korea Convergence Society
    • /
    • v.10 no.2
    • /
    • pp.1-6
    • /
    • 2019
  • The proposed model is developed to minimize the loss of information in incomplete data including missing data. The first step is to transform the learning data to compensate for the loss information using the data extension technique. In this conversion process, the attribute values of the data are filled with binary or probability values in one-hot encoding. Next, this conversion data is input to the deep learning model, where the number of entries is not constant depending on the cardinality of each attribute. Then, the entry values of each attribute are assigned to the respective input nodes, and learning proceeds. This is different from existing learning models, and has an unusual structure in which arbitrary attribute values are distributedly input to multiple nodes in the input layer. In order to evaluate the learning performance of the proposed model, various experiments are performed on the missing data and it shows that it is superior in terms of performance. The proposed model will be useful as an algorithm to minimize the loss in the ubiquitous environment.

A Study on Intelligent Video Retrieval System based on query relaxation (질의완화를 기반으로 한 지능적인 비디오 검색 시스템)

  • Yoon, Mi-Hee;Cho, Dong-Uk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.04b
    • /
    • pp.941-944
    • /
    • 2001
  • 최근 하드웨어와 압축기술의 발달 및 보편화로 인해 사용자들의 비디오 데이터에 대한 요구가 증가하였다. 비디오 데이터는 비정형, 대용량의 특징을 가지고 있으므로 사용자의 다양한 요구를 만족시키기 위해서는 단순한 텍스트 형식의 데이터가 아닌 비디오 데이터에 대한 다양한 검색기법이 요구된다. 효율적인 비디오의 검색을 위해서는 사용자의 불완전한 질의에도 근사한 질의결과의 제시가 필요하다. 본 논문에서는 비디오데이터에 대한 효율적인 의미검색을 위해 주석기반과 특징기반을 혼합한 내용기반 검색을 지원하며 특히 사용자의 불완전한 질의에도 근접한 질의결과를 제시할 수 있는 지능적인 비디오 검색 시스템을 제안한다.

  • PDF

Summary Indexing Scheme for Subgraph Matching Considering Structural Differences (구조적 차이를 고려한 서브 그래프 매칭을 위한 요약 색인 기법)

  • Choi, do-jin;Bok, kyoung-soo;Yoo, jae-soo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2019.05a
    • /
    • pp.447-448
    • /
    • 2019
  • 생명 공학 분야에서는 노이즈가 많고 불완전한 데이터 집합의 사용이 많이 이루어진다. 불완전한 그래프에서 구조적 차이를 고려한 근사 서브 그래프 매칭에 대한 활용이 이루어지고 있다. 본 논문에서는 기존 기법에서 모든 데이터 및 경우의 수를 색인하는 과도한 색인 문제와 계산 비용 감소를 위한 요약 색인 기법을 제안한다. 구조적 차이 정보를 저장하기 위해서 특정 정점간의 최단 거리 값을 관리하고, 색인 부하 감소 및 일관성을 위해 요약 색인에 대한 간결화 작업을 수행한다.

  • PDF

An Effective Stream Data Management System for the Incomplete Stream Data on Sensor Network (센서 네트워크에서의 불완전 스트림데이터를 위한 효율적인 스트림 데이터 관리 시스템)

  • Park, Eun-Ji;Byeon, Jeong-Woo;Choi, Da-Som;Kim, Jin-Han;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.125-126
    • /
    • 2014
  • 센서 스트림 데이터는 센서 네트워크를 통해 수집되는 데이터로 실시간 처리를 요구하며, 연속적으로 끊임없이 발생하는 스트림 데이터이다. 이러한 스트림 데이터는 양이 방대하여 이를 저장하기가 매우 어려우며, 동시에 데이터를 검색하는 데에는 많은 시간이 소요된다. 본 논문에서는 센서 네트워크에서의 효율적인 스트림 데이터 처리 시스템을 제안한다. 이 시스템은 캐시테이블을 사용함으로써 데이터베이스에 최소화된 접근으로 데이터 스트림 관리 시스템의 성능을 개선하였다. 그리고 센서 네트워크에서 읽어 들여온 불완전 데이터를 효율적으로 정제하고 상위 단계로 전송한다.

  • PDF

Resource Allocation for OFDMA Relay Networks with Imperfect CSI (불완전한 채널 정보를 갖는 OFDMA 중계 네트워크를 위한 자원 할당 기법)

  • Lee, Jaeho;Lee, Jae Hong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2011.07a
    • /
    • pp.247-249
    • /
    • 2011
  • 기존의 OFDMA 시스템에서의 자원할당 기술은 주로 완벽한 채널정보에 기반하여 송신 전력, 부반송파를 할당하였다. 하지만 실제 시스템에서는 사용자의 움직임이나 채널 피드백 지연에 의해 완전한 채널정보를 얻을 수 없다. 본 논문에서는 불완전한 채널 정보를 갖는 OFDMA 중계 네트워크를 위한 자원 할당 기법을 제안한다. 불완전한 채널 정보를 갖는 환경에서는 패킷 오류가 발생할 확률이 높기 때문에 이를 예측하여 적응적 데이터 전송률을 할당하는 기법이 필요하다. 제안된 알고리즘은 채널 정보를 예측하여 데이터 전송률, 그리고 부반송파 할당을 통해 유효처리율을 최대화시킨다. 모의 실험 결과 제안된 알고리즘은 채널정보를 예측하지 않는 단순한 알고리즘과 비교하여 더 높은 유효처리율을 갖음을 확인하였다.

  • PDF

Incomplete data handling technique using decision trees (결정트리를 이용하는 불완전한 데이터 처리기법)

  • Lee, Jong Chan
    • Journal of the Korea Convergence Society
    • /
    • v.12 no.8
    • /
    • pp.39-45
    • /
    • 2021
  • This paper discusses how to handle incomplete data including missing values. Optimally processing the missing value means obtaining an estimate that is the closest to the original value from the information contained in the training data, and replacing the missing value with this value. The way to achieve this is to use a decision tree that is completed in the process of classifying information by the classifier. In other words, this decision tree is obtained in the process of learning by inputting only complete information that does not include loss values among all training data into the C4.5 classifier. The nodes of this decision tree have classification variable information, and the higher node closer to the root contains more information, and the leaf node forms a classification region through a path from the root. In addition, the average of classified data events is recorded in each region. Events including the missing value are input to this decision tree, and the region closest to the event is searched through a traversal process according to the information of each node. The average value recorded in this area is regarded as an estimate of the missing value, and the compensation process is completed.

Query Processing System for Incomplete Sensor Stream Data of in Real-time Sensor Network (실시간 센서 네트워크에서 불완전 센서 스트림 데이터를 위한 질의 처리 시스템)

  • Jang, You-Ho;Lee, Sang-Ho;Kim, Yong-Seung;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.123-124
    • /
    • 2014
  • 무선 센서 네트워크는 센서들을 근거리 네트워크로 연결하여 사용자와 현장의 정보를 실시간으로 연결해 주는 매개체 역할을 한다. 이러한 무선 센서 네트워크는 기존의 컴퓨팅 시스템과는 달리 제한된 자원과 환경 속에서 동작을 해야 하고, 접근이 힘든 곳이나 지속적인 관리가 필요한 지역에서 효율적으로 사용된다. 본 논문에서는 무선 센서네트워크의 제한된 자원 속에서 불완전 스트림 데이터를 효율적으로 정제하고 처리하여 빠르고 정확한 질의어 처리가 가능한 질의 시스템을 제안하였다.

  • PDF

Qualified Image Aquisition from the Incomplete Radar Signal Sequences (불완전한 레이더 신호로부터 양질의 이미지 획득 방법)

  • 김도현;김춘림;차의영
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.05c
    • /
    • pp.249-253
    • /
    • 2002
  • 레이더 기술은 획득된 신호를 바탕으로 물체(object)를 추출, 추적함으로써 자동항해시스템, 항공기 충돌방지시스템 둥의 각종 첨단 분야에 두루 활용되고 있으며, 산업 전반에 걸쳐 눈부신 발전을 거듭해 왔다. 본 논문에서는 레이더로부터 획득한 신호로부터 효율적인 물체를 추출, 추적하기 위한 전처리 단계로서 레이더 이미지를 구성하는 방법에 대해 제안한다. 특히, 불완전한 데이터 시퀀스를 갖는 신호를 양질의 레이더 이미지로 복원하는 방법을 제안하고 결과 영상을 통해 제안하는 방법의 우수성을 검증하였다.

  • PDF

A Classifier Capable of Handling Incomplete Data Set (불완전한 데이터를 처리할수 있는 분류기)

  • Lee, Jong-Chan;Lee, Won-Don
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.1
    • /
    • pp.53-62
    • /
    • 2010
  • This paper introduces a classification algorithm which can be applied to a learning problem with incomplete data sets, missing variable values or a class value. This algorithm uses a data expansion method which utilizes weighted values and probability techniques. It operates by extending a classifier which are considered to be in the optimal projection plane based on Fisher's formula. To do this, some equations are derived from the procedure to be applied to the data expansion. To evaluate the performance of the proposed algorithm, results of different measurements are iteratively compared by choosing one variable in the data set and then modifying the rate of missing and non-missing values in this selected variable. And objective evaluation of data sets can be achieved by comparing, the result of a data set with non-missing variable with that of C4.5 which is a known knowledge acquisition tool in machine learning.

Probability Estimation Method for Imputing Missing Values in Data Expansion Technique (데이터 확장 기법에서 손실값을 대치하는 확률 추정 방법)

  • Lee, Jong Chan
    • Journal of the Korea Convergence Society
    • /
    • v.12 no.11
    • /
    • pp.91-97
    • /
    • 2021
  • This paper uses a data extension technique originally designed for the rule refinement problem to handling incomplete data. This technique is characterized in that each event can have a weight indicating importance, and each variable can be expressed as a probability value. Since the key problem in this paper is to find the probability that is closest to the missing value and replace the missing value with the probability, three different algorithms are used to find the probability for the missing value and then store it in this data structure format. And, after learning to classify each information area with the SVM classification algorithm for evaluation of each probability structure, it compares with the original information and measures how much they match each other. The three algorithms for the imputation probability of the missing value use the same data structure, but have different characteristics in the approach method, so it is expected that it can be used for various purposes depending on the application field.