• Title/Summary/Keyword: 유사 데이터

Search Result 3,353, Processing Time 0.03 seconds

AI Performance Based On Learning-Data Labeling Accuracy (인공지능 학습데이터 라벨링 정확도에 따른 인공지능 성능)

  • Ji-Hoon Lee;Jieun Shin
    • Journal of Industrial Convergence
    • /
    • v.22 no.1
    • /
    • pp.177-183
    • /
    • 2024
  • The study investigates the impact of data quality on the performance of artificial intelligence (AI). To this end, the impact of labeling error levels on the performance of artificial intelligence was compared and analyzed through simulation, taking into account the similarity of data features and the imbalance of class composition. As a result, data with high similarity between characteristic variables were found to be more sensitive to labeling accuracy than data with low similarity between characteristic variables. It was observed that artificial intelligence accuracy tended to decrease rapidly as class imbalance increased. This will serve as the fundamental data for evaluating the quality criteria and conducting related research on artificial intelligence learning data.

A New Method for Detecting Isotope Patterns in Liquid Chromatography/Mass Spectrometry Data (LC/MS 데이터에서 동위 원소 패턴을 찾는 새로운 방법)

  • Kim, Youn-Dong;Han, Joon-Hee;Hwang, Ji-Woon
    • Proceedings of the Korean Society for Bioinformatics Conference
    • /
    • 2004.11a
    • /
    • pp.167-177
    • /
    • 2004
  • 본 논문에서는 LC/MS 데이터로부터 동위 원소 패턴(isotope pattern)을 찾는 새로운 방법을 제시하고자 한다. 기존의 분석 방법에서는 LC/MS 데이터를 1차원적으로 분석하고 있기 때문에 2차원에서 적용할 수 있는 알고리즘을 적용하기가 어렵다. LC/MS 데이터를 2차원 영상으로 가시화해 본 결과, 하나의 동위 원소 패턴에 속하는 단일 동위 원소 피크(single isotope peak)는 모양, 크기와 같은 2차원 형태적 특징들도 유사함을 알 수 있다. 따라서, 기존의 방법들이 질량 스펙트럼과 같은 1차원 신호를 분석하는 것에 중점을 둔 것에 비해, 본 논문에서는 LC/MS 데이터를 2차원 신호 즉, 영상(image)으로 간주하고 영상 처리 방법과 객체 인식 방법을 적용하였다. 실험 결과 같은 동위 원소 패턴에 속하는 각각의 단일 동위원소 피크들 사이에 peak maxima position 뿐만 아니라 skewness, variance등도 유사였으며 이러한 유사도를 기반으로 동위 원소 패턴을 찾을 수 있었다.

  • PDF

Efficient Search of Similar Regions in Two-Dimensional Array Data (이차원 배열 데이터에서 유사 구역의 효율적인 탐색 기법)

  • Choe, YeonJeong;Lee, Ki Yong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.562-565
    • /
    • 2016
  • 첨단 과학 장비를 이용한 시뮬레이션의 결과로 데이터의 정확도 및 정밀도가 향상되어 대용량의 이차원 배열 데이터가 생성되고 있다. 대용량의 이차원 배열 데이터에서 유사 구역 (similar region)을 찾아내는 것은 매우 의미 있는 일이다. 따라서 본 논문에서는 대용량의 이차원 배열데이터에서 유사 구역을 찾는 단순 방법(naïve method)과 효율적으로 탐색할 수 있는 알고리즘을 제안한다. 또한 단순 방법과 제안 알고리즘의 시간 복잡도(time complexity)를 분석하고 실험을 통해 제안 방법이 단순 방법보다 더 빠르게 처리함을 보인다.

Similar Video Detection Method with Summarized Video Image and PCA (요약 비디오 영상과 PCA를 이용한 유사비디오 검출 기법)

  • Yoo, Jae-Man;Kim, Woo-Saeng
    • Journal of Korea Multimedia Society
    • /
    • v.8 no.8
    • /
    • pp.1134-1141
    • /
    • 2005
  • With ever more popularity of video web-publishing, popular content is being compressed, reformatted and modified, resulting in excessive content duplication. Such overlapped data can cause problem of search speed and rate of searching. However, duplicated data on other site can provide alternatives while specific site cause problem. This paper proposes the efficient method, for retrieving. similar video data in large database. In this research we have used the method to compare summarized video image instead of the raw video data, and detected similar videos through clustering in that dimension feature vector through PCA(principle component analysis). We show that our proposed method is efficient and accurate through our experiment.

  • PDF

Efficient Similarity Joins by Adaptive Prefix Filtering (맞춤 접두 필터링을 이용한 효율적인 유사도 조인)

  • Park, Jong Soo
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.2 no.4
    • /
    • pp.267-272
    • /
    • 2013
  • As an important operation with many applications such as data cleaning and duplicate detection, the similarity join is a challenging issue, which finds all pairs of records whose similarities are above a given threshold in a dataset. We propose a new algorithm that uses the prefix filtering principle as strong constraints on generation of candidate pairs for fast similarity joins. The candidate pair is generated only when the current prefix token of a probing record shares one prefix token of an indexing record within the constrained prefix tokens by the principle. This generation method needs not to compute an upper bound of the overlap between two records, which results in reduction of execution time. Experimental results show that our algorithm significantly outperforms the previous prefix filtering-based algorithms on real datasets.

DART: Data Augmentation using Retrieval Technique (DART: 검색 모델 기술을 사용한 데이터 증강 방법론 연구)

  • Seungjun Lee;Jaehyung Seo;Jungseob Lee;Myunghoon Kang;Hyeonseok Moon;Chanjun Park;Dahyun Jung;Jaewook Lee;Kinam Park;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.313-319
    • /
    • 2022
  • 최근 BERT와 같은 트랜스포머 (Transformer) 기반의 모델이 natural language understanding (NLU)와 같은 여러 자연어 처리 태스크에서 좋은 성능을 보인다. 이러한 모델은 여전히 대용량의 학습을 요구한다. 일반적으로, 데이터 증강 기법은 low-resource 환경을 개선하는 데 도움을 준다. 최근 생성 모델을 활용해 합성 데이터를 생성해 데이터를 증강하는 시도가 이루어졌다. 이러한 방법은 원본 문장과 의미론적 유사성을 훼손하지 않으면서 어휘와 구조적 다양성을 높이는 것을 목표로 한다. 본 논문은 task-oriented 한 어휘와 구조를 고려한 데이터 증강 방법을 제안한다. 이를 위해 검색 모델과 사전 학습된 생성 모델을 활용한다. 검색 모델을 사용해 학습 데이터셋의 입력 문장과 유사한 문장 쌍을 검색 (retrieval) 한다. 검색된 유사한 문장 쌍을 사용하여 생성 모델을 학습해 합성 데이터를 생성한다. 본 논문의 방법론은 low-resource 환경에서 베이스라인 성능을 최대 4% 이상 향상할 수 있었으며, 기존의 데이터 증강 방법론보다 높은 성능 향상을 보인다.

  • PDF

A Behavior-based Authentication Using the Measuring Cosine Similarity (코사인 유사도 측정을 통한 행위 기반 인증)

  • Gil, Seon-Woong;Lee, Ki-Young
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.20 no.4
    • /
    • pp.17-22
    • /
    • 2020
  • Behavior-based authentication technology, which is currently being researched a lot, requires a long extraction of a lot of data to increase the recognition rate of authentication compared to other authentication technologies. This paper uses the touch sensor and the gyroscope embedded in the smartphone in the Android environment to measure five times to the user to use only the minimum data that is essential among the behavior feature data used in the behavior-based authentication study. By requesting, a total of six behavior feature data were collected by touching the five touch screen, and the mean value was calculated from the changes in data during the next touch measurement to measure the cosine similarity between the value and the measured value. After generating the allowable range of cosine similarity by performing, we propose a user behavior based authentication method that compares the cosine similarity value of the authentication attempt data. Through this paper, we succeeded in demonstrating high performance from the first EER of 37.6% to the final EER of 1.9% by adjusting the threshold applied to the cosine similarity authentication range even in a small number of feature data and experimenter environments.

A Study on the CBR Pattern using Similarity and the Euclidean Calculation Pattern (유사도와 유클리디안 계산패턴을 이용한 CBR 패턴연구)

  • Yun, Jong-Chan;Kim, Hak-Chul;Kim, Jong-Jin;Youn, Sung-Dae
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.4
    • /
    • pp.875-885
    • /
    • 2010
  • CBR (Case-Based Reasoning) is a technique to infer the relationships between existing data and case data, and the method to calculate similarity and Euclidean distance is mostly frequently being used. However, since those methods compare all the existing and case data, it also has a demerit that it takes much time for data search and filtering. Therefore, to solve this problem, various researches have been conducted. This paper suggests the method of SE(Speed Euclidean-distance) calculation that utilizes the patterns discovered in the existing process of computing similarity and Euclidean distance. Because SE calculation applies the patterns and weight found during inputting new cases and enables fast data extraction and short operation time, it can enhance computing speed for temporal or spatial restrictions and eliminate unnecessary computing operation. Through this experiment, it has been found that the proposed method improves performance in various computer environments or processing rate more efficiently than the existing method that extracts data using similarity or Euclidean method does.

Similar Trajectory Store Scheme for Efficient Store of Vehicle Historical Data (효율적인 차량 이력 데이터 저장을 위한 유사 궤적 저장 기법)

  • Kwak Ho-Young;Han Kyoung-Bok
    • The Journal of the Korea Contents Association
    • /
    • v.6 no.1
    • /
    • pp.114-125
    • /
    • 2006
  • Since wireless Internet services and small mobile communication devices come into wide use as well as the use of GPS is rapidly growing, researches on moving object, whose location information shifts sequently in accordance with time interval, are being carried out actively. Especially, the researches on vehicle moving object are applied to Advanced traveler information system, vehicle tracking system, and distribution transport system. These systems are very useful in searching previous positions, predicted future positions, the optimum course, and the shortest course of a vehicle by managing historical data of the vehicle movement. In addition, vehicle historical data are used for distribution transport plan and vehicle allocation. Vehicle historical data are stored at regular intervals, which can have a pattern. For example, a vehicle going repeatedly around a specific section follows a route very similar to another. If historical data of the vehicle with a repeated route course are stored at regular intervals, many redundant data occur, which result in much waste of storage. Therefore this thesis suggest a vehicle historical data store scheme for vehicles with a repeated route course using similar trajectory which efficiently store vehicle historical data.

  • PDF

Quality Metrics for RFID Test Dataset to Evaluate RFID Middleware (RFID 미들웨어 평가를 위한 테스트 데이터셋의 품질 지표)

  • Ryu, Woo-Seok;Kwon, Joon-Ho;Hong, Bong-Hee
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06b
    • /
    • pp.141-143
    • /
    • 2012
  • RFID 미들웨어의 평가를 위한 방법으로서, 테스트 데이터셋을 이용한 시뮬레이션은 일반적으로 사용되는 평가 방법이다. 태그 식별자에 따라 순차생성된 가상 데이터셋이나 랜덤 생성된 데이터셋의 경우 미들웨어의 단순 처리량을 평가하기에는 유용하나 미들웨어의 정확성이나 실행 가능성를 평가하기에는 한계가 있다. 테스트 데이터셋은 실제 리더에서 생성된 데이터셋과 매우 유사하여야 함에도 불구하고, 테스트 데이터셋의 품질 기준이 정의되어 있지 않음에 따라 테스트 데이터셋이 얼마만큼 실제 데이터셋과 유사한 지를 평가하기가 어려운 문제가 있다. 이를 위해 본 논문에서는 RFID 미들웨어의 평가에 사용되는 테스트 데이터셋의 품질을 평가하기 위한 품질 지표를 제안한다. 제안하는 품질 지표는 실제 RFID 리더에 태그가 통과할 때 생성되는 데이터 셋을 기반으로 하여 정의하였으며, RFID 무선 인식의 고유의 특성, 즉 중복성과 불확실성을 수치화해서 표현하는 특징이 있다. 또한 제안한 품질 지표를 실제 RFID 리더를 통해 생성한 데이터셋에 적용하여 비교 검토함으로써 품질 지표의 유용성을 입증한다.