• 제목/요약/키워드: 유사 데이터

검색결과 3,344건 처리시간 0.031초

효율적인 군집화 시스템의 개발을 위해 유전자 알고리즘의 적용 (Application of Gene Algorithm for the development of efficient clustering system)

  • 이호현;조범준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
    • /
    • pp.277-280
    • /
    • 2003
  • 현재 많은 관심의 대상이 되고 있는 데이터 마이닝은 대용량의 데이터베이스로부터 일정한 패턴을 분류하여 지식의 형태로 추출하는 작업이다. 데이터 마이닝의 대표적인 기법인 군집화는 군집내의 유사성을 최대화하고 군집들간의 유사성을 최소화시키도록 데이터 집합을 분할하는 것이다. 데이터 마이닝에서 군집화는 대용량 데이터를 다루기 때문에 원시 데이터에 대한 접근횟수를 줄이고 알고리즘이 다루어야 할 데이터 구조의 크기를 줄이는 군집화 기법이 활발하게 사용된다. 그런데 기존의 군집화 알고리즘은 잡음에 매우 민감하고, local minima에 반응한다. 또한 사전에 군집의 개수를 미리 결정해야 하고, initialization 값에 다라 군집의 성능이 좌우되는 문제점이 있다. 본 연구에서는 유전자 알고리즘을 이용하여 자동으로 군집의 개수를 결정하는 군집화 알고리즘을 제안하고, 여기서 제시하는 적합도 함수의 최적화된 군집을 찾아내어 조금더 효율적인 알고리즘을 만들어 대용량 데이터를 다루는 데이터 마이닝에 적용해 보려한다.

  • PDF

생성모델의 시각적 최적화를 위한 학습데이터 제작기법 (Learning data production technique for visual optimization of generative models)

  • 조형래;박구만
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2021년도 추계학술대회
    • /
    • pp.13-14
    • /
    • 2021
  • 본 논문은 생성모델의 학습데이터 제작기법에 대한 실험 및 결과와 향후 관련 연구의 방향을 기술한다. GAN으로 대표되는 생성모델이 아티스트에게 얼마만큼의 만족도와 영감을 주는지를 비교 실험 및 평가하기 위해서는 정제된 학습데이터가 필요하다. 하지만 현실적으로 아티스트의 작품은 데이터 세트를 만들기에는 그 수가 적고 인공지능이 학습하기에도 정제되어있지 않다. 2차 가공작업을 통하여 아티스트의 원본 작업과 유사한 데이터 세트의 구축은 생성모델의 성능향상을 위해 매우 중요하다. 연구의 결과 생성모델이 표현하기 어려운 스타일의 작가 작품을 선정한 뒤 최적의 학습데이터를 만들기 위한 다양한 실험과 기법을 통해 구축한 데이터 세트를 생성모델 알고리즘에 적용하고 실험을 통해 창작자의 작품제작 의도인 작가 진술에 최대한 유사한 이미지의 생성과 더 나아가 작가가 생각하지 못했던 창조적 모방의 결과물을 도출하였고 작가평가를 통해 높은 만족도를 얻었다.

  • PDF

확장된 사용자 유사도를 이용한 CF-기반 건강기능식품 추천 시스템 (A CF-based Health Functional Recommender System using Extended User Similarity Measure)

  • 홍세인;정의주;김재경
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.1-17
    • /
    • 2023
  • 정보통신기술의 발전과 디지털 기기의 대중화로 인해, 온라인 시장의 규모가 커지고 있다. 그 결과 고객들은 상품을 선택하는데 많은 시간과 비용이 소요되는 정보 과부하(Information Overload) 문제에 직면하고 있다. 따라서 고객이 선호할만한 상품을 추천해 주는 추천 시스템은 필수적인 도구가 되었으며 협업 필터링(Collaborative Filtering) 기법은 가장 널리 쓰이는 추천 방법이다. 전통적인 추천 시스템은 평점과 같은 정량적인 데이터만을 사용하기 때문에 추천의 정확도는 높지 않다. 이와 같은 문제를 해결하기 위해 요즘에는 사용자 리뷰와 같은 정성적 데이터를 반영하는 연구가 활발히 진행되고 있다. 협업 필터링의 일반적인 절차는 사용자-상품 행렬 생성, 이웃 집단 탐색, 추천 목록 생성 3단계로 구성되며 코사인 같은 사용자 유사도를 사용하여 목표 고객의 이웃을 탐색하며, 추천 상품 목록을 생성한다. 본 연구에서는 이웃 집단 탐색 및 추천 목록 생성 단계에서 사용하는 사용자 간의 유사도를 기존의 사용자 평점을 이용한 유사도에 고객의 리뷰 데이터를 사용하는 확장된 사용자 유사도를 제시한다. 리뷰를 정량화 하기 위해 본 연구에서는 텍스트 마이닝을 활용한다. 즉, 리뷰 데이터에 TF-IDF, Word2Vec, 그리고 Doc2Vec 기법을 사용하여 두 사용자 간의 리뷰 유사도를 구한 후 사용자 평점을 사용한 유사도와 리뷰 유사도를 결합한 확장된 유사도를 생성하는 것이다. 이를 검증하기 위해 전자상거래 사이트인 Amazon의 'Health and Personal Care'의 사용자 평점과 리뷰 데이터를 사용하였다. 실험 결과, 사용자 간 유사도를 산출할 때 기존의 평점에 기반한 유사도만을 사용하는 것보다, 사용자 리뷰의 유사도를 추가로 반영한 확장된 유사도를 사용하면 추천의 정확도가 높아진다는 것을 확인했다. 또한, 여러 텍스트 마이닝 기법 중에서 TF-IDF 기법을 사용한 확장된 유사도를 이웃 집단 탐색 및 추천 목록 생성단계에서 사용할 때의 성능이 가장 좋게 나타났다.

멀티미디어 데이터를 위한 TCP-friendly Rate Control Protocol (TCP-friendly Rate Control Protocol for Multimedia data)

  • 나승구;김용건
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 추계학술발표대회(상)
    • /
    • pp.429-432
    • /
    • 2003
  • 최근 TCP와 유사하게 멀티미디어 데이터를 전송하기 위한 rate control 프로토콜에 관한 연구가 활발하게 진행되고 있다. 본 논문에서는 멀티미디어 전송 방식에 있어서 TCP와 공정성을 유지하며 TCP와 유사하게 동작하도록 하는 TRCP 프로토콜을 제안한다. TRCP는 TCP vegas 이론을 응용하였으며 RTT와 패킷손실율에 의해 네트워크 혼잡 상태를 미리 예측하고 TCP의 AIMD 방식을 사용하여 TCP와 유사하게 전송율을.조절하는 프로토콜이다. 이 프로토콜에 대한 TCP와 공정성을 검증하기 위하여 시뮬레이션을 실시하고 그 결과를 분석한다.

  • PDF

음소 기반의 유사율 알고리즘을 이용한 Home Network 환경에서의 음성 인식 (Voice Recognition using a Phoneme based Similarity Algorithm in Home Networks)

  • 이창섭;유재봉;박준석;양수호;김유섭;박찬영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.767-770
    • /
    • 2005
  • 네트워크상에서 전달되는 음성데이터는 전달되는 과정에서 잡음 등의 외부 요인으로 인하여 데이터에 손실이 생기는 문제가 발생한다. 이렇게 전달된 음성데이터가 음성 인식기를 통과하면 바로 음성 인식기를 통과했을 때 보다 인식률이 낮아진다. 본 연구에서는 홈 네트워크를 제어하는데 있어서 음성 인식률을 향상시키기 위해서 음성 데이터를 입력받아, 이를 음소단위 기반의 유사율 알고리즘을 적용시켜 이미 구축된 홈 네트워크 용어 관련 사전에 등록된 단어와의 유사성을 검토하여 추출된 결과로 홈 네트워크를 제어하는 방안을 제안한다. 음소단위 기반의 유사율 알고리즘과 다중발화를 이용했을 때 Threshold 값이 85% 일 경우 사전에 구축된 단어와 매칭된 인식률은 100%였으며, 사전에 없는 단어의 오인식률은 2%로 감소되었다.

  • PDF

대용량 문서 집합에서 유사문서 탐색 시스템의 성능 개선 (Performance Improvement on Similar Texts Searching System for Massive Document Repository)

  • 박선영;조환규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.413-416
    • /
    • 2010
  • 최근 발생한 수많은 표절 논란으로 인해 많은 유사 문서 탐색 시스템이 개발되어 사용되고 있다. 많은 시스템 중 내용기반 유사문서 탐색 시스템인 DeVAC은 대용량 문서 1:1간의 비교에서 빠른 성능을 보여주지만 수천~수만 개의 문서 집합에 대해서는 적절한 성능을 보여주지 못한다. 이를 해결하기 위해 전역 사전(Global Dictionary)을 이용한 전처리 방법이 고안되어 적용되었다. 이 전처리 방법을 통해 비교해야 할 문서쌍이 줄어들고 전체 시스템의 성능을 향상시킬 수 있다는 것은 밝혀졌으나, 전처리를 위해 발생하는 추가 비용에 대한 계측이 이루어지지 않았을 뿐 아니라 문서 쌍이 얼마나 감소하는지 측정한 실험에서도 언어 처리용 실험적 데이터(말뭉치)에 대한 실험이 대부분을 차지하였기 때문에 실제 데이터에 대해 어떤 성능을 보일지 정확히 예측할 수 없었다. 본 논문에서는 전체 시스템에서 전처리를 위해 필요한 모든 추가 비용을 측정하고, 데이터를 1.5Gb, 6263개의 문서로 이루어진 실존하는 문서 집합으로 구성하여 성능 향상 정도를 측정함으로써 실제 데이터에 대한 전처리 신뢰도를 예측하였다. 실험 결과 전처리 후 찾아낸 유사한 문서 쌍을 전처리를 하지 않을 경우의 80~89.3% 정도로 유지하면서 검사 시간을 기존의 10.8%~15.4% 수준으로 대폭 감소시킬 수 있었다.

Min-Hash를 이용한 효율적인 대용량 그래프 클러스터링 기법 (An Efficient Large Graph Clustering Technique based on Min-Hash)

  • 이석주;민준기
    • 정보과학회 논문지
    • /
    • 제43권3호
    • /
    • pp.380-388
    • /
    • 2016
  • 그래프 클러스터링은 서로 유사한 특성을 갖는 정점들을 동일한 클러스터로 묶는 기법으로 그래프 데이터를 분석하고 그 특성을 파악하는데 폭넓게 사용된다. 최근 소셜 네트워크 서비스와 월드 와이드 웹, 텔레폰 네트워크 등의 다양한 응용분야에서 크기가 큰 대용량 그래프 데이터가 생성되고 있다. 이에 따라서 대용량 그래프 데이터를 효율적으로 처리하는 클러스터링 기법의 중요성이 증가하고 있다. 본 논문에서는 대용량 그래프 데이터의 클러스터들을 효율적으로 생성하는 클러스터링 알고리즘을 제안한다. 우리의 제안 기법은 그래프 내의 클러스터들 간의 유사도를 Min-Hash를 이용하여 효과적으로 추정하고 계산된 유사도에 따라서 클러스터들을 생성한다. 실세계 데이터를 이용한 실험에서 우리는 본 논문에서 제안하는 기법과 기존 그래프 클러스터링 기법들과 비교하여 제안기법의 효율성을 보였다.

제한적 인지 데이터에 기초한 에이전트 움직임-데이터 궤적의 인간다움 (Human-likeness of an Agent's Movement-Data Loci based on Realistically Limited Perception Data)

  • 한창희;김원일
    • 전자공학회논문지CI
    • /
    • 제47권4호
    • /
    • pp.1-10
    • /
    • 2010
  • 본 논문의 목적은 제한적 인지에 기초한 가상인간 에이전트의 움직임-데이터 궤적이 인간과 유사하다는 것을 보이는 것이다. 이 움직임-데이터 궤적의 인간 유사성을 결정하기 위해서, 우리는 두 파라미터들 -사실적으로 제한된 인지(RLP: Realistically Limited Perception) 데이터와 점증적 움직임 경로 데이터의 생성 (IMPG: Incremental Movement-Path Generation)- 사이의 상호작용을 활용한다. 즉, 어떻게 전자인 인간사고 혹은 그 구성요소의 모의 파라미터(즉 RLP 데이터)가 후자인 인간 움직임-데이터 궤적의 모의 파라미터(즉 IMPG 데이터)를 지배하는지를 에이전트 움직임-데이터 궤적에서 고찰하는 것이다. 지도 제작 DB는 인지와 움직임 경로-데이터 생성 사이의 인터페이스이므로, 에이전트에게 항해를 위해 필요한 선결 요소이다. Hill과 동료들에 의해 RLP에 의한 지도 DB 제작은 연구되었지만, 이러한 기존의 연구들은 단지 렌더링 카메라의 시점 데이터의 변화에 의해서만 수행되었다. 이에 비해 본 논문에서는 Hill의 지도 DB 제작 모듈을 에이전트 시스템에 통합하여 예기치 않은 적 출현을 수반한 정찰 임무 상에서 두 파라미터 데이터간의 상호작용을 고찰하였다. 인간 피실험자와 에이전트에 의해 생성된 움직임 데이터의 궤적들이 서로 비교되었다. 비록 에이전트 움직임-데이터 궤적의 인간유사성이 두개의 파라미터 데이터들(즉 RLP와 IMPG)과 단지 30명의 피실험자들로 얻어진 파일럿실험(pilot-test)의 결과이지만, 본 연구의 에이전트 시스템은 인간과 유사한 움직임-데이터를 생성하기 위한 최소한의 기능적인 테스트베드(functional testbed)가 될 수 있음을 입증하였다.

비디오 검색 시스템을 위한 데이터 시퀀스 패턴 유사성 검색 (Pattern Similarity Retrieval of Data Sequences for Video Retrieval System)

  • 이석룡
    • 정보처리학회논문지D
    • /
    • 제13D권3호
    • /
    • pp.347-356
    • /
    • 2006
  • 비디오 스트림은 다차원 공간에서 데이터 포인트의 시퀀스로 표현될 수 있다. 본 논문에서는 시퀀스 내의 데이터 포인트들의 값들의 근사치에 대한 정보와 시퀀스 내의 포인트들의 방향성에 대한 정보를 내포하고 있는 트랜드 벡터(trend vector)에 대한 소개와 이 벡터를 이용하여 데이터 시퀀스를 위한 유사 패턴 검색 기법을 제안한다. 시퀀스는 복수 개의 세그먼트로 분할되며 각 세그먼트는 트랜드 벡터로 표현된다. 질의처리는 시퀀스 내의 각각의 포인트들에 대하여 수행되는 대신, 트랜드 벡터들에 대하여 처리된다. 제안한 기법은 이 벡터를 사용하여 질의와 무관한 데이터 시퀀스들을 데이터베이스로부터 여과하고 질의 시퀀스와 유사한 시퀀스들을 검색하도록 설계되었다. 제안한 기법을 검증하기 위하여 비디오 스트림과 가상으로 생성된 데이터에 관하여 실험을 수행하였으며, 실험 결과 제안한 기법의 정밀도(precision)는 기존의 방법에 비하여 2.1배까지 향상되었으며 처리시간은 45%까지 감소되었음을 보여주고 있다.

16레벨셀 낸드 플래시 메모리에서 트렐리스 정답 추정 기법을 이용한 최대 유사도 검출기의 성능 (Performance of the Maximum-Likelihood Detector by Estimation of the Trellis Targets on the Sixteen-Level Cell NAND Flash Memory)

  • 박동혁;이재진
    • 대한전자공학회논문지TC
    • /
    • 제47권7호
    • /
    • pp.1-7
    • /
    • 2010
  • 본 논문에서는 16레벨셀 낸드 플래시 메모리 채널에 최대 유사도 검출 방법을 이용하여 데이터를 검출하기 위해 트렐리스의 정답 값을 추정하는 기법에 대해 연구 하였다. 이 기법은 최대유사도 검출기를 사용할 수 있게 되어 성능향상에 도움을 준다. 플래시 메모리는 커플링 효과 때문에 메모리가 있는 채널 모델링이므로, 이미 알고 있는 데이터 열을 훈련 과정을 통해 트렐리스의 정답 값을 추정하여, 이 값을 토대로 최대 유사도 검출한다. 본 실험을 통해 문턱 전압을 이용한 데이터 검출 방법보다 제안한 기법을 이용한 최대 유사도 검출기의 성능이 좋은 것을 보였다.