• 제목/요약/키워드: 필터링 모델

검색결과 405건 처리시간 0.026초

잠재 요인 모델의 원리를 이용한 협업 태그 기반 추천 방법 (Collaborative Tag-Based Recommendation Methods Using the Principle of Latent Factor Models)

  • 김형도
    • 한국전자거래학회지
    • /
    • 제14권4호
    • /
    • pp.47-57
    • /
    • 2009
  • 협업에 의한 태그 작성 시스템은 소셜 네트워크에서 다양한 공유 콘텐츠에 사용자가 태그를 부착할 수 있도록 허용하는데, 이러한 태그들은 본인뿐만 아니라 모든 커뮤니티 사용자들이 콘텐츠를 이용하는데 유용함을 준다. 협업 태그 기반의 추천에서는 사용자와 항목, 그리고 태그로 이루어진 3차원 데이터를 이용하는데, 이 데이터는 일반적으로 사용자와 항목으로 이루어진 2차원 데이터에 비하여 더 방대한 반면, 희소성(Sparsity)이 더 높다. 따라서 기존의 협업 필터링 기법을 바로 적용하는데 어려움이 많다. 잠재 요인 모델(Latent Factor Model)은 관찰된 값을 설명하는 잠재된 특징(요인)들을 밝히고, 이를 이용해서 문제를 해결하기 위한 모델로서 최근 협업 필터링에서도 성공적으로 적용되고 있으나, 모델을 학습하거나 개선하는 단계에서는 많은 시간과 노력이 필요하다는 단점이 있다. 이러한 잠재 요인 모델을 3차원 협업 태그 데이터에 적용하기 위해서는, 계산이 복잡한 협업 필터링 모델 수립의 어려움을 극복해야 한다. 이 논문에서는 사용자가 항목에 대해 사용한 태그들을 사용자 및 항목에 대한 잠재요인으로 간주하여 직관적인 모델을 수립하고, 사용자의 아이템에 대한 선호도를 결정하는 여러 가지 방법들을 제안하고, 실제 협업 태그 데이터를 이용하여 이들을 비교 평가한다.

  • PDF

적응 템플릿 필터링 및 웨이블렛 기반 영상 압축 연구 (A Study on Adaptive Template Filtering and Wavelet-based Image Compression)

  • 송영철
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2002년도 하계학술대회 논문집 D
    • /
    • pp.2777-2779
    • /
    • 2002
  • 본 논문에서는 영상안에서의 노이즈를 제거하기 위한 방법과 영상을 압축하기 위한 방법을 제안하였다. 영상을 필터링하기 위한 방법으로 해상도의 손상 없이 영상의 신호대잡음비(SNR)를 개선시킬 수 있는 국부 형태 적응 필터링을 제안하였다. 제안한 알고리즘에서는 템플릿 형태가 고정되어 있는 기존의 필터링 방법 대신에 다중 템플릿들을 정의하였다. 적응 템플릿 필터링을 자기공명영상에 적용할 때 기존의 필터링 방법들에 비하여 향상된 결과를 얻을 수 있으나. $T_1$ 영상과 같이 비교적 작은 동적 범위를 가진 영상에서는 에지에서 계단모양의 artifact가 발견되곤 한다. 본 논문에서는 다중 성분을 갖는 복셀들을 선별하여 이들에 대해서는 가장 큰 크기의 템플릿을 할당함으로써 artifact를 제거하는 방법을 제안하였다. 영상 압축에 있어서는 두 가지 모델이 제안되었다. 첫 번째로, 향상된 정수 기반 웨이블렛 변환을 사용한 무손실에 가까운 압축을 제안하였으며, 두 번째로, 완전 복원이 가능한 정수 기반 웨이블렛 변환을 사용한 통합된 유/무손실 압축을 제안하였다. 모의 실험에서, 제안된 알고리즘에 의해 재구성된 영상들은 부동 소수점 기반 웨이블렛 변환과 JPEG에 의해 재구성된 영상들에 비해 높은 신호대잡음비를 보였다.

  • PDF

병렬 코퍼스 필터링과 한국어에 최적화된 서브 워드 분절 기법을 이용한 기계번역 (Parallel Corpus Filtering and Korean-Optimized Subword Tokenization for Machine Translation)

  • 박찬준;김경민;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.221-224
    • /
    • 2019
  • 딥러닝을 이용한 Neural Machine Translation(NMT)의 등장으로 기계번역 분야에서 기존의 규칙 기반,통계기반 방식을 압도하는 좋은 성능을 보이고 있다. 본 논문은 기계번역 모델도 중요하지만 무엇보다 중요한 것은 고품질의 학습데이터를 구성하는 일과 전처리라고 판단하여 이에 관련된 다양한 실험을 진행하였다. 인공신경망 기계번역 시스템의 학습데이터 즉 병렬 코퍼스를 구축할 때 양질의 데이터를 확보하는 것이 무엇보다 중요하다. 그러나 양질의 데이터를 구하는 일은 저작권 확보의 문제, 병렬 말뭉치 구축의 어려움, 노이즈 등을 이유로 쉽지 않은 상황이다. 본 논문은 고품질의 학습데이터를 구축하기 위하여 병렬 코퍼스 필터링 기법을 제시한다. 병렬 코퍼스 필터링이란 정제와 다르게 학습 데이터에 부합하지 않다고 판단되며 소스, 타겟 쌍을 함께 삭제 시켜 버린다. 또한 기계번역에서 무엇보다 중요한 단계는 바로 Subword Tokenization 단계이다. 본 논문은 다양한 실험을 통하여 한-영 기계번역에서 가장 높은 성능을 보이는 Subword Tokenization 방법론을 제시한다. 오픈 된 한-영 병렬 말뭉치로 실험을 진행한 결과 병렬 코퍼스 필터링을 진행한 데이터로 만든 모델이 더 좋은 BLEU 점수를 보였으며 본 논문에서 제안하는 형태소 분석 단위 분리를 진행 후 Unigram이 반영된 SentencePiece 모델로 Subword Tokenization를 진행 하였을 시 가장 좋은 성능을 보였다.

  • PDF

심층신경망을 이용한 짧은 발화 음성인식에서 극점 필터링 기반의 특징 정규화 적용 (Applying feature normalization based on pole filtering to short-utterance speech recognition using deep neural network)

  • 한재민;김민식;김형순
    • 한국음향학회지
    • /
    • 제39권1호
    • /
    • pp.64-68
    • /
    • 2020
  • 가우스 혼합 모델-은닉 마코프 모델(Gaussian Mixture Model-Hidden Markov Model, GMM-HMM)을 이용하는 전통적인 음성인식 시스템에서는, 극점 필터링 기반의 켑스트럼 특징 정규화 방식이 잡음 환경에서 짧은 발화의 인식 성능을 향상시키는데 효과적이었다. 본 논문에서는 심층신경망(Deep Neural Network, DNN)을 이용하는 최신의 음성인식 시스템에서도 이 방식의 유용성이 있는지 검토한다. AURORA 2 DB에 대한 실험 결과, 특히 훈련 및 테스트 환경 사이의 불일치가 클 때에, 극점 필터링 기반의 켑스트럼 평균 분산 정규화 방식이 극점 필터링을 사용하지 않는 방식에 비해 매우 짧은 발화의 인식 성능을 개선시킴을 보여 준다.

CNN 기반의 VVC 인-루프 필터 설계 (CNN Based In-loop Filter in Versatile Video Coding (VVC))

  • 문현철;김재곤
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 하계학술대회
    • /
    • pp.270-271
    • /
    • 2018
  • 본 논문에서는 새로이 시작된 비디오 압축 표준인 VVC(Versatile Video Coding)의 인-루프(in-loop) 필터링을 위한 CNN 구조를 제안한다. 제안하는 CNN 구조는 복호화된 영상을 입력으로 하고 원본 영상과 복호화된 영상의 오차를 손실함수로 사용하여 학습을 진행한다. 또한, 비디오 부호화에서의 다양한 크기의 CU(Coding Unit)를 고려한 다양한 크기의 컨볼루션 필터를 사용하여 특징을 추출하는 구조에 기반하고 있다. 실험을 통하여 제안한 CNN 기반의 필터링이 VVC 의 시험모델인 VTM(VVC Test Model)의 인-루프 필터링의 성능을 개선할 수 있음을 확인하였다.

  • PDF

지면.비지면점 분류를 위한 라이다 필터링 알고리즘의 종합적인 비교 (Comprehensive Comparisons among LIDAR Fitering Algorithms for the Classification of Ground and Non-ground Points)

  • 김의명;조두영
    • 한국측량학회지
    • /
    • 제30권1호
    • /
    • pp.39-48
    • /
    • 2012
  • 수치표고모델(DEM : Digital Elevation Model)을 생성하거나 지상의 객체를 추출하기 위해서 라이다 자료에서 지면점과 비지면점을 분리하는 필터링(filtering) 과정은 중요하다. 본 연구에서는 라이다 자료에서 지면점을 추출하는 데 사용되는 기존의 필터링 방법을 대상으로 정성적 분석과 정량적 분석을 통해 가장 효과적인 필터링 알고리즘을 선정하는 것을 목적으로 하였다. 이를 위해 Adaptive TIN, Perspective Center Based Filtering Algorithm, Elevation Threshold with Expand Window, Progressive Morphology의 4가지 필터링 방법을 산악지역, 도시지역, 건물과 산이 공존하는 3가지 지역에 적용하여 각각의 방법에 대한 특징을 분석하였다. 실험에 사용된 4가지 필터링 방법의 정성적인 비교는 음영기복도를 생성한 후 시각적인 방법을 적용하였고 정량적인 비교는 GPS로 관측한 검사점을 이용한 절대적인 비교와 국토지리정보원의 수치표고모델을 이용하여 상대적인 비교를 수행하였다. 라이다 필터링 실험을 통하여 Adaptive TIN 알고리즘은 산악지역과 도시지역에서 지면점을 가장 효율적으로 추출하였고 건물과 산이 공존하는 지역에서는 Progressive Morphology 알고리즘이 가장 양호한 결과를 나타내었다. 또한 정성적, 정량적 비교 결과 전반적으로 지역적 특성에 관계없이 적용가능한 필터링 알고리즘은 ATIN 알고리즘으로 나타났다.

세무사 추천 서비스를 위한 SVD 알고리즘의 RMSE 비교 (RMSE Comparison of SVD Algorithms for Tax Accountant Recommendation Service)

  • 김원집;허지혜;박세빈;이수민;권은아
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.963-964
    • /
    • 2023
  • 추천 시스템은 사용자의 선호도를 정확히 파악하는 것이 중요하다. 이를 위해 사용자 데이터를 분석하여 추천을 제공하는 협업 필터링 알고리즘을 활용한다. 하지만 상품의 종류와 고객 수가 많아짐에 따라 사용자 선호도 정확도가 떨어지는 문제점이 있다. 이 문제를 해결하기 위해 제안된 방법은 모델 기반 협업 필터링이며, 이는 고객과 사용자의 정보를 직접적으로 추천하는 대신 모델을 학습시키는데 활용된다. 이에 논문은 추천시스템에서 자주 사용되는 모델 협업 필터링 기반 SVD 모델을 학습 전에 하이퍼파라미터를 조절하여 모델에 추정 정확도 값인 RMSE를 측정한다.

추천 시스템의 성능 안정성을 위한 예측적 군집화 기반 협업 필터링 기법 (Predictive Clustering-based Collaborative Filtering Technique for Performance-Stability of Recommendation System)

  • 이오준;유은순
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.119-142
    • /
    • 2015
  • 사용자의 취향과 선호도를 고려하여 정보를 제공하는 추천 시스템의 중요성이 높아졌다. 이를 위해 다양한 기법들이 제안되었는데, 비교적 도메인의 제약이 적은 협업 필터링이 널리 사용되고 있다. 협업 필터링의 한 종류인 모델 기반 협업 필터링은 기계학습이나 데이터 마이닝 모델을 협업 필터링에 접목한 방법이다. 이는 희박성 문제와 확장성 문제 등의 협업 필터링의 근본적인 한계를 개선하지만, 모델 생성 비용이 높고 성능/확장성 트레이드오프가 발생한다는 한계점을 갖는다. 성능/확장성 트레이드오프는 희박성 문제의 일종인 적용범위 감소 문제를 발생시킨다. 또한, 높은 모델 생성 비용은 도메인 환경 변화의 누적으로 인한 성능 불안정의 원인이 된다. 본 연구에서는 이 문제를 해결하기 위해, 군집화 기반 협업 필터링에 마르코프 전이확률모델과 퍼지 군집화의 개념을 접목하여, 적용범위 감소 문제와 성능 불안정성 문제를 해결한 예측적 군집화 기반 협업 필터링 기법을 제안한다. 이 기법은 첫째, 사용자 기호(Preference)의 변화를 추적하여 정적인 모델과 동적인 사용자간의 괴리 해소를 통해 성능 불안정 문제를 개선한다. 둘째, 전이확률과 군집 소속 확률에 기반한 적용범위 확장으로 적용범위 감소 문제를 개선한다. 제안하는 기법의 검증은 각각 성능 불안정성 문제와 확장성/성능 트레이드오프 문제에 대한 강건성(robustness)시험을 통해 이뤄졌다. 제안하는 기법은 기존 기법들에 비해 성능의 향상 폭은 미미하다. 또한 데이터의 변동 정도를 나타내는 지표인 표준 편차의 측면에서도 의미 있는 개선을 보이지 못하였다. 하지만, 성능의 변동 폭을 나타내는 범위의 측면에서는 기존 기법들에 비해 개선을 보였다. 첫 번째 실험에서는 모델 생성 전후의 성능 변동폭에서 51.31%의 개선을, 두 번째 실험에서는 군집 수 변화에 따른 성능 변동폭에서 36.05%의 개선을 보였다. 이는 제안하는 기법이 성능의 향상을 보여주지는 못하지만, 성능 안정성의 측면에서는 기존의 기법들을 개선하고 있음을 의미한다.

병렬 말뭉치 필터링을 적용한 Filter-mBART기반 기계번역 연구 (Filter-mBART Based Neural Machine Translation Using Parallel Corpus Filtering)

  • 문현석;박찬준;어수경;박정배;임희석
    • 한국융합학회논문지
    • /
    • 제12권5호
    • /
    • pp.1-7
    • /
    • 2021
  • 최신 기계번역 연구 동향을 살펴보면 대용량의 단일말뭉치를 통해 모델의 사전학습을 거친 후 병렬 말뭉치로 미세조정을 진행한다. 많은 연구에서 사전학습 단계에 이용되는 데이터의 양을 늘리는 추세이나, 기계번역 성능 향상을 위해 반드시 데이터의 양을 늘려야 한다고는 보기 어렵다. 본 연구에서는 병렬 말뭉치 필터링을 활용한 mBART 모델 기반의 실험을 통해, 더 적은 양의 데이터라도 고품질의 데이터라면 더 좋은 기계번역 성능을 낼 수 있음을 보인다. 실험결과 병렬 말뭉치 필터링을 거친 사전학습모델이 그렇지 않은 모델보다 더 좋은 성능을 보였다. 본 실험결과를 통해 데이터의 양보다 데이터의 질을 고려하는 것이 중요함을 보이고, 해당 프로세스를 통해 추후 말뭉치 구축에 있어 하나의 가이드라인으로 활용될 수 있음을 보였다.

현실적 영상 필터링 방법을 위한 주파수 영역에서의 다각형 형태 필터의 모델링 (Polygon-shaped Filters in Frequency Domain for Practical Filtering of Images)

  • 김주오;김지수;박철형;이덕우
    • 한국산학기술학회논문지
    • /
    • 제20권3호
    • /
    • pp.1-7
    • /
    • 2019
  • 본 논문에서는 영상신호를 필터링 하기 위해 필요한 현실적인 수학적 모델을 제시한다. 1차원 신호 뿐 아니라 2차원 또는 다차원 신호처리 및 분석에서 필터는 영상처리, 컴퓨터 비전, 패턴 인식 등의 다양한 분야에서 근본적이고 중요한 과정을 수행한다. 일반적인 신호처리에서 신호를 주파수 영역에서 해석할 경우 1차원 신호 영역에서의 이상적인 (저역통과) 필터는 직사각형 형태를 가지고 있듯이, 2차원 신호의 이상적인 필터는 원 형태를 가지고 있다. 본 논문에서는 주파수 영역에서 활용할 수 있는 실용적이고 효율적인 다각형 형태의 영상 필터 모델을 제안한다. 본 논문은 2차원 영상을 필터링 하기 위해 원형 필터를 사용하는 대신 육각형 형태의 필터를 모델링하여 적용한다. 이것은 무선 통신 시스템에서의 주파수 재사용 개념을 도입함으로서, 영상 필터링에서도 주파수 대역을 효율적으로 사용하기 위함이다. 본 논문에서 제시한 육각형태의 필터를 활용한 영상 필터링의 시뮬레이션 결과를 제시하고, 성능을 PSNR로 계산한 결과 제안한 방법이 이상적인 필터의 대안으로서 가능함을 보인다.