• 제목/요약/키워드: 데이터 필터링

검색결과 983건 처리시간 0.032초

항로표지 배치 검증을 위한 전처리 시스템

  • 백인흠;박준모;하창승;강시진
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2023년도 춘계학술대회
    • /
    • pp.295-297
    • /
    • 2023
  • 우리나라는 항로표지 배치의 적합성 평가를 주기적으로 실시하고 있다. 항로표지의 배치는 전문가의 주관적 경험에 의존하고 배치있으며 검증에 필요한 전처리 작업은 수작업으로 처리한다. 이 연구에서는 데이터 필터링, 항적 HDG설정 및 입출항분리 작업을 부분적으로 자동화 하면서 HTTP로 연동되는 전처리 시스템을 개발하였다.

  • PDF

Improving Accuracy of Noise Review Filtering for Places with Insufficient Training Data

  • Hyeon Gyu Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권7호
    • /
    • pp.19-27
    • /
    • 2023
  • 소셜 리뷰를 수집하는 과정에서 주어진 검색어와 상관없는 노이즈 리뷰가 검색 결과에 다수 포함될 수 있으며, 이들을 필터링하기 위해 기계 학습이 이용될 수 있다. 그러나 분석하고자 하는 대상의 리뷰 수가 부족한 경우, 학습 데이터 부족으로 인한 정확도 저하 문제가 발생할 수 있다. 본 논문에서는 리뷰 수가 부족한 플레이스를 대상으로 노이즈 리뷰 필터링의 정확도를 높이기 위한 지도 학습 방법을 소개한다. 제안 방법에서는 개별 플레이스 단위로 학습을 수행하지 않고, 특성이 유사한 여러 플레이스를 그룹으로 묶어 학습을 수행한다. 학습을 통해 얻은 분류기는 그룹에 속한 임의의 플레이스에 공통으로 적용함으로써 학습 데이터 부족 문제를 해결하고자 하였다. 제안 방법의 검증을 위해, LSTM과 BERT를 이용하여 노이즈 리뷰 필터링 모델을 구현하고, 온라인에서 수집된 실제 데이터를 활용한 실험을 통해 필터링 정확도를 체크하였다. 실험 결과, 제안 방법의 정확도는 평균 92.4% 수준이었으며, 리뷰 수가 100개 미만인 플레이스를 대상으로 할 경우 87.5%의 정확도를 제공하였다.

GeoSensor 환경에서 공간 질의 정확도 향상을 위한 선-필터링을 이용한 후-부하제한 기법 (Pre-Filtering based Post-Load Shedding Method for Improving Spatial Queries Accuracy in GeoSensor Environment)

  • 김호;백성하;이동욱;김경배;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제12권1호
    • /
    • pp.18-27
    • /
    • 2010
  • u-GIS환경에서 GeoSensor를 기반으로 하는 GeoSensor 환경은 다양한 센서들로부터 수집한 동적인 데이터와 기존 GIS인 정적인 지형지물 정보의 융합을 요구한다. 이 환경의 핵심인 GeoSensor는 넓은 지역에 산발적으로 분포하며, 다양한 크기의 데이터를 끊임없이 수집한다. 따라서 Data Stream Management System(DSMS)은 제한된 메모리로 인하여 저장 공간을 초과하는 문제가 발생한다. 이를 해결하기 위해 다양한 부하제한 기법들이 활발히 연구되고 있다. 부하제한 기법에는 크게 랜덤부하제한 기법과 의미적부하제한 기법, 샘플링 기법으로 분류된다. 랜덤부하제한 기법은 무작위로 데이터를 선택하여 삭제하고, 의미적부하제한 기법은 데이터의 우선순위를 부여하여 우선순위가 낮은 데이터부터 삭제한다. 샘플링 기법은 통계적인 연산을 이용하여 샘플링 비율을 산정하고 이를 토대로 부하를 제한한다. 그러나 기존 기법들은 공간적 특성을 전혀 고려하지 않기 때문에 공간 질의의 정확도를 감소시키는 문제를 갖는다. 본 논문은 GeoSensor 환경에서 DSMS에 발생하는 과부하 발생을 제한하고 공간 질의의 정확도를 향상시키기 위해 선-필터링을 이용한 후-부하제한 기법을 제안한다. 본 기법은 선-필터링을 통하여 스트림 큐에 불필요하게 가중되는 부하를 1차적으로 제한하며, 과부하 발생 시 공간 질의 결과 정확도를 보장하기 위하여 공간 중요도와 데이터 중요도를 고려하여 후-부하제한을 수행한다. 이 기법을 이용하여 부하제한 수행 횟수를 효과적으로 감소시켰고, 공간 질의의 정확도를 향상시켰다.

나이브 베이지안 분류기와 MapReduce 를 이용한 SNS 문서 필터링 및 토픽 예측 (Documents Filtering and Topic Prediction for SNS using Naïve Bayesian Classifier and MapReduce)

  • 박호식;강남용;박슬기;문정민;오상윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.109-111
    • /
    • 2014
  • SNS(Social Network Service)는 새로운 소통수단으로 인적 네트워크뿐만 아니라 사회, 문화 등에 많은 영향을 미치고 있다. 특히, 무선인터넷과 스마트폰의 보급으로 정보유통량이 기하급수적으로 증가하면서, 데이터를 처리 및 분석하는 것이 화두가 되고 있다. 본 논문에서는 급증하는 SNS 데이터를 처리 및 분석하여 의미 있는 데이터를 키워드 중심으로 추출하고자 하였다. 이를 위해 기존 데이터 처리방식이 아닌 빅데이터 처리에 적합한 MapReduce 환경에서 SNS 데이터를 필터링하고, 토픽을 예측하기 처리방법을 제시하였다. 또한, 웹 서비스를 기반으로 구현하여 분석된 데이터를 시각적으로 표현하고, 재생산하였으며, 실험을 통해 제안하는 처리방법의 성능을 검증하였다.

협업필터링의 희박 행렬 문제를 위한 이행적 유사도 평가 모델 (Transitive Similarity Evaluation Model for Improving Sparsity in Collaborative Filtering)

  • 배은영;유석종
    • 한국정보기술학회논문지
    • /
    • 제16권12호
    • /
    • pp.109-114
    • /
    • 2018
  • 협업 필터링은 사회적 추천 방식으로서 뛰어난 성능을 제공하는 대표적인 추천 시스템 알고리즘으로 폭넓게 사용되어 오고 있다. 협업 필터링은 구조적으로 아이템 평가 데이터에 의존하고 있기 때문에 평가 행렬의 희박도는 추천 성능에 직접적으로 영향을 미친다. 평가 행렬의 희박성 문제 개선을 위해 협업 필터링과 내용 기반 방법을 결합하는 복합형 추천 방법에 대한 연구는 꾸준하게 이루어져 왔으며, 본 연구에서는 협업 필터링의 희소 평가 행렬(sparse rating matrix) 문제 개선 방안의 하나로 공통 평가 아이템이 누락되어 유사도 측정이 불가능한 상황에 대처하기 위한 방법을 제안한다. 이를 위하여 사용자간 이행적 관계 그래프에 기반하는 유사도 평가 모델을 설계하고 오픈 데이터셋인 Movielens에 적용하여 추천 정확도를 측정 비교하였다.

Image Browse for JPEG Decoder

  • 정의필
    • 전기전자학회논문지
    • /
    • 제2권1호
    • /
    • pp.96-100
    • /
    • 1998
  • DCT 변환을 기반으로 하는 비디오 코딩은 많은 사용자와 더불어 급속한 기술 발전을 하게 되었다. 공간영역내에서 디코딩을 수행하는 것보다 DCT 영역에서 직접 데이터를 처리하는 것이 계산속도 면에서 빠르다. 그리고 블록처리 알고리듬은 병렬처리에 기초하므로 데이터 처리속도가 빠른 하드웨어로 구성되어질 수 있다. 본 논문에서는 서브밴드의 필터뱅크에서 블록변환영역 필터링을 이용한 JPEG브라우저를 제안한다. 디코딩시에 압축된 파일로부터 전체 영상을 디코딩하는대신 사용자가 원하는 크기의 영상을 브라우징 할 수 있다. 한편 DCT 영상 데이터가 입력으로 사용될 경우 제안된 블록변환 필터링은 일반적인 서브밴드 필터링보다 필터뱅크내에서의 곱셈 수를 줄임으로서 계산속도면에서 빠른 결과를 얻을 수 었다.

  • PDF

협업 필터링을 활용한 비교과 프로그램 추천 기법: C대학 적용사례 (Non-Curriculum Recommendation Techniques Using Collaborative Filtering for C University)

  • 전유정;양경은;조완섭
    • 한국빅데이터학회지
    • /
    • 제7권1호
    • /
    • pp.187-192
    • /
    • 2022
  • 많은 대학교에서 다양한 교과 및 비교과 활동을 통해 학생들의 취업 역량을 향상하기 위해 노력하고 있지만, 취업을 준비하는 학생마다 목표와 하고자 하는 활동이 다르다. 따라서 기존에 획일적이고 종합적으로 제공하고 있는 프로그램이 실제로 학생들에게 적합한지 여부를 판단하기 어려우므로 개인화 추천 시스템의 도입이 필요하다. 본 연구에서는 충북대학교의 모든 학생에게 일괄적으로 제안되고 있는 비교과 프로그램을 학년 및 학과별로 분류하여 제시하는 방법을 제안하였다. 또한, 비교과 프로그램에 참여한 학생의 평점 데이터를 사용하여 협업 필터링 모델 3가지를 구현하고, 성능을 비교해 가장 정확도가 높은 모델로 개인화된 맞춤형 추천을 제안한다.

협력적 필터링에서 희소성에 따른 MAE 향상에 관한 연구 (A Study on Sparsity Effect about MAE in Collaborative Filtering)

  • 김선옥;이석준;이희춘
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2007년도 추계학술대회
    • /
    • pp.616-620
    • /
    • 2007
  • 전자상거래에서 사용되고 있는 추천시스템은 사용자들의 프로파일과 이들의 정보를 바탕으로 사용자가 선호할 만한 아이템을 추천한다. 추천시스템에서 널리 사용되고 있는 협력적 필터링 방식은 사용자들 사이의 선호도 평가치를 비교하여 유사 사용자를 선택하고, 아이템에 대한 유사 사용자의 선호도 평가치를 기반으로 하여 추천하고자 하는 아이템에 대한 사용자의 선호도를 예측하는 것이다. 하지만 사용자의 선호도가 적은 데이터로 인한 희소성 문제는 추천시스템의 성능을 저해하는 요인으로 작용하고 있다. 이러한 희소성의 문제는 선호도 평가 자료에 나타난 아이템들의 총수에 비하여 사용자가 선호한 아이템의 수가 아주 적기 때문에 발생하며, 새로운 사용자의 경우에는 아이템에 대한 선호도 평가치가 없어 유사 사용자를 선택할 수가 없어 나타나며 심한 경우에는 아이템을 전혀 추천할 수 없게 된다. 이리할 추천 시스템의 희소성문제를 해결차기 위한 방법은 희소성이 높은 데이터들에 대한 희소성을 감소시키는 것이다. 따라서 본 논문에서는 아이템에 대한 희소성을 조사하여 협력적 필터링에서 희소성 아이템이 MAE에 미치는 영향을 분석하였다. 그리고 희소성 문제를 완화하여 예측 정확도를 높이기 위한 방법으로 선호도가 적은 아이템에 대해 희소성을 최소화하는 연구와 이에 따라 희소성과 MAE의 값을 개선하는 방법을 제안한다.

  • PDF

도서관 정보시스템을 위한 협업 필터링 기반 개인화 추천서비스 (Personalized Recommendation Service based on Collaborative Filtering for Library Information Systems)

  • 정희정;조성배
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.251-254
    • /
    • 2011
  • 본 논문에서는 도서관 정보시스템에서 보다 개인화된 추천 서비스를 제공하기 위하여, 사용자 기반 협업 필터링의 희소성 문제를 해결하기 위한 방안을 제시한다. 이를 위하여 아이템을 메타데이터 속성인 주제분류번호를 이용하여 동일 주제의 자료끼리 군집화하고 주제군집에 대한 선호도 점수를 추출하여 이를 사용자 유사도 계산에 사용하였다. 실험을 위하여 실제 연세대학교 도서관에서 동양서를 대출한 35,238명의 총 659,792건 대출/반납건수 데이터를 사용하였으며, 제안된 방법의 성능을 평가하기 위하여 기존의 사용자 기반 협업 필터링과 비교한 결과, 정확도에서는 큰 차이가 없었으나 Coverage가 크게 향상되었음을 확인하였다.

센서 레지스트리 시스템의 처리 성능 개선을 위한 모바일 앱 프로파일 기반 센서 필터링 (Sensor Filtering based on Mobile App Profiles for Enhancing the Processing Performance of Sensor Registry System)

  • 정동원;유현석;이석훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.273-276
    • /
    • 2015
  • 논문에서는 센서 레지스트리 시스템의 성능 개성을 위한 센서 필터링 기법을 제안한다. 센서 레지스트리 시스템은 이질적인 센서 네트워크 환경에서, 즉시적인 센서 데이터의 의미 해석 및 처리를 위한 시스템이다. 센서 레지스트리 시스템은 다양한 장점을 제공하지만 여전히 처리 성능 측면에서 개선이 요구된다. 이 논문에서는 센서 레지스트리 시스템의 불필요한 센서 데이터를 여과하여 처리 속도를 향상시키기 위해 모바일 앱 프로파일을 이용한다. 제안 방법은 기존 센서 레지스트리 시스템의 모바일 기기 측에서 센서 필터링 연산을 수행하게 되며 이를 통해 전체적인 성능을 향상시킨다.