• 제목/요약/키워드: 데이터 필터링

검색결과 989건 처리시간 0.025초

웹 크롤링을 통한 개인 맞춤형 정보제공 애플리케이션 (Information-providing Application Based on Web Crawling)

  • 김주현;최정은;신우경;박민준;김태국
    • 사물인터넷융복합논문지
    • /
    • 제10권1호
    • /
    • pp.21-27
    • /
    • 2024
  • 본 논문에서는 필터링(Filtering)과 웹 크롤링(Web Crawling) 기술을 이용하여 개인 맞춤형 실시간 정보제공 애플리케이션을 구현하였다. 구현한 애플리케이션은 사용자가 설정한 키워드를 웹페이지 내에서 사용자가 선택한 키워드를 기준으로 Jsoup 라이브러리를 통해 웹 크롤링을 수행하고, MySQL 데이터베이스에 저장한다. 저장한 데이터는 Flutter를 이용해 구현한 애플리케이션으로 사용자에게 제공한다. 또한 FCM(Firebase Cloud Messaging)을 이용하여 모바일 푸시 알람을 제공한다. 이를 통해 사용자는 원하는 정보를 빠르고 효율적으로 얻을 수 있다. 또한 빅데이터가 생성되는 사물인터넷(Internet of things)에도 적용하여 사용자에게 필요한 정보만 제공할 수 있을 것으로 기대한다.

메타 가중치 학습을 활용한 내용 기반의 맞춤형 영화 추천시스템 설계 및 구현 (Design and Implementation of Contents-based Customized movie recommendation system using meta weight learning)

  • 안현우;유해운;김대열
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.587-590
    • /
    • 2020
  • 최근, 디지털 콘텐츠 산업이 폭발적으로 성장됨에 따라 고객 유치를 위한 개인화 추천 기술들이 많은 주목을 받고 있다. 개인화 추천 방식들을 큰 갈래로 나누어 본다면 협업 필터링 기술과 내용 기반 기술로 나눌 수 있다. 협업 필터링의 경우 개인화 추천에는 적합하지만 사용자 평가 데이터의 양이 방대해야 하며 초기에 평가자가 없는 콘텐츠에 대해 추천할 수 없는 초기 평가자 문제가 존재한다. 따라서 매일 방대한 양의 콘텐츠가 편입되는 분야에서 사용하기에 큰 결점이 될 수 있다. 본 논문에서는 영화들의 정보가 담긴 데이터 셋과 사용자 평가 데이터, 그리고 사용자의 선호 기준을 의미하는 메타 가중치를 활용한 내용 기반의 맞춤형 영화 추천 시스템을 제안한다. 논문에서는 먼저, 영화를 고를 때 일반적으로 중요시 보는 속성들을 활용하여 영화의 특징 벡터를 구성하고, 이를 사용자 평가와 결합하여 개인의 선호에 대한 특징 벡터를 구성하는 방법을 제안하며, 구성된 데이터와 코사인 유사도, 메타 가중치를 활용하여 사용자 선호와 유사한 영화들을 도출하는 방법을 제안한다. 또한, 평가데이터를 활용하여 구현된 추천시스템의 검증 프로세스를 구성하고, 검증 프로세스를 활용한 손실 함수를 설계하여 적합한 메타 가중치를 학습하는 방법을 제시한다. 본 논문에서 제안하는 시스템은 다수의 속성을 조합하여 활용하므로 추천 결과가 과도하게 특수화 되지 않을 수 있으며, 메타 가중치라는 요소를 통해 더욱 개인화 된 추천을 제공할 수 있다.

  • PDF

협력 필터링 시스템을 위한 순위 기반의 유사도 척도 (A Rank-based Similarity Measure for Collaborative Filtering Systems)

  • 이수정
    • 컴퓨터교육학회논문지
    • /
    • 제14권5호
    • /
    • pp.97-104
    • /
    • 2011
  • 협력 필터링은 공통된 흥미를 가진 다른 사용자들로부터 정보를 획득하여 그들의 의견에 따라 웹 사이트를 추천하는 방법이다. 과거 수년간, 이 방법은 서적, 식품, 영화 등 다양한 e-commerce 영역에서 사용되었다. 본 논문에서는 협력 필터링 시스템에서 추천 항목을 결정하기 위한 사용자 간의 유사도 측정 방법을 제시하였다. 기존 연구에서는 사용자가 부여했던 전체 평가등급들의 분포를 고려하지 않은 채각 평가등급을 독립적으로 취급하여 사용자간 유사도를 산출하였으나, 본 연구에서는 사용자의 평가 등급 범위 내에서의 등급의 위치와 순위 정보를 이용하여 유사도를 산출하였다. 실제 데이터집합 상에서 평균 절대 오차의 성능을 측정한 결과, 대부분의 기존 방법들에 비해 제안 방법은 매우 우수하였고, 특히 정해진 등급범위가 클 경우에 그러하였다.

  • PDF

모바일 환경을 위한 모바일 RFID 미들웨어 모듈 설계 및 구현 (Design and Implementation of Mobile RFID Middleware Modules for the Mobile Environments)

  • 박병섭
    • 한국콘텐츠학회논문지
    • /
    • 제8권9호
    • /
    • pp.10-18
    • /
    • 2008
  • 모바일 환경에 적합한 RFID 응용 프로그램들을 실시간으로 운영하기 위해서는 수집 데이터를 실시간으로 가공하여 유용한 정보만을 응용 클라이언트로 전달하는 모바일 단말 전용 RFID 미들웨어가 필요하다. 본 논문에서는 모바일 환경에서 실시간 데이터 처리를 위한 모바일 RFID 미들웨어 시스템을 설계하고 구현 하였다. 구현된 모바일 RFID 미들웨어 시스템은 태그 데이터를 수집하는 모바일 리더 인터페이스, 태그 데이터를 의미있는 데이터로 가공하여 응용인터페이스에게로 전송하는 모바일 필터링 엔진, 그리고 기존 모바일 응용과의 인터페이스를 위해 m-SOAP 응용접근프로토콜을 지원하는 모바일 응용 인터페이스 구현 하였다. 개발된 미들웨어 엔진의 필터링 속도도 모바일 단말 환경 특성에 적합한 성능을 보여준다.

강화 학습 알고리즘을 통한 하이브리드 필터링 이미지 추천 시스템 (Reinforcement Learning Algorithm Based Hybrid Filtering Image Recommender System)

  • 심연;신학철;김대기;홍요훈;이필규
    • 한국인터넷방송통신학회논문지
    • /
    • 제12권3호
    • /
    • pp.75-81
    • /
    • 2012
  • 인터넷이 발달하고 접할 수 있는 데이터가 폭증하면서 데이터들에서 사용자는 자신의 기호에 맞는 정보를 찾기가 점점 힘들어 진다. 추천 시스템은 사용자의 기호에 맞는 정보들을 추출하는데 큰 도움을 줄 수 있다. 본 연구는 강화 학습 알고리즘을 기반으로 한 하이브리드 추천 시스템을 사용하여 사용자의 선호도 예측에 대한 정확도를 향상 시켰다. 본 연구는 2000장의 이미지로 테스트를 진행하였다. 테스트 할 때 평균 절대 오차를 구하여 분석한 결과 제안하는 시스템이 협업적 필터링, 내용 기반 필터링, 단순 하이브리드 필터링의 성능보다 더 우수한 것으로 나타났다.

USN/RFID를 이용한 ECA기반 전시물 정보 모니터링 시스템 (Exhibition Monitoring System using USN/RFID based on ECA)

  • 김강석;송왕철
    • 한국인터넷방송통신학회논문지
    • /
    • 제9권6호
    • /
    • pp.95-100
    • /
    • 2009
  • USN/RFID는 유비쿼터스 컴퓨팅을 위한 핵심기술로서 다양한 센서기술과 프로세서 집적기술 그리고 무선네트워크 기술을 이용해서 실제 물리적 환경 정보를 원격에서 손쉽게 수집하고 모니터링 하는 것이 가능하다. USN/RFID는 실시간 객체의 식별과 정보의 수집을 위한 기술로 짧은 시간에 많은 양의 데이터를 발생시킨다. 이러한 많은 양의 데이터를 효과적으로 처리하기 위해서는 데이터의 패턴을 정의하여 의미 있는 데이터를 필터링 할 수 있는 기술이 필수적이다. 본 논문에서는 전시물 주변에서 발생하는 데이터를 효과적으로 처리하기 위해 ECA 규칙을 사용하여 의미 있는 데이터를 구성하고 관리자가 전시물 관련 보안 정보를 실시간으로 관리할 수 있는 모니터링 시스템을 제안한다.

  • PDF

비등방성 확산 필터링에 의한 영상 슬라이스들의 볼륨 렌더링 표현에 관한 연구 (Research of Volume Rendering Representation by Anisotropic Diffusion Filtering)

  • 신문걸;김태형;김두영
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2001년도 하계 학술대회 논문집(KISPS SUMMER CONFERENCE 2001
    • /
    • pp.253-256
    • /
    • 2001
  • 본 논문에서는 전처리 과정에서 잡음의 효과적 처리를 위해 기존의 필터 방식들이 가지는 단점인 경계 부분의 블러링 현상을 줄이고 정확한 에지 위치를 보존할 수 있는 비등방성 확산 필터를 사용하여 CT나 MRI 2차원 영상 슬라이스들을 만들어내고 이 슬라이스들을 3차원 데이터 셋으로 구성하여 3차원 공간의 볼륨 데이터로 시각적인 영상정보를 얻는데 있다.

  • PDF

트리 데이터에서 연관규칙 추출을 위한 서브트리 마이닝 (Subtree Mining to extract Association rules from Tree Data)

  • 강우준;신준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.317-320
    • /
    • 2006
  • XML 트리 데이터들로부터 빈번 서브 트리들을 추출하는 기존 방법들은 복잡하고 다수의 입력데이터 스캐닝을 필요로 할 뿐만 아니라 빈번 서브 트리를 구하기 위해 에지 하나하나의 조인 작업을 필요로 하였다. 이는 결과적으로 많은 수행 시간을 요한다. 본 논문에서는 트리데이터를 레벨 별로 나누고 이를 마치 채로 거르듯이 필터링하여 특정 수치 이상의 출현 횟수를 가지는 노드들만을 남겨 빠르게 빈번한 서브 트리를 찾고, 이를 이용하여 XML 연관규칙들을 생성하는 방법을 제시한다. 제시된 방법을 위해서 PairSet 이라는 새로운 자료구조를 도입하였으며, 이를 이용하는 크로스필터링 알고리즘을 개발하여 제시하였다.

  • PDF

공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법 (Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries)

  • 백성하;이동욱;김경배;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.89-98
    • /
    • 2009
  • 데이터 스트림은 다양한 입력속도로 끊임없이 입력되고 데이터 스트림을 저장하는 메모리상의 저장공간은 유한하기 때문에 때때로 저장공간을 초과하는 데이터가 입력되는 경우가 발생한다. 이 문제를 해결하기 위해 초과되는 데이터의 일부를 버려 메모리 초과를 방지하는 부하제한 기법이 연구되었다. 기존의 부하제한 기법은 데이터의 편차에 따른 최적의 샘플링 비율을 갖는 랜덤 샘플링을 사용한다. 그러나 이 기법은 공간적 특성을 고려하지 않기 때문에 공간 질의에 사용되는 데이터와 사용되지 않는 데이터를 구분하지 않고 샘플링 한다. 그래서 공간 질의가 포함되는 u-GIS 환경에서는 질의 정확도가 감소하는 문제가 발생하였다. 본 논문에서는 공간 질의와 비공간 질의가 동시에 발생하는 u-GIS 환경에서 질의 정확도를 보다 향상 시키는 부하제한 기법을 연구하였다. 이 기법은 동시에 실행되는 공간 질의의 공간적 이용도에 따라 차등적으로 샘플링을 하여, 질의에 이용될 확률이 낮은 데이터를 샘플링을 한다. 제안된 부하제한 기법은 공간질의가 존재하는 경우 질의 정확도를 크게 향상 시켰고, 샘플링 중 공간 필터링 연산을 적용하여 질의처리 속도도 일부 향상 시켰다.

  • PDF

지휘통제 워크플로우 지원 추천 시스템 연구 (A Study of Recommendation Systems for Supporting Command and Control (C2) Workflow)

  • 박규동;전기윤;손미애;김종모
    • 인터넷정보학회논문지
    • /
    • 제23권1호
    • /
    • pp.125-134
    • /
    • 2022
  • 정보 통신 및 인공지능 기술의 발전은 우리 군의 지휘통제체계의 지능화를 요구하며, 이를 달성하기 위해 다양한 시도가 이루어지고 있다. 본 논문은 특히, 지휘통제 워크플로우에서 활용 가능한 정보의 양이 폭발적으로 증가함에 따라 지휘통제체계 사용자에게 제공되는 정보 중 수행 업무에 가장 핵심적인 정보를 제공할 수 있는 협업 필터링(Collaborative Filtering, CF) 및 추천 시스템(Recommendation System, RS)에 주목한다. 군 지휘통제체계에서 정보의 필터링을 수행하는 RS는 가장 우선 설명 가능한 추천을 수행하여야 하며, 그 다음 지휘관들이 임무를 수행하는 다양한 상황을 고려한 추천이 수행되어야 한다. 본 논문에서는 지휘통제 워크플로우를 지원하기 위하여 정보를 선택적으로 추천하는 contextual pre-filtering CARS 프레임워크를 제안한다. 제안된 프레임워크는 1) 지휘결심자의 상황 및 관계에 기반하여 데이터를 사전에 필터링하는 contextual pre-filtering, 2) CF의 취약한 데이터 희소성 문제를 극복하기 위한 피쳐 선택, 3) 피쳐 간의 디스턴스를 사용자의 유사도 산출에 활용한 CF, 및 4) 사용자의 선호를 반영하기 위한 규칙 기반 포스트 필터링의 4 단계로 구성되어 있다. 본 연구의 우수성을 평가하기 위해서 상용 수준의 실험 데이터셋 2종에 대해 기존 CF 방법의 다양한 디스턴스 방법을 적용하여 비교 실험하였다. 비교 실험 결과 제안된 프레임워크가 3가지 평가지표(MAE, MSE, MSLE) 측면에서 우수함을 나타내었다.