• 제목/요약/키워드: 웹 수집 로봇

검색결과 37건 처리시간 0.023초

Trigger Agent의 설계 및 구현 (A Design and Implementation of Trigger Agent)

  • 천장욱;안동언;정성종
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.277-279
    • /
    • 2001
  • 인터넷과 웹의 발전으로 인한 정보량이 급격한 증가로 정보를 수집 하는데 있어 많은 어려움에 부딪치게 되었다. 근래 이런 복잡한 문제를 해결하고자 하는 노력이 에이전트 연구와 접목되어 시도되고 있다. 정보량의 급증으로 인해 로봇을 사용하는 시스템들은 로테이션 타임의 길어지고, 네트웍 망의 과부하를 급증시키고 있다. 이런 문제를 해결하고자 트리거(Trigger) 에이전트를 제안한다. 트리거 에이전트는 웹 서버에 에이전트를 래핑 하여 문서를 모니터링 하게 하고 문서의 갱신이 발생하면 이때 서버에 로봇을 요청하여 문서를 수집하는 아키텍쳐를 가진다.

  • PDF

특정 사이트내의 검색 프로그램 구현에 관한 연구 (A Study on Implementation for Web Search Program in Specific Web Site)

  • 장덕성;구세완
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (하)
    • /
    • pp.1243-1246
    • /
    • 2002
  • 본 논문은 검색엔진을 이용하여 대상 웹사이트의 링크 사이트 전체를 수집하고, 각 링크 사이트의 페이지를 인덱싱하여 데이터베이스화하는데, 특히 가장 최신의 페이지를 분류하여 시간에 의해 검색단어의 정확도가 가려지는 경우, 이를 이용할 수 있도록 하였다. 본 논문은 검색엔진에 의해 검색 서비스를 제공하는 기본적인 웹 로봇의 구현에 대한 연구이며, 웹 로봇의 역할은 크게 링크 사이트를 수집하는 것 이외에 제목, 메타태그, 멀티미디어 다운로드등의 역할들을 수행하며 이를 인덱싱 하여 데이터베이스화한다.

  • PDF

웹 문서 검색을 위한 한글 MG 시스템의 확장 (An Extension of Hangul MG System for Web Document Retrival)

  • 김범수;나연묵
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.290-292
    • /
    • 2000
  • 최근 국대 인터넷 발전과 더불어 검색엔진들의 수요가 많아지고 있어 크고 작은 검색엔진들이 많이 개발되고 있다. 기존의 디지털 라이브러리에 사용되고 있는 정보 검색 엔진인 한글 MG 시스템을 웹 문서 검색에 적용하는데는 어려움이 있었다. 본 논문은 한글 MG 시스템을 기반으로 웹 사이트의 내부 문서 검색이 가능한 소형검색엔진으로 확장하는데 필요한 웹 로봇에 의한 문서 수집, 수집된 문서의 가공, 메타 데이터의 데이터베이스와, 단락 대 문서 사상, 문서 검색을 위한 질의 루틴의 수정과 웹 검색 및 시스템 관리 인터페이스에 대한 방안들을 제안하여 확장 시스템을 설계하고 구현하였다.

  • PDF

뇌파 기반 감정 분류를 활용한 작업자 보호를 위한 웹 플랫폼 시스템 개발 (Development of a Web Platform System for Worker Protection using EEG Emotion Classification)

  • 서쌍희
    • 사물인터넷융복합논문지
    • /
    • 제9권6호
    • /
    • pp.37-44
    • /
    • 2023
  • 인터스트리4.0의 주요 기술인 인간-로봇 협업은 작업자의 안전을 보장하기 위한 추가적인 조치들이 필요하다. 협동로봇과 작업자간 충돌을 회피하는 기존 방식은 주로 로봇에 부착된 센서와 카메라를 기반으로 총돌을 탐지한다. 이러한 방식은 로봇, 사람 물체를 지속적으로 추적하고 충돌회피를 위한 복잡한 알고리즘이 필요하며, 작업 환경 변화에 빠르게 대응하지 못하는 단점이 있다. 본 논문은 인간과 로봇이 협업하는 과정에서 작업자가 위험을 느낄 때의 감정을 인식하여 협동로봇과의 충돌을 방지할 수 있는 웹 기반 플랫폼을 개발하였다. 이를 위해 웨어러블 뇌파장치를 이용하여 감정 관련 뇌파를 수집하고 저장하는 웹 기반 애플리케이션을 개발하였으며, 중립/긍정/부정 감정의 특징을 추출하고 분류하는 딥러닝 모델을 제안하였다. 또한 분류된 감정에 따라 모터동작을 제어하는 사물인터넷 인터페이스 프로그램을 개발하였다. 구현된 시스템의 성능분석을 위해 공개 데이터세트와 실제 수집된 데이터 세트를 사용하여 제안한 딥러닝 모델의 성능을 분석하였다. 공개 데이터 세트의 경우 정확도는 96.8%이며, 실제 수집 데이터세트의 경우 정확도는 70.7%이다.

네트워크 및 웹 서버의 부하를 고려한 지능적인 검색시스템의 설계 및 구현 (Intelligential Search Engine Considering the Load of Web Servers and Networks)

  • 김창근;탁한호
    • 한국컴퓨터산업학회논문지
    • /
    • 제2권8호
    • /
    • pp.1035-1044
    • /
    • 2001
  • 기존의 검색엔진은 분산된 불특정 다수의 웹 서버에 대해 웹 서버 부하, 네트워크 부하를 고려하지 않고 로봇을 동작시키므로 웹서버 및 네트워크의 과부하를 초래한다. 또한 정보의 갱신 기간도 3∼4주 간격으로 필요한 시기에 정보가 갱신되지 않는 경우가 많으며, 웹서버의 내용 변경이 없음에도 불구하고 무조건 웹서버의 내용을 수집하여 갱신한다. 본 논문에서는 네트워크 및 웹서버 부하를 고려한 지능적인 검색시스템을 제안하고, 이 시스템에 필요한 실시간 제어 검색엔진 및 분산되어 있는 정보를 모아서 갱신해 주는 지능적인 로봇을 설계 및 구현하였으며, 네트워크 부하 및 웹 서버의 부하를 모니터링하여 전체 시스템의 성능을 향상시킬 수 있는 로봇 제어 정책을 수립하였다.

  • PDF

학술지 목차DB(QTOC)를 활용한 해외학술정보 수집에이전트 시스템 (Agent-Based Gathering System For Foreign Scientific Information Using QTOC)

  • 신성수;노경란;권오진;홍성화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (중)
    • /
    • pp.813-816
    • /
    • 2003
  • 인터넷과 정보통신기술의 급속적인 발전으로 수천 또는 수억에 달하는 방대하고 다양한 정보들이 웹상에서 존재하게 되었다. 웹상에서 획득가능한 학술정보가 증가함에 따라 다량의 정보를 효율적으로 수집하기 위하여 다양한 웹 로봇기반 수집에이전트를 활용하고 있다. 본 논문에서는 웹에 산재되어 있는 해외학술정보를 체계적이고 주기적으로 수집, 분류하기 위하여 학술지목차DB(QTOC)를 활용한 해외학술정보 수집에이전트 시스템을 설계하였다.

  • PDF

웹 상의 제품 리뷰 검색 및 분석을 통한 제품 평가 시스템 (Evaluation System using Automated Search and Analysis of Product Reviews on the Web)

  • 강대기
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2008년도 추계학술대회
    • /
    • pp.431-434
    • /
    • 2008
  • 본 연구에서 우리는 웹 사이트들에서 제품에 대한 사용자들의 리뷰 정보를 수집하고, 수집한 정보들을 분석 및 정련하여 사용자들에게 보이는 서비스에 대해 논하고자 한다. 특정 제품에 대한 리뷰 정보들은 로봇 시스템에 의해 수집되고, 특정 제품에 대한 전체적인 평가 스코어는 두 가지 다른 종류의 스코어들을 고려하여 계산된다. 첫 번째 스코어는 정량적인 스코어(quantitative score)로 각 리뷰들로부터 얻어지는 이른바 별점 값들의 가중 평균값(weighted average)으로 계산된다. 두 번째 스코어는 정성적인 스코어(qualitative score)로, 본 연구에서 제안된 서비스는 각 리뷰들의 텍스트 설명을 자연 언어 처리 기법으로 분석하여 정성적 스코어를 계산한다. 우리는 이러한 스코어 계산 모델에 따라 MP3 플레이어와 Personal Digital Assistant (PDA)에 대해 서비스 시스템 RELLENOS를 설계 및 구현하였다. RELLENOS는 69 개에 달하는 온라인 리뷰 사이트들에서 수집된 정보들을 토대로 정량적인 값과 정성적인 값을 계산하여 서비스를 성공적으로 수행하였다.

  • PDF

온톨로지 기반의 시맨틱 검색 시스템에 대한 연구 (A Study on Ontology-Based Semantic Search System)

  • 허선영;김은경
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.463-466
    • /
    • 2007
  • 현재 웹 서비스에서 주로 사용하고 있는 키워드 기반 검색은 사용자의 의도와는 상관없는 정보까지 검색하는 경우가 많아서, 실제로 원하는 정보를 찾는데 많은 시간과 노력을 요구한다는 단점이 있다. 이러한 단점을 보완하기 위해서 최근 시맨틱 웹이라는 개념이 등장하였으며, 본 논문에서는 검색 결과의 신뢰성을 향상시키기 위해 온톨로지를 기반으로 시맨틱 검색시스템을 설계하였다. 본 논문에서 설계한 온톨로지 기반의 시맨틱 검색 시스템은 기능적으로 크게 두 부분으로 구성되어 있다. 즉, 자료 수집을 하는 로봇 에이전트와 온톨로지를 기반으로 자료를 검색하는 시맨틱 검색 엔진으로 구성된다. 로봇 에이전트는 자율적으로 웹을 순회하면서 자료를 수집하고 필터링하여 메타데이터 저장소로 가져오는 역할을 한다. 시맨틱 검색 엔진은 사용자의 검색 폼으로부터 전달된 정보 검색 요구사항을 기초로 시맨틱 질의어로 변환한 후, 온톨로지 저장소를 활용하여 검색한다. 시맨틱 검색 엔진은 사용자가 입력한 검색어를 시맨틱 질의어로 변환해 주는 질의처리 모듈과 사용자의 의도를 추론하여 보다 향상된 검색을 가능하게 해주는 추론(Inference) 모듈, 온톨로지를 보관해주는 온톨로지 저장소 등으로 구성된다. 본 논문에서 설계한 온톨로지 기반의 시맨틱 검색 시스템은 키워드 기반 검색에 비해 사용자가 원하는 정보를 찾는데 소요되는 시간과 노력을 줄여 주고, 사용자의 의도에 적합한 정보를 제공할 것으로 기대된다.

  • PDF

균등한 웹 문서 샘플링을 이용한 웹 검색 서비스들의 커버리지 측정 (Estimating Coverage of the Web Search Services Using Near-Uniform Sampling of Web Documents)

  • 장성수;김광현;이준호
    • 정보처리학회논문지D
    • /
    • 제15D권3호
    • /
    • pp.305-312
    • /
    • 2008
  • 인터넷에는 유익한 정보들이 포함된 웹 문서들이 공개되고 있으며, 이러한 웹 문서들은 웹 검색 서비스를 통하여 접근할 수 있다. 따라서 웹 검색 서비스들은 보다 많은 웹 문서들을 수집하기 위하여 노력하고 있으나, 이들은 수집된 웹 문서들의 커버리지를 파악하는데 많은 어려움을 겪고 있다. 따라서 본 논문에서는 기존의 커버리지 측정 방법들을 분석하고, 효과적인 커버리지 측정 방법을 제안한다. 즉, 인터넷에서 웹 문서를 균등하게 샘플링하고, 이 웹 문서들이 웹 검색 서비스에 색인되어 있는지를 조사함으로써 웹 검색 서비스들의 절대 및 상대 커버리지를 측정한다. 그리고 본 논문에서는 제안한 방법으로 국내 웹 검색 서비스들의 커버리지를 측정하여 비교하였으며, 그 결과 구글, 네이버, 엠파스 순으로 절대 및 상대 커버리지가 높게 나타났다. 이러한 본 논문의 결과는 웹 검색 서비스들의 커버리지를 측정하는데 도움이 될 것으로 기대된다.

인터넷 커뮤니티 콘텐츠 분석을 위한 사례베이스 구축 (Building Casebase for the Content Analysis in Internet Community)

  • 고민정
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.937-938
    • /
    • 2009
  • 인터넷의 대중화로 커뮤니티에 콘텐츠가 대량으로 생성되고 있고, 이들은 또 다른 측면의 여론으로 그 비중이 커져가고 있다. 이러한 변화에 기존에 구축된 웹 데이터베이스를 기준으로 생성된 인터넷 커뮤니티 콘텐츠를 처리하고자 할 경우, 새로이 생성된 언어와 패턴으로 인하여 분류 및 관리에 어려움이 많다. 본 연구는 이를 해결하기 위해서 실시간으로 웹로봇을 활용하여 새로운 사례와 데이터를 수집하고, 이를 사례별로 분류한 사례베이스를 구축하여 대량의 커뮤니티 콘텐츠 분석이 가능하다.