• 제목/요약/키워드: We Crawler

검색결과 81건 처리시간 0.029초

주변정보 분할을 이용한 주제 중심 웹 문서 수집기 (A Focused Crawler by Segmentation of Context Information)

  • 조창희;이남용;강진범;양재영;최중민
    • 정보처리학회논문지B
    • /
    • 제12B권6호
    • /
    • pp.697-702
    • /
    • 2005
  • 주제 중심 웹 문서 수집기는 검색엔진에서 최신의 웹 문서 색인을 유지하는 대안방안으로 부상하고 있다. 그러나 주제 중심 웹 문서 수집기는 비 관심문서에서 연결된 관심문서들을 수집할 수 없는 문제점을 가지고 있다. 이러한 문제점은 문서의 구조적 특징을 고려하지 않아서 발생한다. 특히 문서분석 방법인 문서의 발생 횟수 및 역문헌 발생빈도는 이러한 문제를 야기하는 주요 원인이 된다 주제 중심 웹 문서 수집기의 성능을 향상하기 위해서 본 논문에서는 국소 정보기반의 문서 분할법을 제안한다. 본 논문에서는 문서를 하이퍼링크 주변의 문맥을 고려한 특징 정보들을 사용하여 여러 소각의 문서로 나눈다. 본 논문에서 제안하는 주제 중심 웹 문서 수집기는 나누어진 문서들을 이용하여 하이퍼링크가 관심문서를 가리키는 것인지를 판단하여 문서를 수집할 것인지를 판단한다.

관절형 크로라 이동 로봇을 이용한 휠체어의 자동 계단 승월 시스템 (Automatic Stair Climbing System of Wheelchair Using Articulated Crawler Type Mobile Robot)

  • 신재호;한영환
    • 대한의용생체공학회:의공학회지
    • /
    • 제17권1호
    • /
    • pp.1-10
    • /
    • 1996
  • In this paper, describe the automatic climbing wheelchair system use an articulated crawler mobile robot. This wheelchair system(call system) is composed of sensor detecting part and wireless communication part with PC. The sensor parts are consisted of sloping sensor and ultrasonic sensor part. The sloping sensor measures the sloping angle of system, and the ultrasonic sensor measures the distance of system's front wheel center from stair. PC will generate the operation data to climb up the stair using the measured data and make primitives for the system. At firsts This system transfer from sensor data to the PC. PC calculate the operation data to climb up the stair from the internal algorithm. We simulated the system in various stair angle slope($25^{\circ}$, $30^{\circ}$, $45^{\circ}$), and tested it on the real staircase with width 37cm, highlt 18cm, Angle $26^{\circ}$ . There were $0.350^{\circ}$ - $1.060^{\circ}$ Angle errors while climbing because adapted sensor has a precision $0.35^{\circ}$ in resolution. Finally, We implemented the sensor detecting part and the wireless communication park and practiced our system in 4cm/sec speed.

  • PDF

밭 농업용 무한궤도 기반 주행 플랫폼 개발 및 성능 분석 (Development and performance analysis of a crawler-based driving platform for upland farming)

  • 김택진;전현호;아윱;최장영;김용주
    • 드라이브 ㆍ 컨트롤
    • /
    • 제20권4호
    • /
    • pp.100-106
    • /
    • 2023
  • We developed a crawler-based driving platform that can perform harvesting, transportation, pest control, and rotary operation by equipping it with various implements, and analyzed its performance. This single platform was developed to perform as pepper harvester, peanut harvester, and transporter with a 46-kW engine. A simulation model was developed to study the specifications of the platform, and the accuracy was also analyzed. The absolute percentage error ranged from 0.2 to 5.9%, which made it possible to predict the platform performance using simulation model. In T-test, both torque and speed on field and asphalt showed a significant difference (1%). Driving torque required differed depending on the nature of the field, and the speeds also changed based on soil load. The developed platform has the advantage of being equipped with a variety of working tools, expected to be used to harvest root crops in the future.

효과적인 데이터 수집을 위한 웹 크롤러 개선 및 동적 프로세스 설계 및 구현 (Web crawler Improvement and Dynamic process Design and Implementation for Effective Data Collection)

  • 왕태수;송재백;손다연;김민영;최동규;장종욱
    • 한국정보통신학회논문지
    • /
    • 제26권11호
    • /
    • pp.1729-1740
    • /
    • 2022
  • 근래 정보의 다양성과 활용에 따라 많은 데이터가 생성되었고, 데이터를 수집, 저장, 가공 및 예측 하는 빅데이터 분석의 중요성이 확대되었으며, 필요한 정보만을 수집할 수 있는 능력이 요구되고 있다. 웹 공간은 절반 이상이 텍스트로 이루어져 있고, 유저들의 유기적인 상호작용을 통해 수많은 데이터가 발생한다. 대표적인 텍스트 데이터 수집 방법으로 크롤링 기법이 있으나 데이터를 가져올 수 있는 방법에 치중되어 웹 서버나 관리자를 배려하지 못하는 크롤러가 많이 개발되고 있다. 본 논문에서는 크롤링 과정에서 발생할 수 있는 문제점 및 고려해야 할 주의사항에 대해 살펴보고 효율적으로 데이터를 가져올 수 있는 개선된 동적 웹 크롤러를 설계 및 구현한다. 기존 크롤러의 문제점들을 개선한 크롤러는 멀티프로세스로 설계되어 작업소요 시간이 평균적으로 4배정도 감소하였다.

사용자 관심분야에 따른 RSS 채널 추천 시스템 (RSS Channel Recommendation System based on Interesting Field)

  • 김준일;이영석;조정원;최병욱
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2005년도 추계종합학술대회
    • /
    • pp.1153-1156
    • /
    • 2005
  • We propose the RSS Channel retrieval system to activate the blog information transmission. The system consists of a web crawler and blog DB. Web Crawler moves in limited breath first searching method and it collects the RSS Channel Address. Blog DB renews information using RSS. The user could be recommended the RSS Channel using the various query.

  • PDF

BigCrawler: 엣지 서버 컴퓨팅·스토리지 모듈의 동적 구성을 통한 효율적인 빅데이터 처리 시스템 구현 및 성능 분석 (Implementation and Performance Aanalysis of Efficient Big Data Processing System Through Dynamic Configuration of Edge Server Computing and Storage Modules)

  • 김용연;전재호;강성주
    • 대한임베디드공학회논문지
    • /
    • 제16권6호
    • /
    • pp.259-266
    • /
    • 2021
  • Edge Computing enables real-time big data processing by performing computing close to the physical location of the user or data source. However, in an edge computing environment, various situations that affect big data processing performance may occur depending on temporary service requirements or changes of physical resources in the field. In this paper, we proposed a BigCrawler system that dynamically configures the computing module and storage module according to the big data collection status and computing resource usage status in the edge computing environment. And the feature of big data processing workload according to the arrangement of computing module and storage module were analyzed.

유압 디바이스 성능 검사 장비 자동화 공정 개발 (Development of Hydraulic Device Performance Test Equipment Automation Process)

  • 김홍록;정원지;설상석;박상혁;이경태
    • 한국기계가공학회지
    • /
    • 제19권10호
    • /
    • pp.74-80
    • /
    • 2020
  • Crawler-type hydraulic devices facilitate forward and backward driving of construction equipment by converting power into mechanical energy. The existing hydraulic device performance test process is time- and labor-intensive. This study aims to improve efficiency and productivity by automating the hydraulic device production performance test processes, which have been separately conducted so far. We also used SolidWorksⓇ, a 3D modeling program, and ANSYSⓇ, a structural analysis tool, for structural analysis and to verify the suitability of fixing pins required for connecting a hydraulic device to performance test equipment. Our results that employing an automated hydraulic device performance test process improves efficiency.

Design and Implementation of Web Crawler utilizing Unstructured data

  • Tanvir, Ahmed Md.;Chung, Mokdong
    • 한국멀티미디어학회논문지
    • /
    • 제22권3호
    • /
    • pp.374-385
    • /
    • 2019
  • A Web Crawler is a program, which is commonly used by search engines to find the new brainchild on the internet. The use of crawlers has made the web easier for users. In this paper, we have used unstructured data by structuralization to collect data from the web pages. Our system is able to choose the word near our keyword in more than one document using unstructured way. Neighbor data were collected on the keyword through word2vec. The system goal is filtered at the data acquisition level and for a large taxonomy. The main problem in text taxonomy is how to improve the classification accuracy. In order to improve the accuracy, we propose a new weighting method of TF-IDF. In this paper, we modified TF-algorithm to calculate the accuracy of unstructured data. Finally, our system proposes a competent web pages search crawling algorithm, which is derived from TF-IDF and RL Web search algorithm to enhance the searching efficiency of the relevant information. In this paper, an attempt has been made to research and examine the work nature of crawlers and crawling algorithms in search engines for efficient information retrieval.

온라인 소셜네트워크를 통한 한국인의 정치성향 예측 기법의 연구 (A Study on Political Attitude Estimation of Korean OSN Users)

  • 무하마드 에카 위자야;안희준
    • 한국산업정보학회논문지
    • /
    • 제21권4호
    • /
    • pp.1-11
    • /
    • 2016
  • 본 연구는 Facebook 사용자들의 Like활동 정보를 사용하여 정치성향을 예측하기 위한 분석 모델과 프로그램를 개발하였다. Facebook의 Ajax사용 특성 을 반영한 Facebook 크로울러를 개발하였으며, 이를 사용하여 수집된 성기고 방대한 데이터의 상관 매트릭스 정보를 효과적의 축소하기 위한 카테고리 레벨 필터링 기법을 개발하였다. 대한민국 사용자들을 대상으로 LCA (Latent class analysis) 분석한 결과 28 개의 기준 (전체 대상페이지의 3% 미만) 으로 사용자의 정치적인 극성을 상당히 정확하게 (AUC of 0.82) 예측할 수 있음을 확인하였다.

주제 중심 수집기를 이용한 RSS 채널 추천 시스템 (RSS Channel Recommendation System using Focused Crawler)

  • 이영석;조정원;김준일;최병욱
    • 전자공학회논문지CI
    • /
    • 제43권6호
    • /
    • pp.52-59
    • /
    • 2006
  • 최근 빠른 주기로 많은 양의 새로운 정보가 생성되기 때문에, 개인별 관심 분야의 전문화와 블로그의 보급을 위해 RSS라는 신디케이션 기술이 제공되고 있다. 사용자는 RSS 수집기에 RSS 채널의 주소를 등록함으로써, 새롭게 갱신된 콘텐츠를 자동으로 전달받을 수 있어서 신규 정보를 찾기 위해 사이트에 지속적으로 접근하지 않아도 된다. 본 논문에서는 사용자가 웹상에 존재하는 RSS 문서를 효과적으로 이용할 수 있도록 RSS 채널의 주소를 수집하는 주제 중심의 수집가와 사용자 질의에 따른 RSS 채널의 순위 부여 방안을 제안한다. 제안된 RSS 수집기를 이용하면 사용자는 원하는 RSS 채널 주소를 효과적으로 검색 할 수 있어서 자료 검색의 효율성을 증진시킬 수 있다.