• Title/Summary/Keyword: Crawler

Search Result 199, Processing Time 0.024 seconds

Design and Implementation of a Globus-based Distributed Web Crawler Manager on Grid Environment (글로버스 기반 그리드 환경에서의 분산 웹 크롤러 매니저 설계 및 구현)

  • Kim, Hyuk-Ho;Lee, Seung-Ha;Park, Chan-Ho;Kim, Yang-Woo;Lee, Phil-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.945-948
    • /
    • 2005
  • 그리드 정보검색 시스템은 일반적인 정보검색 시스템의 문제점과 한계점을 인식하고, 그리드라는 분산처리 환경을 기반으로 정보검색 시스템을 구축함으로써 보다 효율적이고 유연한 확장성을 갖는 정보검색 서비스를 제공한다. 본 논문에서는 그리드 시스템 환경에 맞게 그리드 미들웨어 중에 하나인 글로버스 툴킷(Globus Toolkit)을 이용하여 정보검색을 위한 가상 조직(VO: Virtual Organization)을 구성했다. 그리고 그리드 정보검색을 위한 전단계로 웹상에서 각종 정보를 수집하는 P2P 기반 분산 크롤러들을 관리하는 크롤러 매니저를 그리드 서비스로 설계 및 구현하여 그리드 정보검색 시스템에 존재하는 다른 서비스들과 함께 활용할 수 있도록 하였다.

  • PDF

A Method of Link Extraction on Non-standard Links in Web Crawling (웹크롤러의 비표준 링크에 관한 링크 추출 방안)

  • Jeong, Jun-Yeong;Jang, Mun-Su;Gang, Seon-Mi
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2008.04a
    • /
    • pp.79-82
    • /
    • 2008
  • 웹크롤러는 웹페이지 내의 URL링크를 추적하여 다른 문서를 수집한다. 국내의 상당수 웹사이트는 웹 표준에 맞지 않는 링크방식으로 웹문서를 연결하고 있다. 일반적인 웹크롤러는 링크의 비표준적인 사용을 가정하지 않기 때문에 이러한 문서는 수집할 수 없다. 비표준적인 링크가 가능한 것은 사용자의 실수에 강인한 마크업 언어인 HTML에 자바스크립트 기능이 추가되면서 자바스크립트의 변칙적인 사용이 허용되었기 때문이다. 본 논문에서는 230여개의 웹사이트를 조사하여 기존 웹크롤러에서 해결하지 못한 링크 추출 문제를 찾아내고, 이를 수집하기 위한 알고리즘을 제안한다. 또한 자바스크립트 문제 해결을 위한 무거운 자바스크립트 엔진을 대신하여 필요한 기능만으로 구성된 모듈을 사용함으로써 효율적인 문서 수집기 모델을 제안한다.

  • PDF

DEVELOPMENT OF LEVEE WEEDING ROBOT - Pathway Control System on the Strait Levee -

  • Takeda, J.;Takahashi, S.;Torisu, R.;Ashraf, M.A.
    • Proceedings of the Korean Society for Agricultural Machinery Conference
    • /
    • 2000.11b
    • /
    • pp.325-332
    • /
    • 2000
  • The objective of this research work is to develop an autonomous levee-weeding robot. In this paper, pathway control system for the robot is developed and simulated. A prototype autonomous vehicle for levee weeding is also developed and used in the actual test. The results obtained in this research work is summarized as follows; 1) The simulated typical time history of lateral displacements and heading angle of the vehicle in straight run shows that the vehicle tendency is always to achieve the target path from any of its deviated position and heading angle. 2) The test run on an asphalt surface by the prototype crawler-type vehicle is in good agreement with the simulation results.

  • PDF

Standardization of Cautious blasting (정밀발파의 표준화)

  • Huh Ginn
    • Explosives and Blasting
    • /
    • v.8 no.3
    • /
    • pp.3-13
    • /
    • 1990
  • First ot of all, under given condition such as bit gage of 36mm Drill bit with right class of jack-leg-experimental test carried out from two face of Bench, firing of each hole brought 90 degree Angle face and them measured length of Burden and charged ammount of powder as following. $ca=\frac{A}{SW}$ A=Activated Area A=nd i=m S=Peripheral length of charged, room Ca=Rock Coeffiecency d: di=Hole diameter When constructed subway of Seoul in 1980 the blasting works increased complaint of ground vibration, in order to prevent the damage to structures. Some empirical equations were made as follows on condition with Jackleg Drill (Bit Gage 36mm) and within 30 meter distance between blasting site and structures. $V=K(D/W)^{-n}$ N=1.60 - 1.78 K= 48 - 138 Project is one of contineous works to above a determination of empirical equation on the cautious blasting vibration with Crawler Drill (70-75mm) in long distance. $V=41(D/\sqrt[3]{W})^{-1.41}$ $30m\le{D}\le{100m}$ $V=124(D/\sqrt[3]{W})^{-1.66}$ $100m\le{D}\le{285m}$.

  • PDF

Design and Implementation of Distributed Web Crawler Using Globus Environment (글로버스를 이용한 분산 웹 크롤러의 설계 및 구현)

  • 이지선;김양우;이필우
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04a
    • /
    • pp.712-714
    • /
    • 2004
  • 대부분의 웹 검색 엔진들과 많은 특화된 검색 도구들은 웹 페이지의 색인화와 분석을 위한 전처리 단계로 대규모 웹 페이지들을 수집하기 위해 웹 크롤러에 의존한다. 일반적인 웹 크롤러는 몇 주 또는 몇 달의 주기에 걸쳐 수백만 개의 호스트들과 상호작용을 통해 웹 페이지 정보를 수집한다. 본 논문에서는 이러한 크롤러의 성능향상과 효율적인 실행을 위해 그리드 미들웨어인 글로버스 툴킷을 이용하여 분산된 크롤러를 제안한다. 본 웹 크롤러의 실행은 그 기능의 분산처리를 위한 각 호스트 서버들을 글로버스로 연결하고, 인증하여, 작업을 할당하는 단계와, 크롤러 프로그램이 실행되어 자료를 수집하는 단계. 마지막으로 이렇게 수집된 웹 페이지 정보들을 처음 명령한 시스템으로 반환하는 단계로 나누어진다. 결과 수집 작업을 보다 분산화 할 수 있게 하였으며 여러 대의 저 비용의 시스템에서 고 비용, 고 사양의 서버의 성능을 얻을 수 있었으며, 확장이 용이하고, 견고한 크롤러 프로그램 및 시스템 환경을 구축할 수 있었다.

  • PDF

Advanced Manufacturing Technologies on the World Wide Web: Methodologies and Application Techniques (World Wide Web 상의 첨단 생산 기술: 방법론과 응용기술)

  • Kim, Seong-Jip;Kim, Nak-Hyun;Yang, Tae-Kon
    • IE interfaces
    • /
    • v.9 no.3
    • /
    • pp.306-316
    • /
    • 1996
  • The easily use of WWW and Web browser of INTERNET makes the world our stage. But when we search for the information and resource that we want, the information supplied by search engine (e.g., Yahoo, Lycos, WebCrawler, Alta Vista) is inadequate to acquire the necessary and related information of research issues. This paper surveys AMT(Advanced Manufacturing Technology) which is the research topics recently on the WWW(WorLd Wide Web) and provides searching methods and information for academic research, technical report, proceedings, software, etc. It also briefly surveys WWW-VL(Virtual Library) and reviews the major three technology, CALS (Commerce At Light Speed), AMS(Agile Manufacturing System), CE(Concurrent Engineering), that is recently the focus of the research issue of Industrial Engineer.

  • PDF

Three Dimensional Modeling and Simulation of a Wheel Loader (휠로더의 3 차원 모델링 및 시뮬레이션)

  • Park, Jun-Yong;Yoo, Wan-Suk;Kim, Heui-Won;Hong, Je-Min;Ko, Kyoung-Eun
    • Proceedings of the KSME Conference
    • /
    • 2004.04a
    • /
    • pp.870-874
    • /
    • 2004
  • This paper presents a three dimensional modeling and simulations of operation and running of a wheel loader using the ADAMS program. A wheel loader consists of a bucket, a boom, a crank, a front frame, a rear frame, a bucket cylinder, two boom cylinders, two steering cylinders, nine spherical joints, six universal joints, five translation joints, three inline joints, a revolute and a fixed joint. Judging from the actual degrees of freedom of the wheel loader, proper kinematic joints are selected to exclude redundant constraints in the modeling. Through the running simulation over a bump with the three dimensional modeling, the joint reaction forces are calculated.

  • PDF

Experimental Technique for Trafficability on Soft Benthic Terrain (I) : Soil bin (해저 연약지반 주행성능 실험기법 연구 (I) : 주행실험토조)

  • Choi, Jong-Su;Hong, Sup;Kim, Hyung-Woo
    • Proceedings of the Korea Committee for Ocean Resources and Engineering Conference
    • /
    • 2002.10a
    • /
    • pp.224-228
    • /
    • 2002
  • To study the trafficability on soft and cohesive benthic terrain, a soil bin is designed and constructed. The information of shear strength of pacific seafloor and the results of dimensional analysis of vehicle-train system are used as basic datum for concept design of soil bin. Cohesive benthic terrain is modeled by means of bentonite-water mixture. The shear strength of the mixture is measured by motorized shear meter. Several facilities are constructed for mixing and evening modeled soil, transporting vehicle model. The shear strength in soil bin is investigated for depth, age and velocity. The result of this study is used as basic information to the experiment, study for development of crawler on benthic terrain.

  • PDF

A Study on Real-Time Corrosion Thickness Measurement Technique of Insulated Pipeline (보온재 부착 파이프라인의 부식두께 측정에 관한 연구)

  • Jang, Ji-Hun;Jo, Gyeong-Sik;Lee, Jong-O;Kim, Gi-Dong
    • 연구논문집
    • /
    • s.31
    • /
    • pp.135-147
    • /
    • 2001
  • The wall-thickness of insulated pipelines can be easily evaluated by measuring the gamma-ray transmission intensity because this intensity is inversely proportional to the thickness of insulated pipeline. The main purpose of this study is to develop the nondestructive and filmless on-line inspection system of corrosion by measuring the wall thickness of insulated pipeline. The inspection system is constructed with radioisotope, 64 channel photo diode array detector, crawler system and data taking and operating software. The traditional off-line radiographic method carried out by exposing film cassettes can be replaced by this cost-effective on-line digital imaging method and the application will be greatly expected especially in the chemical and petrochemical industries.

  • PDF

Analyzing Ad Injection Apps in Android (안드로이드 환경에서의 광고 인젝션 앱 분석)

  • Koo, Seong-Min;Kim, Deok-Han;Oh, Se-Ra;Kim, Young-Gab
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.257-259
    • /
    • 2018
  • 모바일 환경이 발전함에 따라 기존 PC 환경에서의 보안 위협이 모바일 환경으로 옮겨 짐으로써, 기존 PC 환경에서 발생하던 악성 광고 인젝션 또한 모바일 환경으로 옮겨져 가고 있다. 악성 광고 인젝션은 컨텐츠 제공자에게 정당한 광고의 노출을 방해함으로써 수익 창출을 방해하고, 사용자에게는 원치 않는 광고로 인해 불편함을 야기한다. 이러한 모바일 환경에서의 악성 광고 인젝션을 막기 위해 몇 가지 연구가 진행되었지만 아직 악성 광고 인젝션 앱의 특징에 대한 연구가 미비하다. 따라서, 본 논문에서는 GPC(Google Play Crawler)를 통해 선별한 앱들 중 실제로 악성 광고 인젝션을 수행하는 앱들을 분석하여 악성 광고 앱들의 특징을 도출해 내고, 도출된 특징의 활용 방안에 대해 서술한다.