• 제목/요약/키워드: Static Crawling

검색결과 9건 처리시간 0.023초

웹페이지에서의 상품 데이터 추출을 위한 동적, 정적 크롤링 비교 및 활용 (Comparison and Application of Dynamic and Static Crawling for Extracting Product Data from Web Pages)

  • 김상혁;김정훈;이승대
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1277-1284
    • /
    • 2023
  • 본 논문에서는 소비자들이 편의점에서 진행 중인 행사상품에 대해 접근하기 쉬운 웹페이지를 제작하였다. 제작하는 과정에서 행사상품의 데이터를 추출하는 두 가지 크롤링 방식인 정적 크롤링과 동적 크롤링을 비교 및 활용하였다. 정적 크롤링은 홈페이지에서 정적인 데이터를 수집하는 추출 방식이고 동적 크롤링은 웹 페이지에서 동적으로 생성되는 페이지의 데이터를 수집하는 추출하는 방식이다. 두 크롤링에 대한 비교를 통해 행사상품 데이터를 추출하는 데에 있어 어떤 크롤링 방식이 더 효과적인 방식인지에 대해 연구하였다. 그 중 효과적인 정적 크롤링을 이용해 웹 페이지를 제작하였으며, 소비자들이 더 손쉽게 확인할 수 있도록 1+1, 2+1 상품들을 카테고리화 하였고 검색기능을 넣어 웹페이지를 제작하였다.

4절 메카니즘을 이용한 준정적 포복 시스템에 관한 연구 (Study on quasi-static crawling system using a four bar mechanism)

  • 전용호;송낙윤;김희국
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1996년도 한국자동제어학술회의논문집(국내학술편); 포항공과대학교, 포항; 24-26 Oct. 1996
    • /
    • pp.924-927
    • /
    • 1996
  • In this work, we investigate the quasi-static crawling of the four-bar mechanism. Since the crawling of the mechanism is based on sliding of contact points of the mechanism with the ground, interaction forces and friction forces at contact points of the mechanism with the ground should be computed. For this purpuse, we introduce the concept of imaginary joints to find these forces. Therefore, we are able to treat the closed mechanism as a serial one. Also, sliding conditions of the mechanism in quasi-static equilibrium are examined. Lastly, the required torques for the mechanism to crawl with respect to various configurations of the mechanism but with a fixed ground friction are investigated.

  • PDF

4절 메커니즘을 이용한 준정적 포복 시스템 (Quasi-Static Crawling System Using a Four Bar Mechanism)

  • 김해수;김민건;임남식;김희국;이병주
    • 제어로봇시스템학회논문지
    • /
    • 제8권3호
    • /
    • pp.226-232
    • /
    • 2002
  • In this work, the quasi-static crawling of the four-bar mechanism is investigated. Since the crawling of the mechanism is based on sliding of contact points of the mechanism with the ground, interaction forces and friction forces at contact points of the mechanism with the ground should be computed. For this purpose, we introduce the concept of imaginary joints to find these forces and treat the closed mechanism as a serial one. Lastly, the required torques for the mechanism to crawl with respect to various configurations of the mechanism on a flat ground with uniform friction coefficient, based on sliding conditions of the mechanism in quasi-static equilibrium, are investigated.

전방향 특성을 갖는 사족보행 로봇에 관한 연구 (Study on a Quadruped Walking Robot with Omni-directional Characteristics)

  • 김희국;이준용;송낙윤;조황
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1996년도 추계학술대회 논문집
    • /
    • pp.815-819
    • /
    • 1996
  • In this work, regular rotational gaits of the quadruped crawling robot required to change its moving direction without affecting be its orientation and its static stability margin are studied. The regular rotational gaits provide the quadruped crawling robot with omnidirectional characteristics. However, the ideal foothold region for each of legs of the quadruped crawling robot is assumed for simplicity. Nonetheless, it is expected that the results of this paper will provide the insight for both design of legs of the crawling robot with omnidirectional characteristics as well as its operation of the crawling robot system with specified stability margin.

  • PDF

웹크롤러의 수집주기 최적화 (Refresh Cycle Optimization for Web Crawlers)

  • 조완섭;이정은;최치환
    • 한국콘텐츠학회논문지
    • /
    • 제13권6호
    • /
    • pp.30-39
    • /
    • 2013
  • 웹 크롤러는 서버의 부담을 최소화하면서도 최신의 데이터를 웹사이트로부터 수집하고 유지해야 한다. 빅데이터 시대와 같이 데이터가 폭발적으로 증가하는 시대에 데이터 소스로부터 자주 모든 데이터를 추출하는 것은 서버에 심각한 부담을 주게 된다. 무선통신 기술과 다양한 스마트 기기들의 확산으로 정보가 급속도로 생성되고 있으며, 어디에서나 어느 시간이나 지속적으로 생성 및 변경되고 있다. 웹크롤러는 이러한 상황을 감안하여 최신의 정보를 적은 오버헤드로 유지해 나가는 것이 중요한 이슈로 부각되고 있다. 본 논문에서는 웹사이트의 변경사항을 체크할 수 있는 효과적인 방안과 웹사이트의 수집 주기를 동적으로 변경함으로써 적은 비용으로 최신성을 유지할 수 있는 방안을 제시한다. 핵심 아이디어는 과거 히스토리로부터 웹사이트 변경이 집중되는 시간을 파악하여 웹수집 주기를 결정하는데 반영한다는 점이다. 논문에서는 특정 웹사이트의 데이터를 추출하는 Java 크롤러를 개발하고, 제안된 방식과 기존 방식의 유용성을 비교하였다. 제안된 기법을 사용하면 정적인 방식보다 서버 오버헤드를 절반정도(46.2%)로 줄이면서도 최신성을 더욱 높게 보장할 수 있게 된다.

Analysis on Regular Rotational Gait of a Quadruped Walking Robot

  • Kim, Whee-Kuk;Whang Cho;Yi, Byung-Ju
    • Transactions on Control, Automation and Systems Engineering
    • /
    • 제4권2호
    • /
    • pp.147-155
    • /
    • 2002
  • In this paper, the regular rotational gaits of the quadruped crawling robot are studied. It is assumed that the proposed regular rotational gaits starts from one of six support patterns in a translational gaits and end up with one of six support patterns in a translational gaits. Noting that six support patterns in a regular translational gait belong to two different groups with respect to regular rotational gait, the static stability margin and the maximum rotational displacement during one rotational stride period for the two representative support patterns are investigated. It is expected that the proposed regular rotational gaits will enhance the omni-directional characteristics of the quadruped crawling robot.

심층 웹 문서 자동 수집을 위한 크롤링 알고리즘 설계 및 실험 (Crawling algorithm design and experiment for automatic deep web document collection)

  • 강윤정;이민혜;원동현
    • 한국정보통신학회논문지
    • /
    • 제27권1호
    • /
    • pp.1-7
    • /
    • 2023
  • 심층 웹 수집은 검색 양식에 질의어를 입력하고 응답 결과를 수집하는 것을 의미한다. 심층 웹이 가진 정보는 정적으로 구성되는 표면 웹보다 약 450~550배 이상의 정보를 가지고 있을 것으로 추산한다. 정적인 방식에서는 웹페이지가 새로 고쳐지기 전까지 변화된 정보를 보여주지 못한다. 동적 웹페이지 방식은 실시간으로 필요한 정보가 갱신되어 웹페이지를 새로 불러오지 않아도 실시간 정보 제공이 가능한 장점이 있지만, 일반적인 크롤러는 갱신된 정보에 접근하는 데 어려움이 있다. 따라서 이들 심층 웹에 있는 정보들을 크롤러를 이용해 자동으로 수집할 방안이 필요하다. 이에 본 논문은 스크립트를 일반적인 링크로 활용하는 방법을 제안하였으며, 이를 위해 클라이언트 스크립트를 일반 URL처럼 활용이 가능한 알고리즘을 제안하고 실험하였다. 제안된 알고리즘은, 검색 양식에 데이터를 입력하는 일반적인 방법 대신 메뉴 탐색 및 스크립트 실행으로 웹 정보를 수집하는 데 중점을 두었다.

Obstacle Avoidance of Quadruped Robots with Consideration to the Order of Swing Leg

  • Yamaguchi, Tomohiro;Watanabe, Keigo;Izumi, Kiyotaka;Kiguchi, Kazuo
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2003년도 ICCAS
    • /
    • pp.645-650
    • /
    • 2003
  • Legged robots can avoid an obstacle by crawling-over or striding, according to the obstacle’s nature and the current state of the robot. Thus, it can be observed that the mobility efficiency to reach a destination is improved by such action. Moreover, if robots have many legs like 4-legged or 6-legged types, then the robot movement range is affected by the order of swing leg. In this paper, the avoidance action of a quadruped robot is generated by a neural network (NN) whose inputs are information on the position of the destination, the obstacle configuration and the robot's self-state. To realize a free gait in static walking, the order of swing leg is determined using an another NN whose inputs are the amount of movements and the robot’s self-state. The design parameter of the latter NN is adjusted by using genetic algorithm (GA).

  • PDF

시간에 따라 변화하는 빗줄기 장면을 이용한 딥러닝 기반 비지도 학습 빗줄기 제거 기법 (Deep Unsupervised Learning for Rain Streak Removal using Time-varying Rain Streak Scene)

  • 조재훈;장현성;하남구;이승하;박성순;손광훈
    • 한국멀티미디어학회논문지
    • /
    • 제22권1호
    • /
    • pp.1-9
    • /
    • 2019
  • Single image rain removal is a typical inverse problem which decomposes the image into a background scene and a rain streak. Recent works have witnessed a substantial progress on the task due to the development of convolutional neural network (CNN). However, existing CNN-based approaches train the network with synthetically generated training examples. These data tend to make the network bias to the synthetic scenes. In this paper, we present an unsupervised framework for removing rain streaks from real-world rainy images. We focus on the natural phenomena that static rainy scenes capture a common background but different rain streak. From this observation, we train siamese network with the real rain image pairs, which outputs identical backgrounds from the pairs. To train our network, a real rainy dataset is constructed via web-crawling. We show that our unsupervised framework outperforms the recent CNN-based approaches, which are trained by supervised manner. Experimental results demonstrate that the effectiveness of our framework on both synthetic and real-world datasets, showing improved performance over previous approaches.