• 제목/요약/키워드: Crawler

검색결과 199건 처리시간 0.041초

BigCrawler: 엣지 서버 컴퓨팅·스토리지 모듈의 동적 구성을 통한 효율적인 빅데이터 처리 시스템 구현 및 성능 분석 (Implementation and Performance Aanalysis of Efficient Big Data Processing System Through Dynamic Configuration of Edge Server Computing and Storage Modules)

  • 김용연;전재호;강성주
    • 대한임베디드공학회논문지
    • /
    • 제16권6호
    • /
    • pp.259-266
    • /
    • 2021
  • Edge Computing enables real-time big data processing by performing computing close to the physical location of the user or data source. However, in an edge computing environment, various situations that affect big data processing performance may occur depending on temporary service requirements or changes of physical resources in the field. In this paper, we proposed a BigCrawler system that dynamically configures the computing module and storage module according to the big data collection status and computing resource usage status in the edge computing environment. And the feature of big data processing workload according to the arrangement of computing module and storage module were analyzed.

유압 디바이스 성능 검사 장비 자동화 공정 개발 (Development of Hydraulic Device Performance Test Equipment Automation Process)

  • 김홍록;정원지;설상석;박상혁;이경태
    • 한국기계가공학회지
    • /
    • 제19권10호
    • /
    • pp.74-80
    • /
    • 2020
  • Crawler-type hydraulic devices facilitate forward and backward driving of construction equipment by converting power into mechanical energy. The existing hydraulic device performance test process is time- and labor-intensive. This study aims to improve efficiency and productivity by automating the hydraulic device production performance test processes, which have been separately conducted so far. We also used SolidWorksⓇ, a 3D modeling program, and ANSYSⓇ, a structural analysis tool, for structural analysis and to verify the suitability of fixing pins required for connecting a hydraulic device to performance test equipment. Our results that employing an automated hydraulic device performance test process improves efficiency.

대형물류센터 PC부재 양중을 위한 크레인 궤적거리 산정 기초 연구 (A Basic Study of Crane Trajectory Distance Calculation for Sustainable PC Members Erection of Large Logistic Building)

  • 임지영;오진혁;김선국
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2023년도 봄 학술논문 발표대회
    • /
    • pp.77-78
    • /
    • 2023
  • As large logistics buildings have high floor heights and long spans, these buildings are designed as PC structures, and large cranes are used to lift PC members. PC erection planning can generally cause errors depending on the field engineer's experience. To solve this problem, a basic analysis method is needed to establish a systematic PC member erection plan. Crane work can be minimized if the trajectory is easily and quickly calculated according to the location of the crane and applied to the site. Therefore, the objective of this study is a basic study of crane trajectory distance calculation for sustainable PC members erection of large logistic building. In this study, a crawler crane commonly used for lifting PC members is limited. The trajectory distance for the PC erection plan was automatically calculated using the algorithm.

  • PDF

주제 중심 수집기를 이용한 RSS 채널 추천 시스템 (RSS Channel Recommendation System using Focused Crawler)

  • 이영석;조정원;김준일;최병욱
    • 전자공학회논문지CI
    • /
    • 제43권6호
    • /
    • pp.52-59
    • /
    • 2006
  • 최근 빠른 주기로 많은 양의 새로운 정보가 생성되기 때문에, 개인별 관심 분야의 전문화와 블로그의 보급을 위해 RSS라는 신디케이션 기술이 제공되고 있다. 사용자는 RSS 수집기에 RSS 채널의 주소를 등록함으로써, 새롭게 갱신된 콘텐츠를 자동으로 전달받을 수 있어서 신규 정보를 찾기 위해 사이트에 지속적으로 접근하지 않아도 된다. 본 논문에서는 사용자가 웹상에 존재하는 RSS 문서를 효과적으로 이용할 수 있도록 RSS 채널의 주소를 수집하는 주제 중심의 수집가와 사용자 질의에 따른 RSS 채널의 순위 부여 방안을 제안한다. 제안된 RSS 수집기를 이용하면 사용자는 원하는 RSS 채널 주소를 효과적으로 검색 할 수 있어서 자료 검색의 효율성을 증진시킬 수 있다.

STUDIES ON VIBRATION CHARACTERISTICS OF THE RUBBER CRAWLER --- Dynamic characteristics of the fixed track rollers and movable track rollers ---

  • Kashima, Jun;Inoue, Eiji;Inaba, Shigeki;Sakai, Jun;Kim, Young-Keun
    • 한국농업기계학회:학술대회논문집
    • /
    • 한국농업기계학회 1993년도 Proceedings of International Conference for Agricultural Machinery and Process Engineering
    • /
    • pp.1186-1195
    • /
    • 1993
  • The Japanese type combine harvester has adopted rubber crawlers for the driving mechanism from first production . However, combine harvesters with movable track rollers in the rubber crawler system have been adopted recently for the purpose of stability at the time of climbing over the footpaths between rice fields, as the results of the machines becoming large. However, the dynamic characteristics of movable track rollers have not been clarified. For this reason, the design of movable track rollers depends on trial and errors. It is known that vibration characteristics of the vehicle with movable track rollers are different from the vibration characteristics of the vehicles with fixed track rollers even though the track roller arrangements are the same. Therefore, the theoretical analyses of movable track rollers must be hurried in order to formulate a reasonable track roller arrangement design. the authors have studied the vibration characteristics of the rubber crawler ve icle with fixed track rollers. in this study, the dynamic model of the vehicle with movable track roller sis compared with the dynamic model of the vehicle with fixed track rollers. Next, motions are simulated to analyze the movable track rollers by expanding the motion equation which were constructed for the dynamic model of the fixed track rollers.

  • PDF

크롤러와 형태소 분석기를 활용한 웹상 개인정보 유출 판별 시스템 (Crawlers and Morphological Analyzers Utilize to Identify Personal Information Leaks on the Web System)

  • 이형선;박재희;나철훈;정회경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.559-560
    • /
    • 2017
  • 최근 개인정보 유출 문제가 대두됨에 따라 데이터 수집과 웹 문서 분류에 관한 연구들이 이루어지고 있다. 기존 시스템은 개인정보의 유무 여부만 판단하고 동명이인이나 사용자가 게시한 문서에 대한 분류는 이루어지지 않기 때문에 불필요한 데이터가 필터링 되지 않는 문제점이 있다. 본 논문에서는 이를 해결하기 위해 크롤러와 형태소 분석기를 활용하여 유출된 데이터의 유형이나 동음이의어를 식별할 수 있는 시스템을 제안한다. 사용자는 크롤러를 통해 웹상의 개인정보를 수집한다. 수집된 데이터는 형태소 분석기를 통해 분류한 후 유출된 데이터를 확인할 수 있다. 또한 시스템을 재사용 할 경우 정확도가 더 높은 결과를 얻을 수 있다. 이를 통해 사용자는 맞춤형 데이터를 제공 받을 수 있을 것으로 사료된다.

  • PDF

다양한 계층 트리 구조를 갖는 쇼핑몰 상에서의 상품평 수집을 위한 웹 크롤러 래퍼의 설계 및 구현 (Design and Implementation of Web Crawler Wrappers to Collect User Reviews on Shopping Mall with Various Hierarchical Tree Structure)

  • 강한훈;유성준;한동일
    • 한국지능시스템학회논문지
    • /
    • 제20권3호
    • /
    • pp.318-325
    • /
    • 2010
  • 본 논문에서는 다 계층 구조와 다양한 웹 언어로 구성된 한국내 쇼핑몰로부터 상품평 수집을 위한 래퍼 데이터베이스 기술 언어 및 모델을 제안한다. 기존에 제안된 래퍼 기반 웹 크롤러는 HTML 문서를 수집할 수 있고, 수집 대상으로 하는 문서의 계층 구조는 2~3계층이다. 그러나 한국형 쇼핑몰 사이트는 HTML 문서뿐만 아니라 다양한 웹 언어(JavaScript, Flash, AJAX)로 구성되어 있고, 그 계층 또한 5계층으로 이루어졌다. 웹크롤러가 이 5 계층 사이트에 있는 상품평만을 수집하려고 하면 상품평이 있는 위치를 정확히 알고 있으면 된다. 우리가 제안하는 래퍼에는 이러한 정보를 포함하고 있도록 하였고, 이러한 정보를 기술하기 위해 필요한 래퍼 데이터 기술 문법도 제안한다.

웹 크롤러를 이용한 자동 패치 정보 수집 시스템 (Automatic Patch Information Collection System Using Web Crawler)

  • 김용건;나사랑;김환국;원유재
    • 정보보호학회논문지
    • /
    • 제28권6호
    • /
    • pp.1393-1399
    • /
    • 2018
  • 다양한 소프트웨어를 사용하는 기업은 보안 업체에서 제공하는 패치관리시스템을 사용하여 소프트웨어의 취약점을 일괄적으로 관리해서 보안 수준을 높인다. 시스템 관리자는 최신 소프트웨어 버전을 유지하기 위해 신규 패치 정보를 제공하는 벤더 사이트를 모니터링 하지만 패치를 제공하는 주기가 불규칙적이고 웹 페이지 구조가 다르기 때문에 패치 정보를 검색하고 수집하는데 많은 비용과 모니터링 시간이 소요된다. 이를 줄이기 위해 키워드나 웹 서비스를 기반으로 패치 정보 수집을 자동화하는 연구가 진행되었으나 벤더 사이트에서 패치 정보를 제공하는 구조가 규격화되어 있지 않기 때문에 특정 벤더 사이트에서만 적용 가능했다. 본 논문에서는 패치 정보를 제공하는 벤더 사이트 구조와 특징을 분석하고 패치 정보 수집에 소모되는 비용과 모니터링 시간을 줄이기 위해서 웹 크롤러를 이용해 패치 정보 수집을 자동화하는 시스템을 제안한다.

신뢰성 유지를 위한 이벤트 기반 실시간 웹크롤러의 설계 및 구현 (Design and Implementation of Event-driven Real-time Web Crawler to Maintain Reliability)

  • 안용학
    • 한국융합학회논문지
    • /
    • 제13권4호
    • /
    • pp.1-6
    • /
    • 2022
  • 웹 크롤링 데이터를 이용한 실시간 시스템은 원격지의 데이터와 동일한 데이터베이스의 데이터를 사용자에게 제공해야 하며, 이를 위해서 웹 크롤러는 원격지 데이터의 변경 여부를 확인하기 위해 원격 서버에 반복적인 HTTP(HyperText Transfer Protocol) 요청을 수행해야 한다. 이 과정은 크롤링 서버와 원격 서버의 네트워크 부하를 일으키며 과도한 트래픽 발생 등의 문제의 원인이 된다. 이러한 문제점을 해결하기 위해 본 논문에서는 사용자 이벤트를 기반으로 크롤링 서버의 데이터와 다중 원격지 데이터와의 동일성을 유지하는 신뢰성을 확보함과 동시에 네트워크의 과부하를 줄일 수 있는 실시간 웹 크롤링 기법을 제안한다. 제안된 방법은 단위 데이터와 목록 데이터를 요청하는 이벤트를 기반으로 크롤링 프로세스를 수행한다. 실험 결과, 제안된 방법은 기존 웹 크롤러에서의 네크워크 트래픽 과부하를 줄이면서 데이터의 신뢰성을 확보할 수 있음을 확인하였다. 향후에는 이벤트 기반 크롤링과 시간 기반 크롤링에 대한 융합에 대한 연구가 필요하다.