• 디지털융복합연구
• /
• 제16권12호
• /
• pp.317-325
• /
• 2018

새로운 경제적 가치를 창출하고 국가경쟁력을 강화할 목적으로 세계 각국의 정부와 주요 민간 기업들은 빅데이터에 지속적인 관심과 과감한 투자를 하고 있다. 뉴스와 같이 객관적인 데이터를 수집하기 위해서, 데이터 무결성 및 품질의 확보는 전제되어야 한다. 포털 뉴스와 같이 객관적이고 방대한 데이터를 바탕으로 의사결정이나 트렌드 분석을 하고자 하는 연구자나 실무자의 경우, 기존 크롤러 방식을 이용할 경우 데이터 수집 자체가 차단되는 문제점이 발생한다. 본 연구에서는 Amazon Web Services (AWS)에서 제공하는 클라우드 서비스 플랫폼을 이용하여 기존 크롤러 방식의 문제점을 해결하여 웹 데이터를 수집하는 방법을 구현하였다. 또한 이를 바탕으로 국민의 안전과 직결되는 가스 안전 관련 기사를 수집하여 가스 안전과 관련된 이슈를 분석하였다. 본 연구를 통해 가스 안전을 확보하기 위해 5가지 분류, 즉 사고/발생, 예방, 유지/관리, 정부/정책, 그리고 대상 등을 기준으로 가스 안전을 위한 전략이 수립되고, 체계적으로 운영되어야 함으로 확인하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 춘계학술대회
• /
• pp.582-584
• /
• 2014

기존의 웹크롤러들은 서버의 오버헤드 부담을 줄이면서 데이터의 무결성을 보장하기 위해 최적화 방안에 대해 지속적으로 발전해왔다. 기하급수적으로 빠르게 늘어가는 데이터의 양과 그 데이터들 중에서 필요한 데이터를 수집해서 사용해야 하는 현대인들에게 웹크롤러는 필수불가결의 존재이다. 본 논문에서는 기존의 웹크롤러 방식과 제안된 웹크롤러 방식의 효율성을 비교 및 분석하였다. 또한, 비교된 결과를 바탕으로 최적화된 기법을 제안하고, 웹크롤러의 데이터 수집 주기를 동적으로 조절하여 서버 오버헤드를 감소시키는 시스템에 대해 설계하였다. 이는 웹크롤러 방식을 사용하는 검색 시스템 분야에 활용될 것이다.

• 대한임베디드공학회논문지
• /
• 제3권2호
• /
• pp.66-73
• /
• 2008

The pipes have been laid underground while the industry is developing. We have to take maintenance procedure when the pipes are cracked or ruptured. It is very difficult jop to check pipe's crack because the pipes are narrow and laid underground. Using in-pipe robot, we can check the conditions of inner section of pipes, therefore, we designed a crawler type robot to search cracked pipe. In this paper, we have made a special focus on the control of the robot using differential drive algorithm to move in curved section of pipes. The detailed design of the robot with experimental result show the effectiveness of the robot in pipe maintenance.

• Journal of Information Technology Applications and Management
• /
• 제11권4호
• /
• pp.49-60
• /
• 2004

While the World-Wide Web offers an incredibly rich base of information, organized as a hypertext it does not provide a uniform and efficient way to retrieve specific information. Therefore, it is needed to develop an efficient web crawler for gathering useful information in acceptable amount of time. In this paper, we studied the order in which the web crawler visit URLs to rapidly obtain more important web pages. We also developed an internet agent for efficient web crawling using hyperlink structure and fitness of hypertext documents. As a result of experiment on a website. it is shown that proposed agent outperforms other web crawlers using BackLink and PageRank algorithm.

• 한국자동차공학회논문집
• /
• 제5권1호
• /
• pp.101-109
• /
• 1997

A tool for the dynamic simulation and design technique of the excavator plays an important role in the prediction of dynamic behavior of the excavator in the initial design stage. In this paper, a flexible multibody dynamic analysis model including track of the crawler type excavator is developed using DADS and ANSYS. Through the driving simulation of the excavator travelling over rough road track, frequency characteristics of the upper frame and cabin are obtained, and the reaction forces acting on the track rollers are also presented for the fatigue life estimation. The effect of boom vibration modes on the joint reaction forces and accelerations is presented from the swing simulation.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.395-398
• /
• 2017

We propose a web crawler system with keyword extraction function in this paper. Researches on the keyword extraction in existing text mining are mostly based on databases which have already been grabbed by documents or corpora, but the purpose of this paper is to establish a real-time keyword extraction system which can extract the keywords of the corresponding text and store them into the database together while grasping the text of the web page. In this paper, we design and implement a crawler combining RAKE keyword extraction algorithm. It can extract keywords from the corresponding content while grasping the content of web page. As a result, the performance of the RAKE algorithm is improved by increasing the weight of the important features (such as the noun appearing in the title). The experimental results show that this method is superior to the existing method and it can extract keywords satisfactorily.

• 반도체디스플레이기술학회지
• /
• 제18권3호
• /
• pp.140-143
• /
• 2019

The Internet has been expanded constantly and greatly such that we are having vast number of web pages with dynamic changes. Especially, the fast development of wireless communication technology and the wide spread of various smart devices enable information being created at speed and changed anywhere, anytime. In this situation, web crawling, also known as web scraping, which is an organized, automated computer system for systematically navigating web pages residing on the web and for automatically searching and indexing information, has been inevitably used broadly in many fields today. This paper aims to implement a prototype web crawler with Python and to improve the execution speed using threads on multicore CPU. The results of the implementation confirmed the operation with crawling reference web sites and the performance improvement by evaluating the execution speed on the different thread configurations on multicore CPU.

• 한국산림과학회지
• /
• 제104권1호
• /
• pp.98-103
• /
• 2015

반궤도식 임내작업차의 주행안정성 분석을 위하여 동역학분석 프로그램인 RecurDyn을 이용하여 횡전도 분석, 등판능력 분석, 장애물 통과 시뮬레이션을 수행하였다. 동역학분석 프로그램을 해석하는데 필요한 반궤도식 임내 작업차의 형상은 3D CAD모델러인 AutoCAD 3D를 이용하여 모델링하였다. 반궤도식 임내작업차의 공차 및 적재 시에서 횡단기울기 $20^{\circ}$ 이하의 지형에서 주행하는 것이 안전하다는 것을 알 수 있었으며, 종단기울기 시뮬레이션에서는 공차 및 적재 시에 종단경사 $28^{\circ}$ 미만의 지역에서 주행하는 것이 안정적인 것으로 판단되었다. 장애물 통과 시의 주행안정성은 공차 및 적재의 경우, 전륜타이어가 주행속도 각각 5 km/hr 및 4 km/hr 이상일 때 지면과 분리되는 것으로 예측되었으며, 후륜궤도는 지면과의 분리현상이 나타나지 않았으므로 장애물 통과 시에는 최대 5 km/hr 이하가 안전하다는 것을 알 수 있었다.

• 드라이브 ㆍ 컨트롤
• /
• 제20권1호
• /
• pp.16-26
• /
• 2023

Although the upland field area of Korea is high as 44.8%, the platform optimized for the upland field is insufficient. It is necessary to develop an optimized platform for the upland field because the upland field environment is an irregular environment with many slopes. In addition, due to the characteristic of agricultural operations, the traction power and torque of the platform have to be sufficient. Therefore, in this study, a simulation model that can predict the traction power and driving torque of a crawler-type platform for the upland field was developed and validated using the specifications of the crawler platform. The simulation model was developed using Amesim (19.1, Siemens, Germany). The development of the model was conducted using the specifications of the platform. A measurement system was developed to validate the simulation model. The traction power data of the simulation model was validated with the traction force and vehicle speed. The driving torque data of the simulation model was validated with the torque of the sprocket on the crawler system. As a result of the analysis, the error between measurement and simulation results occurred within 10%, and it was determined that the traction power and driving torque prediction of the crawler platform using this model was possible.

• 한국정보통신학회논문지
• /
• 제26권11호
• /
• pp.1729-1740
• /
• 2022

근래 정보의 다양성과 활용에 따라 많은 데이터가 생성되었고, 데이터를 수집, 저장, 가공 및 예측 하는 빅데이터 분석의 중요성이 확대되었으며, 필요한 정보만을 수집할 수 있는 능력이 요구되고 있다. 웹 공간은 절반 이상이 텍스트로 이루어져 있고, 유저들의 유기적인 상호작용을 통해 수많은 데이터가 발생한다. 대표적인 텍스트 데이터 수집 방법으로 크롤링 기법이 있으나 데이터를 가져올 수 있는 방법에 치중되어 웹 서버나 관리자를 배려하지 못하는 크롤러가 많이 개발되고 있다. 본 논문에서는 크롤링 과정에서 발생할 수 있는 문제점 및 고려해야 할 주의사항에 대해 살펴보고 효율적으로 데이터를 가져올 수 있는 개선된 동적 웹 크롤러를 설계 및 구현한다. 기존 크롤러의 문제점들을 개선한 크롤러는 멀티프로세스로 설계되어 작업소요 시간이 평균적으로 4배정도 감소하였다.