• 제목/요약/키워드: Crawling

검색결과 371건 처리시간 0.023초

A Study on the Necessity for the Standardization of Information Classification System about Construction Products

  • Hong, Simhee;Yu, Jung-ho
    • 국제학술발표논문집
    • /
    • The 7th International Conference on Construction Engineering and Project Management Summit Forum on Sustainable Construction and Management
    • /
    • pp.121-123
    • /
    • 2017
  • The widespread dissemination of the green building certification system has led to the ongoing development of information management technologies with the aim to effectively utilize construction product information. Among them, a data crawling technology enables to collect the data conveniently and to manage large volumes of construction product information in Korea and overseas. However, without a standardized classification system, it is difficult to efficiently utilize information, and problems such as an additional work for classifying information or information-sharing errors. Therefore, this study suggests to present a necessity for the standardization of the information classification system through expert interviews, and to compare construction product classification systems in Korea and overseas. This study is expected to present a necessity for the effective management of construction product information and the standardization of information-sharing with regard to various construction certifications.

  • PDF

웹 크롤링을 통한 개인 맞춤형 정보제공 애플리케이션 (Information-providing Application Based on Web Crawling)

  • 김주현;최정은;신우경;박민준;김태국
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.295-296
    • /
    • 2023
  • 본 논문에서는 웹 크롤링을 통한 개인 맞춤형 정보제공 애플리케이션에 관해 연구하였다. 본 서비스는 Java의 Jsoup 라이브러리를 이용해서 웹 크롤링(Web Crawling)한 데이터를 MySQL에 저장한다. 이를 통해 사용자가 지정한 키워드를 필터링하여 사용자에게 정보를 제공한다. 예를 들어 사용자가 지정한 키워드 관련 공지 사항이 업데이트되면 구현한 앱 내에서 확인 가능하며, KakaoTalk 알림톡을 통해서도 업데이트된 정보를 실시간으로 전송받는 서비스를 구현하였다.

프로바디마사지가 뇌병변 장애우의 신체적 특성과 대동작 기능 및 관절 가동범위에 미치는 영향 : 사례연구 (Effects of the Probody Massage on the Physical Characteristics, Gross Motor Function and ROM in Youth with Cerebral Palsy : Case study)

  • 김의숙;양정옥;이중숙
    • 한국운동역학회지
    • /
    • 제25권4호
    • /
    • pp.453-463
    • /
    • 2015
  • Objective : The purpose of this study was to investigate the effects of the Probody Massage Program on the physical characteristics, gross motor function and ROM (Range Of Motion) of children with cerebral palsy. Method : The subjects of this study were two children who have been diagnosed with first grade cerebral palsy that utilized T development support center located in B Metropolitan city for 8 weeks, twice a week, to carry out the Probody Massage Program for 30 minutes. Physiological reactions (height, weight, BMI, blood pressure (an index of inflammation), pulse rate) and large operating functions (sitting, crawling and the joints' range of motion as an angle of the shoulders' upper limb articulation) were measured pretest, after 4 weeks, and after 8 weeks. Results : The Probody Massage Program showed positive changes in physical characteristics (blood pressure, sitting, and crawling), gross motor function (upper limb shoulder movement), joint range of motion, height, body weight, metabolic activation and blood circulation of children with cerebral palsy. Conclusion : We believe making a practical impact on the growth and development, functional recovery of daily life, and improvement of quality of life of children with cerebral palsy by utilizing Probody Massage Program improves blood pressure (an index of inflammation), pulse, sitting, crawling, and the joints' range of motion as an angle of the shoulder joints' upper limb movement of children with cerebral palsy.

액터-크리틱 퍼지 강화학습을 이용한 기는 로봇의 제어 (Control of Crawling Robot using Actor-Critic Fuzzy Reinforcement Learning)

  • 문영준;이재훈;박주영
    • 한국지능시스템학회논문지
    • /
    • 제19권4호
    • /
    • pp.519-524
    • /
    • 2009
  • 최근에 강화학습 기법은 기계학습 분야에서 많은 관심을 끌어왔다. 강화학습 관련 연구에서 가장 유력하게 사용되어 온 방법들로는 가치함수를 활용하는 기법, 제어규칙(policy) 탐색 기법 및 액터-크리틱 기법 등이 있는데, 본 논문에서는 이들 중 연속 상태 및 연속 입력을 갖는 문제를 위하여 액터-크리틱 기법의 틀에서 제안된 알고리즘들과 관련된 내용을 다룬다. 특히 본 논문은 퍼지 이론에 기반을 둔 액터-크리틱 계열 강화학습 기법인 ACFRL 알고리즘과, RLS 필터와 NAC(natural actor-critic) 기법에 기반을 둔 RLS-NAC 기법을 접목하는 방안을 집중적으로 고찰한다. 고찰된 방법론은 기는 로봇의 제어문제에 적용되고, 학습 성능의 비교로부터 얻어진 몇 가지 결과가 보고된다.

웹 사전 크롤링을 이용한 데이터베이스 메타데이터 표준화 처리 모델 (Database metadata standardization processing model using web dictionary crawling)

  • 정하나;박구락;정영석
    • 디지털융복합연구
    • /
    • 제19권9호
    • /
    • pp.209-215
    • /
    • 2021
  • 데이터 품질 관리는 최근 중요한 이슈로 자리잡았다. 데이터베이스의 메타데이터 표준화는 데이터 품질관리 방안 중 하나이다. 본 연구에서는 일관된 메타데이터 관리를 위하여 표준단어사전 관리를 지원하는 알고리즘을 제시한다. 해당 알고리즘은 웹 사전 크롤링을 통해 데이터베이스 메타데이터의 동의어 관리 자동화를 지원한다. 또한 웹 사전 크롤링 과정에서 생길 수 있는 동음이의어 판별 이슈를 해결하여 데이터의 정확도를 향상시킨다. 본 연구에서 제안하는 알고리즘은 기존의 수동적 관리에 비해 메타데이터 데이터 품질의 신뢰도를 높인다. 또한 이음동의어 데이터 등록 및 관리에 소비되는 시간을 단축시킬 수 있다. 새로운 데이터 표준화 부분 자동화 모델에 대한 추가 연구는 향후 데이터 표준화 프로세스에서 자동화 가능한 작업을 파악하여 진행되어야 한다.

악성코드 은닉사이트의 분산적, 동적 탐지를 통한 감염피해 최소화 방안 연구 (A Study on Minimizing Infection of Web-based Malware through Distributed & Dynamic Detection Method of Malicious Websites)

  • 신화수;문종섭
    • 정보보호학회논문지
    • /
    • 제21권3호
    • /
    • pp.89-100
    • /
    • 2011
  • 최근 웹 사이트를 통해 유포되는 웹 기반 악성코드가 심각한 보안이슈로 대두되고 있다. 기존 웹 페이지 크롤링(Crawling) 기반의 중앙 집중식 탐지기법은, 크롤링 수준을 웹 사이트의 하위링크까지 낮출 경우 탐지에 소요되는 비용(시간, 시스템)이 기하급수적으로 증가하는 문제를 가지고 있다. 본 논문에서는 웹 브라우저 이용자가 악성코드 은닉 스크립트가 포함된 웹 페이지에 접속할 경우 이를 동적으로 탐지하여 안전하게 브라우징 해줌으로써, 감염 피해를 예방할 수 있는 웹 브라우저 기반의 탐지도구들 제시하고, 이 도구를 적용한 분산된 웹 브라우저 이용자가 모두 악성코드 은닉 웹 페이지 탐지에 참여하고, 탐지결과를 피드백 함으로써, 웹 사이트의 하부 링크까지 분산적, 동적으로 탐지하고 대응할 수 있는 모델을 제안한다.

뉴스 기사의 크롤링을 통한 국내 기업의 안티 드론에 사용되는 기술 현황 분석 (An Analysis on Anti-Drone Technology Trends of Domestic Companies Using News Crawling on the Web)

  • 김규석
    • 한국항행학회논문지
    • /
    • 제24권6호
    • /
    • pp.458-464
    • /
    • 2020
  • 드론은 관련 기술의 발달로 건설, 물류, 과학 연구, 촬영 등을 비롯하여 장난감까지 다양한 목적으로 보편화 되고 있다. 그러나 드론을 범죄나 테러 목적으로 사용하면서 이를 무력화 하는 Anti-drone 관련 기술의 연구, 개발도 활발히 진행되고 있는 상황이다. Anti-drone 기술의 범위는 탐지, 식별, 무력화로 구분할 수 있다. 드론을 무력화를 하는 방식은 전파 방해 등으로 탐지한 드론을 막는 소프트킬 방식이 있고, 물리적으로 파괴하는 하드킬 방식이 있다. 본 연구에서는 Anti-drone과 관련된 Google 및 Naver의 뉴스 기사를 Crawling 하였다. 국내 뉴스 기사를 분석하여 RF, GNSS, Radar 등의 기술을 찾았다. 이와 관련하여 해당 기술의 일반적인 특징과 사용 현황에 대하여 기술하였고, 각 기업 또는 기관의 Anti-drone에서의 적용 현황을 조사, 분석하였다.

효과적인 데이터 수집을 위한 웹 크롤러 개선 및 동적 프로세스 설계 및 구현 (Web crawler Improvement and Dynamic process Design and Implementation for Effective Data Collection)

  • 왕태수;송재백;손다연;김민영;최동규;장종욱
    • 한국정보통신학회논문지
    • /
    • 제26권11호
    • /
    • pp.1729-1740
    • /
    • 2022
  • 근래 정보의 다양성과 활용에 따라 많은 데이터가 생성되었고, 데이터를 수집, 저장, 가공 및 예측 하는 빅데이터 분석의 중요성이 확대되었으며, 필요한 정보만을 수집할 수 있는 능력이 요구되고 있다. 웹 공간은 절반 이상이 텍스트로 이루어져 있고, 유저들의 유기적인 상호작용을 통해 수많은 데이터가 발생한다. 대표적인 텍스트 데이터 수집 방법으로 크롤링 기법이 있으나 데이터를 가져올 수 있는 방법에 치중되어 웹 서버나 관리자를 배려하지 못하는 크롤러가 많이 개발되고 있다. 본 논문에서는 크롤링 과정에서 발생할 수 있는 문제점 및 고려해야 할 주의사항에 대해 살펴보고 효율적으로 데이터를 가져올 수 있는 개선된 동적 웹 크롤러를 설계 및 구현한다. 기존 크롤러의 문제점들을 개선한 크롤러는 멀티프로세스로 설계되어 작업소요 시간이 평균적으로 4배정도 감소하였다.

건설현장 영상 분석을 위한 웹 크롤링 기반 학습 데이터베이스 구축 자동화 (Automated Training Database Development through Image Web Crawling for Construction Site Monitoring)

  • 황정빈;김진우;지석호;서준오
    • 대한토목학회논문집
    • /
    • 제39권6호
    • /
    • pp.887-892
    • /
    • 2019
  • 건설현장 영상 자동 모니터링을 목적으로 많은 연구자들이 영상분석기술을 활발히 개발하고 있다. 높은 성능의 영상분석기술을 개발하기 위해서는 다량의 고품질 학습용 이미지 데이터베이스(Database, DB)를 구축해야 한다. 하지만 기존의 학습 DB 구축 방법은 사람이 건설현장을 직접 방문하여 카메라를 설치하고 각각의 목적에 알맞은 영상을 수집하여 DB를 직접 구축하고 있기 때문에 이에 많은 비용과 시간이 요구된다. 뿐만 아니라 이 같은 사람 의존적인 방식은 건설현장의 다양한 특성을 모두 반영한 DB를 구축하는 것에 한계가 있다. 이러한 한계를 극복하기 위해서 본 연구는 웹 크롤링(Web Crawling) 기법을 활용하여 건설현장 영상분석을 위한 학습 이미지 DB를 자동으로 구축하는 프레임워크를 제안한다. 프레임워크 검증을 위해 건설공종과 건설장비에 대한 학습 DB를 구축하여 영상분석모델을 학습 및 평가하는 실험을 진행하였다. 그 결과, 건설현장 모니터링을 위한 학습용 이미지 DB를 자동으로 구축할 수 있었을 뿐만 아니라 이를 토대로 개발한 영상분석모델이 건설공종과 건설장비를 성공적으로 분류하는 것을 확인하였다. 결과적으로 기존의 방식보다 학습 DB를 구축하는 데 필요한 시간과 비용을 최소화할 수 있었다.

A Study of Comparison between Cruise Tours in China and U.S.A through Big Data Analytics

  • Shuting, Tao;Kim, Hak-Seon
    • 한국조리학회지
    • /
    • 제23권6호
    • /
    • pp.1-11
    • /
    • 2017
  • The purpose of this study was to compare the cruise tours between China and U.S.A. through the semantic network analysis of big data by collecting online data with SCTM (Smart crawling & Text mining), a data collecting and processing program. The data analysis period was from January $1^{st}$, 2015 to August $15^{th}$, 2017, meanwhile, "cruise tour, china", "cruise tour, usa" were conducted to be as keywords to collet related data and packaged Netdraw along with UCINET 6.0 were utilized for data analysis. Currently, Chinese cruisers concern on the cruising destinations while American cruisers pay more attention on the onboard experience and cruising expenditure. After performing CONCOR (convergence of iterated correlation) analysis, for Chinese cruise tour, there were three clusters created with domestic destinations, international destinations and hospitality tourism. As for American cruise tour, four groups have been segmented with cruise expenditure, onboard experience, cruise brand and destinations. Since the cruise tourism of America was greatly developed, this study also was supposed to provide significant and social network-oriented suggestions for Chinese cruise tourism.