• 제목/요약/키워드: 크롤러

검색결과 87건 처리시간 0.022초

가짜 광고성 피싱 사이트 탐지 모델 및 대응 기술 (Detection Models and Response Techniques of Fake Advertising Phishing Websites)

  • 이은빈;조정은;박원형
    • 융합보안논문지
    • /
    • 제23권3호
    • /
    • pp.29-36
    • /
    • 2023
  • 최근 검색 엔진에서의 가짜 광고성 피싱 사이트 노출이 급증하면서 검색 품질 악화 및 개인정보 유출로 인한 피해가 커지고 있다. 특히, ChatGPT와 같은 도구들을 통한 광고성 피싱 사이트 생성이 자동화될 가능성이 증가함에 따라 해당 문제의 심각성은 더욱 빠르게 악화되고 있다. 본 논문에서는 가짜 광고성 피싱 사이트의 소스 코드를 정적 분석하여 구조적 공통점을 도출하였고 그 중 외국 도메인, 리다이렉션을 바탕으로 사이트를 단계적으로 필터링하는 탐지 크롤러를 개발하여 최종적으로 가짜 광고성 게시물들이 탐지됨을 확인하였다. 또한, 가짜 광고성 사이트의 리다이렉션 페이지가 3가지의 유형으로 나뉘어 각 상황에 따라 다른 사이트를 반환하는 것을 검증함으로써 새로운 가이드라인의 필요성을 입증한다. 나아가 기존의 탐지 방법으로 탐지가 불가한 가짜 광고성 피싱 사이트를 대상으로 새로운 탐지 가이드라인을 제안한다.

크롤러 타입 자주식 수집형 감자 수확기 개발 및 성능분석 (Development and Performance Analysis of Self-Propelled Crawler and Gathering Type Potato Harvester)

  • 김원경;이상희;최덕규;박석호;강연구;문석표;천창욱;김용주;장성혁
    • 드라이브 ㆍ 컨트롤
    • /
    • 제21권2호
    • /
    • pp.23-29
    • /
    • 2024
  • Potatoes are one of the world's four major crops, and domestic consumption is currently increasing in Korea. However, the mechanization rate of potatoes is very low, and especially, harvesting is the most labor-intensive task in potato production. In Korea, potato-collecting work depends on manpower, so it is necessary to develop a gathering-type harvester that can be used for processes from digging to harvesting. Therefore, in this study, a self-propelled-type potato harvester was developed, and its performance was analyzed to mechanize harvesting. The potato harvester was developed to have a crawler-type driving part with a 60 hp diesel engine and consisted of a digging part that digs potatoes from the ground, a vertical transporting part that transfers the dug potatoes to the height of the collection bag, a separating part that separates debris, such as stones and soil, and a collecting part that loads the collection box. A field test of the potato harvester was conducted, and performance was evaluated by the damage, loss, and debris mixing proportions, which were 2.5%, 2.8%, and 2.6%, respectively. The working capacity was 1.2 h/10 a. The economic analysis results showed that the cost of harvesting work could be reduced by 12.7% compared to manual harvesting.

Python을 이용한 SNS 크롤링 시스템 구축 (Building an SNS Crawling System Using Python)

  • 이종화
    • 한국산업정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.61-76
    • /
    • 2018
  • 현대인이 살고 있는 네트워크 세상으로 모든 사물들이 들어오고 있다. 사물에 센서를 부착하는 사물인터넷의 영향으로 인해 네트워크로 실시간 데이터를 주고받는 것이 가능해졌다. 현대인들의 필수품인 모바일 디바이스는 일상생활의 모든 자취를 실시간으로 남기는 역할을 하고 있다. 바로 소셜 네트워크 서비스를 통하여 정보획득 활동과 커뮤니케이션 활동을 실시간으로 거대한 네트워크에 남기고 있는 것이다. 비즈니스 관점에서 고객의 니즈 분석은 바로 SNS 자료에서부터 시작된다는 등가가 성립된다. 본 연구는 웹 환경의 SNS 콘텐츠를 파이썬을 이용하여 실시간으로 자동 수집시스템을 구축하고자 한다. 세계적으로 많은 이용자수를 확보하고 있는 인스타그램, 트위터, 유튜브의 비정형적 데이터 수집 시스템을 통하여 고객의 니즈 분석에 도움이 되고자 한다. 파이썬의 웹드라이버 환경에서 가상 웹브라우저를 이용하여 마이닝 처리와 NLP 과정을 거쳐 DB에 저장된다. 본 연구의 결과 웹페이지를 통하여 서비스를 진행하고자하며 검색 기능만으로 원하는 데이터가 자동 수집되며 데이터의 시계열 분석을 통하여 네티즌의 이슈 반응을 실시간으로 확인할 수 있었다. 또한 검색부터 실행결과가 나오기까지 5초 이내 이루어지므로 제시된 알고리즘의 우수성을 확인하였다.

오픈소스 소프트웨어 개발 플랫폼 활동이 IT 전문직 취업에 미치는 영향 (Do Not Just Talk, Show Me in Action: Investigating the Effect of OSSD Activities on Job Change of IT Professional)

  • 장문경;이새롬;백현미;정윤혁
    • 한국전자거래학회지
    • /
    • 제26권1호
    • /
    • pp.43-65
    • /
    • 2021
  • 정보통신기술의 발달에 따라 IT 인력 채용 방식에도 많은 변화가 생겼다. 채용 담당자들은 이력서나 면접과 같은 전통적인 정보 이외에도 웹에서 구직자 정보를 검색할 수 있다. 오픈소스 소프트웨어 개발(OSSD) 플랫폼은 개발자들이 자연스럽게 IT 역량을 발휘할 수 있는 곳이자, 채용 담당자들이 적합한 후보를 찾을 수 있는 장소가 되었다. 이러한 맥락에서 본 연구는 취업 시 OSSD 플랫폼의 개발자 정보(구직 활동 여부, 개인정보 게시 정도, 학습 활동 정도, 지식공헌 활동 정도)가 취업에 미치는 영향을 분석하였다. 실증분석을 위해 웹 크롤러를 개발하여 대표적인 OSSD 플랫폼인 깃허브의 개발자 4,005명을 대상으로 데이터를 수집했다. 구직 기간이 짧다는 것은 취업의 성공적인 결과를 의미하기 때문에 구직 기간에 영향을 미치는 요인을 살펴보기 위해 생존분석법을 실시하였다. 본 연구의 결과에 따르면, 구직 현황을 명시적으로 게시한 개발자가 그렇지 않은 개발자보다 구직 기간이 짧은 것으로 나타났다. 개인정보 게시 정도, 학습 활동 및 지식공헌 활동 정도 또한 구직기간 단축과 긍정적으로 관련이 있는 것으로 나타났다. 본 연구는 향후 채용 담당자의 성공적인 구인뿐만 아니라 개발자의 효과적인 구직을 위한 OSSD 플랫폼의 전략적인 활용 방안에 시사점을 제시해줄 것이다.

반궤도식 산림작업차 개발(I) - 설계 및 제작 - (Development of the Semi-Crawler Type Mini-Forwarder - Design and Manufacture -)

  • 김재환;박상준
    • 한국산림과학회지
    • /
    • 제100권2호
    • /
    • pp.154-164
    • /
    • 2011
  • 본 연구는 우리나라 험준한 급경사 지형의 단목중심의 목재생산시스템 등에 적합하고 사방사업, 임도사업 등의 다양한 산림작업에 유용하게 활용할 수 있는 다목적의 반궤도식 산림작업차 개발을 목적으로 실시하였다. 산림작업차량의 기본 차체는 최소회전반경 설계기준과 작업도 폭을 고려하여 차체프레임부의 총길이는 5,750 mm, 차체의 폭은 1,900 mm, 적재부의 적재용량은 약 $2.5m^{3}$으로 설계 제작하였다. 동력원은 3,400 rpm의 최대 96마력 출력의 엔진을 선정하였으며, 유압펌프는 2개의 주펌프와 2개의 보조펌프로 나누어 선정하고, 주펌프는 전후좌우 4개의 주행용 유압모터에 사용하고, 보조펌프는 각종 작업기에 사용하도록 설계 제작하였다. 동력전달방식은 HST(Hydro-Static Transmission) 시스템을 적용하였고, 주행부는 조향가능한 전방 고무바퀴와 무한 궤도형으로 회전하는 후방 크롤러로 설계 제작하고, 조향방식은 애커만 조향방식을 채택하였다. 주행조작부는 일반 자동차의 운전 및 운전석 형태로 설계 제작하였으며, 보조장치로 윈치와 로그그래플 및 아웃트리거를 장착하였다. 시작기의 공차시 임도의 주행속도는 저속 5.3 km/hr, 고속 7.7 km/hr로 나타났다.

공저자 네트워크 및 토픽 모델링 기반 여가레크리에이션 학술 연구 특징 분석 (The Research Features Analysis of Leisure and Recreation based on Co-authors Network and Topic Model)

  • 박성건;박광원;강현욱
    • 한국체육학회지인문사회과학편
    • /
    • 제57권2호
    • /
    • pp.279-289
    • /
    • 2018
  • 본 연구의 목적은 워드 클라우드와 LDA 토픽 모델링을 이용하여 공저자 네트워크 및 토픽 모델링 기반 여가레크리에이션 학술 연구의 특징을 분석하는 것이다. 웹 크롤러로 수집된 논문은 2008년 1월~2017년 3월 최근 10년 간 한국체육학회 홈페이지에 게재된 총 2,697편이며, 분석 대상은 여가레크리에이션 관련 문헌 369편이다. 분석 결과, 여가레크리에이션 분야 연구자들의 주요 관심사는 참가자와의 관계와 관련된 요인 분석, 다른 변인 간의 관계, 집단별 효과 차이 검증, 운동 참여, 스포츠 참여형태에 관한 연구로 나타났다. 연구자 네트워크에 링크된 수는 451개이며, 연구자들은 평균 1.52회의 관계를 맺고 있고, 연구자 간 평균 거리는 2.33로 나타났다. 대표저자의 연결정도 중심성에서 Lee. K. M., Hwang. S. H., Lee. C. S. 순으로 높게 나타났고, 근접 중심성은 Seo. K. B., Han. J. H., Kim. K. J. 순으로 나타났다. 마지막으로 매개 중심성은 Lee. C. W., Seo. K. B. 순으로 높게 나타나 여가레크리에이션과 관련된 학술 논문의 연구자들 사이를 연결해주는 역할을 가장 활발히 하는 것으로 나타났다. 향후 연구에서는 미래 여가 연구의 추이와 방향성에 관련하여 학자들 간의 논의가 필요하다.

웹검색 트래픽 정보를 활용한 유커 인바운드 여행 수요 예측 모형 및 유커마이닝 시스템 개발 (Development of Yóukè Mining System with Yóukè's Travel Demand and Insight Based on Web Search Traffic Information)

  • 최유지;박도형
    • 지능정보연구
    • /
    • 제23권3호
    • /
    • pp.155-175
    • /
    • 2017
  • 최근 독감 예측이나 당선인 예측, 구매 패턴, 투자 등 다방면에서 웹검색 트래픽 정보. 소셜 네트워크 내용 등 거대한 데이터를 통해 사회적 현상, 소비 패턴을 분석하는 시도가 이전보다 늘어났다. 구글, 네이버, 바이두 등 인터넷 포털 업체들의 웹검색 트래픽 정보 공개 서비스와 함께 웹검색 트래픽 정보를 활용하여 소비자나 사용자와 관련된 연구가 실시되기 시작했다. 웹검색 트래픽 정보를 활용한 사회 현상, 소비 패턴 분석을 연구는 많이 수행되었으나, 그에 비해서 도출된 여행 수요 모델을 토대로 의사결정을 위한 실질적 대책 수립으로 이어지는 연구는 많이 진행되지 않은 실정이다. 관광산업은 상대적으로 많은 고용을 가능하게 하고 외자를 유치하는 등 고부가가치를 창출하여 경제 전체에 선순환 효과를 일으키는 중요한 산업이다. 그 중에서도 국내 입국외래객중 수년간 2위와의 큰 차이로 1위를 차지해왔던 중국 국적의 관광객 '유커' 및 그들이 지출하는 1인당 평균 관광 수지는 한국 경제에 매우 중요한 한 부분이다. 관광 수요의 예측은 효율적인 자원 배분과 합리적인 의사 결정에 있어서 공공부문 및 민간부문 모두 중요하다. 적절한 관광 수요 예측을 통해서 한정된 자원을 더욱 효과적으로 활용하여 더욱 많은 부가가치를 창출하기 위한 것이다. 본 연구는 중국인 인바운드를 예측하는 방법에 있어, 이전보다 더 최신의 트렌드를 즉각적으로 반영하고 개인들의 집합의 관심도가 포함되어 예측 성능이 개선된 방법을 제안한다. 해외여행은 고관여 소비이기 때문에 잠재적 여행객들이 입국하기 전 웹검색을 통해 적극적으로 자신의 여정과 관련된 정보를 취득하기 위한 활동을 한다. 따라서 웹검색 트래픽 수치가 중국인 여행객의 관심정도를 대표할 수 있다고 보았다. 중국인 여행객들이 한국 여행을 준비하는 단계에서 검색할만한 키워드를 선정해 실제 중국인 입국자 수와 상관관계가 있음을 검증하고자 하였다. 중국 웹검색 엔진 시장에서 80%의 점유율을 가지는 중국 최대 웹검색 엔진 '바이두'에서 공개한 웹검색 데이터를 활용하여 그 관심 정도를 대표할 수 있을 것이라 추정했다. 수집에 필요한 키워드의 선정 단계에서는 잠재적 여행객이 여정을 계획하고 구체화하는 단계에서 일반적으로 검색하게 되는 키워드 후보군을 선정하였다. 키워드의 선정에는 중국 국적의 잠재적 여행객 표본과의 인터뷰를 거쳤다. 트래픽 대소 관계 확인 결과에 따라서 최종 선정된 키워드들을 한국여행이라는 주제와 직접적인 연관을 가지는 키워드부터, 간접적인 연관을 가지는 키워드까지 총 세 가지 레벨의 카테고리로 분류하였다. 분류된 카테고리 내의 키워드들은 바이두'가 제공하는 웹검색 트래픽 데이터 제공 서비스 '바이두 인덱스'를 통해 웹검색 트래픽 데이터를 수집했다. 공개된 데이터 페이지 특성을 고려한 웹 크롤러를 직접 설계하여 웹검색 트래픽 데이터를 수집하였고, 분리되어 수집된 변수에는 필요한 변수 변환 과정을 수행했다. 자동화 수집된 웹검색 트래픽 정보들을 투입하여 중국 여행 인바운드에 대한 유의한 영향 관계를 확인하여 중국인 여행객의 한국 인바운드 여행 수요를 예측하는 모형을 개발하고자 하였다. 정책 의사결정 및 관광 경영 의사결정 같은 실무적 활용을 고려하여 각 변수의 영향력을 정량적으로 설명할 수 있고 설득이 명료한 방법인 다중회귀분석방법을 적용해 선형 식을 도출하였다. 수집된 웹검색 트래픽 데이터를 기존 검증된 모형 독립변인들에 추가적으로 투입함으로써 전통적인 독립변인으로만 구성된 연구 모형과 비교하여 가장 뛰어난 성능을 보이는 모형을 확인하였다. 본 연구에서 검증하려는, 웹검색 트래픽으로 대표되는 독립변인을 투입한 최종 도출된 모형을 통해 중국인 관광 수요를 예측할 때 유의한 영향을 끼치는 웹검색 트래픽 변수를 확인할 수 있다. 최적 모형 설명력을 가지는 모형을 기반으로 최종 회귀 식을 만들었고 이를 '유커마이닝' 시스템 내부에 도입하였다. 데이터 분석에서 더 나아가 도출된 모형을 직관적으로 시각화하고, 웹검색 트래픽 정보를 활용하여 도출할 수 있는 인사이트를 함께 보여주는 데이터 분석 기반의 '유커마이닝' 솔루션의 시스템 알고리즘과 UX를 제안하였다. 본 연구가 제안하는 모형과 시스템은 관광수요 예측모형 분야에서 웹검색 트래픽 데이터라는 정보 탐색을 하는 과정에 놓인 개인들의 인터랙티브하고 즉각적인 변수를 활용한 새로운 시도이다. 실무적으로 관련 정책결정자나 관광사, 항공사 등이 활용 가능한 실제적인 가치를 가지고, 정책적으로도 효과적인 관광 정책 수립에 활용될 수 있다.