• 제목/요약/키워드: 링롤링

검색결과 27건 처리시간 0.028초

K-POP 연관 해시태그 크롤링을 이용한 맛집 추천 시스템 개발 (Development of Restaurant Recommendation System Using K-Pop Hashtag Crawling)

  • 김화선;이채연;조서윤;나정은
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.878-880
    • /
    • 2022
  • COVID-19 상황 속에서도 전 세계 Twitter K-POP 콘텐츠 관련 트윗 양은 78억 건 이상으로 매년 성장세를 보인다. Twitter 내 K-POP 팬들은 아티스트 관련 해시태그를 포함한 트윗을 작성하여 같은 팬덤끼리 실시간으로 정보를 전달하고 생산한다. 이러한 맛집 트윗들은 K-POP 팬들이 Twitter 내에서 신뢰도 있는 맛집 정보를 얻는 용도로 사용된다. 하지만 팬들이 정보를 얻기 위해서는 여러 맛집 해시태그로 검색하고 리트윗 수가 많은 트윗을 직접 찾아야 한다. 기존의 맛집 추천 시스템은 서비스 제공자 중심의 구조를 띤다. 서비스 제공자가 일방적으로 정보를 전달하거나, 사용자 리뷰 갱신 간격이 길다는 한계가 존재한다. 본 논문에서는 Twitter 내 K-POP 맛집 해시태그가 포함된 트윗을 Twitter API와 Tweepy를 사용하여 크롤링하였다. 수집한 데이터의 좋아요 수와 리트윗 수를 바탕으로 데이터 필터링을 진행하여 bot user와 광고 계정이 제외된 맛집 관련 트윗을 추출한다. 최종적으로는 추출한 트윗의 정보를 마커로 표시하여 웹 사이트를 제작하였다. K-POP 팬들은 맛집 해시태그를 검색하여 일일이 찾을 필요 없이 웹 사이트에 방문하여 맛집 위치를 확인할 수 있다. 웹 사이트 사용자의 위치가 지도상에 표시되어 가까운 맛집을 찾기도 편리하다. 본 논문에서는 맛집의 위치를 서대문구로 한정하여 진행했다.

텍스트 마이닝 기반의 데이터 분석 웹 애플리케이션 (Data Analysis Web Application Based on Text Mining)

  • 길완제;김재웅;박구락;이윤열
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.103-104
    • /
    • 2021
  • 본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 웹크롤링 기법을 활용하여 키워드를 입력하면 요약된 논문 정보를 파일로 저장할 수 있고 또한 키워드 빈도 분석과 토픽 모델링 등을 통해 연구 동향을 손쉽게 확인해볼 수 있는 웹 애플리케이션을 설계하고 구현하는 것을 목표로 한다. 제안 모델인 웹 애플리케이션을 통해 프로그래밍 언어와 데이터 분석 기법에 대한 지식이 부족하더라도 논문 수집과 저장, 텍스트 분석을 경험해볼 수 있다. 또한, 이러한 웹 시스템 개발은 기존의 html, css, java script와 같은 언어에 의존하지 않고 파이썬 라이브러리를 활용하였기 때문에 파이썬을 기반으로 데이터 분석과 머신러닝 교육을 수행할 경우 프로젝트 기반 수업 교육 과정으로 채택이 가능할 것으로 기대된다.

  • PDF

머신러닝을 위한 데이터셋 수집 RPA 개발 (Development of Dataset Cllection RPA for Machine Learning)

  • 김기태;서보인;윤상혁;이세훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.295-296
    • /
    • 2020
  • 본 논문에서는 RPA(Robotic Process Automation) Tool 개발 과정 중 머신 러닝, 딥러닝에 필요한 이미지 크롤링 및 전처리 기능을 이용한 가공된 데이터 셋 처리 과정을 기술한다. 개발된 RPA 툴에서 머신러닝 및 딥러닝에 사용될 데이터 확보 기능을 제공하며, 세부적으로 이미지 전처리(Convert Gray, Histogram Equalization, Binary, Resize)등 반복적으로 사용되는 기능들을 제공한다. 개발된 툴을 통해 RPA의 자동화 기능과, 전처리 기능의 융합을 통해 업무의 효율성을 제공한다.

  • PDF

악성사이트 검출을 위한 안전진단 스케줄링 (Security Check Scheduling for Detecting Malicious Web Sites)

  • 최재영;김성기;민병준
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제2권9호
    • /
    • pp.405-412
    • /
    • 2013
  • 최근의 웹은 구현 방법과 이용 패턴이 변화되면서 서로 연결되고 융합되는 형태로 변화하였다. 서비스가 진화되고 사용자 경험이 향상되었으나 다양한 출처의 검증되지 않은 웹자원들이 서로 결합되어 보안 위협이 가중되었다. 이에 웹 확장의 역기능을 억제하고 안전한 웹서비스를 제공하기 위해 확장된 대상에 대한 안전성 진단이 필요하다. 본 논문에서는 웹사이트의 안전한 운영을 위해 안전진단을 외부 링크까지 확장하여, 진단 대상을 선별하고 지속적으로 진단하여 악성페이지를 탐지하고 웹사이트의 안전성을 확보하기 위한 스케줄링 방안을 제안한다. 진단 대상의 접속 인기도, 악성사이트 의심도, 검사 노후도 등의 특징을 추출하고 이를 통해 진단 순서를 도출하여 순서에 따라 웹페이지를 수집하여 진단한다. 실험을 통해 순차적으로 반복 진단하는 것보다 순위에 따라 진단 주기를 조정하는 것이 중요도에 따라 악성페이지 탐지에 효과적임을 확인하였다.

SW 코딩교육에서의 학습분석기반 플립러닝의 학습효과 (Learning Effects of Flipped Learning based on Learning Analytics in SW Coding Education)

  • 피수영
    • 디지털융복합연구
    • /
    • 제18권11호
    • /
    • pp.19-29
    • /
    • 2020
  • 본 연구는 비전공자 학생들 대상으로 효과적인 프로그래밍 학습이 가능하도록 학습 분석을 활용한 플립러닝 교수법의 효과성을 살펴보고자 한다. ADDIE모형을 적용한 플립러닝 프로그래밍 수업모형을 설계한 후 본교에서 운영하고 있는 강의지원시스템의 학습관련 자료를 크롤링하였다. 크롤링 자료를 교수자가 쉽게 이해할 수 있도록 대시보드로 제공하여 교수자는 이를 바탕으로 수업을 보다 효율적으로 설계하여 개별 맞춤 학습이 가능하도록 하였다. 한 학기 수업을 통해 수집된 학습관련 데이터를 바탕으로 분석한 결과 학과, 학년, 출결여부, 과제제출 여부, 예/복습 수강여부가 학업성취도에 영향을 미치는 것으로 나타났으며, 설문 분석결과 학습 분석을 통한 교수자의 개별화된 피드백이 자기주도적 학습에 많은 도움이 되었다고 응답하였다. 본 연구는 학습자의 학습을 촉진시키고 교수자는 교수활동을 개선할 수 있는 기틀을 마련해 주는 계기가 될 것으로 기대한다. 향후 학습자들의 학습과 관련된 소셜네트워크서비스의 내용도 크롤링하여 학습자들의 학습상황을 분석하고자 한다.

요트 계류장의 운동측정 장치 개발과 평가 결과

  • 임정빈;김대희;조수산;조유경;문지웅;박혜리;이상훈;권도언;박은선;조하람
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2012년도 추계학술대회
    • /
    • pp.148-150
    • /
    • 2012
  • 바람이나 파도에 의해서 요트 계류장과 요트 사이 또는 요트 계류장과 계류장 사이에는 충격이 발생하는데, 이러한 충격으로 인하여 계류장 또는 요트가 파손되거나 전복된다. 특히, 방파제 없이 외해에 설치한 요트 계류장은 이러한 위기에 항상 노출되어 있어 이에 대한 대책이 시급한 실정이다. 논문에서는 요트 계류장의 롤링, 히브, 핏칭 등의 운동을 측정하기 위한 하드웨어의 구축과 평가에 관해서 기술하였다. 하드웨어는 MEMS 기반 자이로와 가속도계 등의 관성 센서를 내장한 반도체 센서 SD746을 이용하여 구축하였고, 구축한 하드웨어를 이용하여 소형 요트 계류장에서 발생할 수 있는 운동을 수작업으로 생성하여 측정 및 평가하였다. 실험결과 x-축, y-축, z-축 등 3축 가속도와 3축 각속도 측정이 가능하여 요트 계류장의 운동 상태 모니터링이 가능함을 알았다. 본 연구는 추후 요트 계류장의 위기상태를 평가하고 통보하기 위한 시스템 구축에 이용할 예정이다.

  • PDF

CNN-LSTM 모델 기반의 감성분석을 이용한 상품기획 모델 (Product Planning using Sentiment Analysis Technique Based on CNN-LSTM Model)

  • 김도연;정진영;박원철;박구락
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.427-428
    • /
    • 2021
  • 정보통신기술의 발달로 전자상거래의 증가와 소비자들의 제품에 대한 경험과 지식의 공유가 활발하게 진행됨에 따라 소비자는 제품을 구매하기 위한 자료수집, 활용을 진행하고 있다. 따라서 기업은 다양한 기능들을 반영한 제품이 치열하게 경쟁하고 있는 현 시장에서 우위를 점하고자 소비자 리뷰를 분석하여 소비자의 정확한 소비자의 요구사항을 분석하여 제품기획 프로세스에 반영하고자 텍스트마이닝(Text Mining) 기술과 딥러닝(Deep Learning) 기술을 통한 연구가 이루어지고 있다. 본 논문의 기초자료가 되는 데이터셋은 포털사이트의 구매사이트와 오픈마켓 사이트의 소비자 리뷰를 웹크롤링하고 자연어처리하여 진행한다. 감성분석은 딥러닝기술 중 CNN(Convolutional Neural Network), LSTM(Long Short Term Memory) 조합의 모델을 구현한다. 이는 딥러닝을 이용한 제품기획 프로세스로 소비자 요구사항 반영, 경제적인 측면, 제품기획 시간단축 등 긍정적인 영향을 미칠 것으로 기대한다.

  • PDF

DECO-LGG 언어자원 및 의존파서와 LSTM을 활용한 하이브리드 자질기반 감성분석 플랫폼 DecoFESA 구현 (DecoFESA: A Hybrid Platform for Feature-based Sentiment Analysis Based on DECO-LGG Linguistic Resources with Parser and LSTM)

  • 황창회;유광훈;남지순
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.321-326
    • /
    • 2020
  • 본 연구에서는 한국어 감성분석 성능 향상을 위한 DECO(Dictionnaire Electronique du COreen) 한국어 전자사전과 LGG(Local-Grammar Graph) 패턴문법 기술 프레임에 의존파서 및 LSTM을 적용하는 하이브리드 방법론을 제안하였다. 본 연구에 사용된 DECO-LGG 언어자원을 소개하고, 이에 기반하여 의미 정보를 의존파서(D-PARS)와 페어링하는 한편 OOV(Out Of Vocabulary)의 문제를 LSTM을 통해 해결하여 자질기반 감성분석 결과를 제시하였다. 부트스트랩 방식으로 반복 확장될 수 있는 LGG 언어자원 및 알고리즘을 통해 수행되는 자질기반 감성분석 프로세스는 전용 플랫폼 DecoFESA를 통해 그 범용성을 확장하였다. 실험을 위해서 네이버 쇼핑몰의 '화장품 구매 후기글'을 크롤링하였으며, DecoFESA 플랫폼을 통해 현재 구축된 DECO-LGG 언어자원 기반의 감성분석 성능을 평가하였다. 이를 통해 대용량 언어자원의 구축과 이를 활용하기 위한 어휘 시퀀스 처리 알고리즘의 구현이 보다 정확한 자질기반 감성분석 결과를 제공할 수 있음을 확인하였다.

  • PDF

WCTT: HTML 문서 정형화 기반 웹 크롤링 시스템 (WCTT: Web Crawling System based on HTML Document Formalization)

  • 김진환;김은경
    • 한국정보통신학회논문지
    • /
    • 제26권4호
    • /
    • pp.495-502
    • /
    • 2022
  • 오늘날 웹상의 본문 수집에 주로 이용되는 웹 크롤러는 연구자가 직접 HTML 문서의 태그와 스타일을 분석한 후 수집 채널마다 다른 수집 로직을 구현해야 하므로 유지 관리 및 확장이 어렵다. 이러한 문제점을 해결하려면 웹 크롤러는 구조가 서로 다른 HTML 문서를 동일한 구조로 정형화하여 본문을 수집할 수 있어야 한다. 따라서 본 논문에서는 태그 경로 및 텍스트 출현 빈도를 기반으로 HTML 문서를 정형화하여 하나의 수집 로직으로 본문을 수집하는 웹크롤링 시스템인 WCTT(Web Crawling system based on Tag path and Text appearance frequency)를 설계 및 구현하였다. WCTT는 모든 수집 채널에서 동일한 로직으로 본문을 수집하므로 유지 관리 및 수집 채널의 확장이 용이하다. 또한, 키워드 네트워크 분석 등을 위해 불용어를 제거하고 명사만 추출하는 전처리 기능도 제공한다.

비정형 데이터와 딥러닝을 활용한 내수침수 탐지기술 개발 (Development of a method for urban flooding detection using unstructured data and deep learing)

  • 이하늘;김형수;김수전;김동현;김종성
    • 한국수자원학회논문집
    • /
    • 제54권12호
    • /
    • pp.1233-1242
    • /
    • 2021
  • 본 연구에서는 비정형 데이터인 사진자료를 이용하여 침수의 발생여부를 판단하는 모델을 개발하였다. 침수분류를 모델 개발을 위하여 CNN기반의 VGG16, VGG19을 이용하였다. 모델을 개발하기 위하여 침수사진과 침수가 발생하지 않은 사진을 웹크롤링 방법을 이용하여 사진을 수집하였다. 웹크롤링 방법을 이용하여 수집한 데이터는 노이즈 데이터가 포함되어 있기 때문에 1차적으로 본 연구와 상관없는 데이터는 소거하였으며, 2차적으로 모델 적용을 위하여 224 × 224로 사진 사이즈를 일괄 변경하였다. 또한 사진의 다양성을 위해서 사진의 각도를 변환하여 이미지 증식을 수행하였으며. 최종적으로 침수사진 2,500장과 침수가 발생하지 않은 사진 2,500장을 이용하여 학습을 수행하였다. 모델 평가결과 모델의 평균 분류성능은 97%로 나타났으며. 향후 본 연구결과를 통하여 개발된 모델을 CCTV관제센터 시스템에 탑재한다면 신속하게 침수피해에 대한 대처가 이루어 질 수 있을 것이라 판단된다.