• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.878-880
• /
• 2022

COVID-19 상황 속에서도 전 세계 Twitter K-POP 콘텐츠 관련 트윗 양은 78억 건 이상으로 매년 성장세를 보인다. Twitter 내 K-POP 팬들은 아티스트 관련 해시태그를 포함한 트윗을 작성하여 같은 팬덤끼리 실시간으로 정보를 전달하고 생산한다. 이러한 맛집 트윗들은 K-POP 팬들이 Twitter 내에서 신뢰도 있는 맛집 정보를 얻는 용도로 사용된다. 하지만 팬들이 정보를 얻기 위해서는 여러 맛집 해시태그로 검색하고 리트윗 수가 많은 트윗을 직접 찾아야 한다. 기존의 맛집 추천 시스템은 서비스 제공자 중심의 구조를 띤다. 서비스 제공자가 일방적으로 정보를 전달하거나, 사용자 리뷰 갱신 간격이 길다는 한계가 존재한다. 본 논문에서는 Twitter 내 K-POP 맛집 해시태그가 포함된 트윗을 Twitter API와 Tweepy를 사용하여 크롤링하였다. 수집한 데이터의 좋아요 수와 리트윗 수를 바탕으로 데이터 필터링을 진행하여 bot user와 광고 계정이 제외된 맛집 관련 트윗을 추출한다. 최종적으로는 추출한 트윗의 정보를 마커로 표시하여 웹 사이트를 제작하였다. K-POP 팬들은 맛집 해시태그를 검색하여 일일이 찾을 필요 없이 웹 사이트에 방문하여 맛집 위치를 확인할 수 있다. 웹 사이트 사용자의 위치가 지도상에 표시되어 가까운 맛집을 찾기도 편리하다. 본 논문에서는 맛집의 위치를 서대문구로 한정하여 진행했다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.103-104
• /
• 2021

본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 웹크롤링 기법을 활용하여 키워드를 입력하면 요약된 논문 정보를 파일로 저장할 수 있고 또한 키워드 빈도 분석과 토픽 모델링 등을 통해 연구 동향을 손쉽게 확인해볼 수 있는 웹 애플리케이션을 설계하고 구현하는 것을 목표로 한다. 제안 모델인 웹 애플리케이션을 통해 프로그래밍 언어와 데이터 분석 기법에 대한 지식이 부족하더라도 논문 수집과 저장, 텍스트 분석을 경험해볼 수 있다. 또한, 이러한 웹 시스템 개발은 기존의 html, css, java script와 같은 언어에 의존하지 않고 파이썬 라이브러리를 활용하였기 때문에 파이썬을 기반으로 데이터 분석과 머신러닝 교육을 수행할 경우 프로젝트 기반 수업 교육 과정으로 채택이 가능할 것으로 기대된다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.295-296
• /
• 2020

본 논문에서는 RPA(Robotic Process Automation) Tool 개발 과정 중 머신 러닝, 딥러닝에 필요한 이미지 크롤링 및 전처리 기능을 이용한 가공된 데이터 셋 처리 과정을 기술한다. 개발된 RPA 툴에서 머신러닝 및 딥러닝에 사용될 데이터 확보 기능을 제공하며, 세부적으로 이미지 전처리(Convert Gray, Histogram Equalization, Binary, Resize)등 반복적으로 사용되는 기능들을 제공한다. 개발된 툴을 통해 RPA의 자동화 기능과, 전처리 기능의 융합을 통해 업무의 효율성을 제공한다.

• KIPS Transactions on Computer and Communication Systems
• /
• v.2 no.9
• /
• pp.405-412
• /
• 2013

Current web has evolved to a mashed-up format according to the change of the implementation and usage patterns. Web services and user experiences have improved, however, security threats are also increased as the web contents that are not yet verified combine together. To mitigate the threats incurred as an adverse effect of the web development, we need to check security on the combined web contents. In this paper, we propose a scheduling method to detect malicious web pages not only inside but also outside through extended links for secure operation of a web site. The scheduling method considers several aspects of each page including connection popularity, suspiciousness, and check elapse time to make a decision on the order for security check on numerous web pages connected with links. We verified the effectiveness of the security check complying with the scheduling method that uses the priority given to each page.

• Journal of Digital Convergence
• /
• v.18 no.11
• /
• pp.19-29
• /
• 2020

The study aims to examine the effectiveness of flipped learning teaching methods by using learning analytics to enable effective programming learning for non-major students. After designing a flipped learning programming class model applied with the ADDIE model, learning-related data of the lecture support system operated by the school was processed with crawling. By providing data processed with crawling through a dashboard so that the instructor can understand it easily, the instructor can design classes more efficiently and provide individually tailored learning based on this. As a result of analysis based on the learning-related data collected through one semester class, it was found that the department, academic year, attendance, assignment submission, and preliminary/review attendance had an effect on academic achievement. As a result of survey analysis, they responded that the individualized feedback of instructors through learning analysis was very helpful in self-directed learning. It is expected that it will serve as an opportunity for instructors to provide a foundation for enhancing teaching activities. In the future, the contents of social network services related to learners' learning will be processed with crawling to analyze learners' learning situations.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2012.10a
• /
• pp.148-150
• /
• 2012

바람이나 파도에 의해서 요트 계류장과 요트 사이 또는 요트 계류장과 계류장 사이에는 충격이 발생하는데, 이러한 충격으로 인하여 계류장 또는 요트가 파손되거나 전복된다. 특히, 방파제 없이 외해에 설치한 요트 계류장은 이러한 위기에 항상 노출되어 있어 이에 대한 대책이 시급한 실정이다. 논문에서는 요트 계류장의 롤링, 히브, 핏칭 등의 운동을 측정하기 위한 하드웨어의 구축과 평가에 관해서 기술하였다. 하드웨어는 MEMS 기반 자이로와 가속도계 등의 관성 센서를 내장한 반도체 센서 SD746을 이용하여 구축하였고, 구축한 하드웨어를 이용하여 소형 요트 계류장에서 발생할 수 있는 운동을 수작업으로 생성하여 측정 및 평가하였다. 실험결과 x-축, y-축, z-축 등 3축 가속도와 3축 각속도 측정이 가능하여 요트 계류장의 운동 상태 모니터링이 가능함을 알았다. 본 연구는 추후 요트 계류장의 위기상태를 평가하고 통보하기 위한 시스템 구축에 이용할 예정이다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.427-428
• /
• 2021

정보통신기술의 발달로 전자상거래의 증가와 소비자들의 제품에 대한 경험과 지식의 공유가 활발하게 진행됨에 따라 소비자는 제품을 구매하기 위한 자료수집, 활용을 진행하고 있다. 따라서 기업은 다양한 기능들을 반영한 제품이 치열하게 경쟁하고 있는 현 시장에서 우위를 점하고자 소비자 리뷰를 분석하여 소비자의 정확한 소비자의 요구사항을 분석하여 제품기획 프로세스에 반영하고자 텍스트마이닝(Text Mining) 기술과 딥러닝(Deep Learning) 기술을 통한 연구가 이루어지고 있다. 본 논문의 기초자료가 되는 데이터셋은 포털사이트의 구매사이트와 오픈마켓 사이트의 소비자 리뷰를 웹크롤링하고 자연어처리하여 진행한다. 감성분석은 딥러닝기술 중 CNN(Convolutional Neural Network), LSTM(Long Short Term Memory) 조합의 모델을 구현한다. 이는 딥러닝을 이용한 제품기획 프로세스로 소비자 요구사항 반영, 경제적인 측면, 제품기획 시간단축 등 긍정적인 영향을 미칠 것으로 기대한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.321-326
• /
• 2020

본 연구에서는 한국어 감성분석 성능 향상을 위한 DECO(Dictionnaire Electronique du COreen) 한국어 전자사전과 LGG(Local-Grammar Graph) 패턴문법 기술 프레임에 의존파서 및 LSTM을 적용하는 하이브리드 방법론을 제안하였다. 본 연구에 사용된 DECO-LGG 언어자원을 소개하고, 이에 기반하여 의미 정보를 의존파서(D-PARS)와 페어링하는 한편 OOV(Out Of Vocabulary)의 문제를 LSTM을 통해 해결하여 자질기반 감성분석 결과를 제시하였다. 부트스트랩 방식으로 반복 확장될 수 있는 LGG 언어자원 및 알고리즘을 통해 수행되는 자질기반 감성분석 프로세스는 전용 플랫폼 DecoFESA를 통해 그 범용성을 확장하였다. 실험을 위해서 네이버 쇼핑몰의 '화장품 구매 후기글'을 크롤링하였으며, DecoFESA 플랫폼을 통해 현재 구축된 DECO-LGG 언어자원 기반의 감성분석 성능을 평가하였다. 이를 통해 대용량 언어자원의 구축과 이를 활용하기 위한 어휘 시퀀스 처리 알고리즘의 구현이 보다 정확한 자질기반 감성분석 결과를 제공할 수 있음을 확인하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.4
• /
• pp.495-502
• /
• 2022

Web crawler, which is mainly used to collect text on the web today, is difficult to maintain and expand because researchers must implement different collection logic by collection channel after analyzing tags and styles of HTML documents. To solve this problem, the web crawler should be able to collect text by formalizing HTML documents to the same structure. In this paper, we designed and implemented WCTT(Web Crawling system based on Tag path and Text appearance frequency), a web crawling system that collects text with a single collection logic by formalizing HTML documents based on tag path and text appearance frequency. Because WCTT collects texts with the same logic for all collection channels, it is easy to maintain and expand the collection channel. In addition, it provides the preprocessing function that removes stopwords and extracts only nouns for keyword network analysis and so on.

• Journal of Korea Water Resources Association
• /
• v.54 no.12
• /
• pp.1233-1242
• /
• 2021

In this study, a model was developed to determine whether flooding occurred using image data, which is unstructured data. CNN-based VGG16 and VGG19 were used to develop the flood classification model. In order to develop a model, images of flooded and non-flooded images were collected using web crawling method. Since the data collected using the web crawling method contains noise data, data irrelevant to this study was primarily deleted, and secondly, the image size was changed to 224×224 for model application. In addition, image augmentation was performed by changing the angle of the image for diversity of image. Finally, learning was performed using 2,500 images of flooding and 2,500 images of non-flooding. As a result of model evaluation, the average classification performance of the model was found to be 97%. In the future, if the model developed through the results of this study is mounted on the CCTV control center system, it is judged that the respons against flood damage can be done quickly.