• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2018년도 제57차 동계학술대회논문집 26권1호
• /
• pp.21-24
• /
• 2018

기존 Facebook 페이지의 경우에는 수많은 제보 글이 올라와 사용자가 원하는 글을 찾기 어렵다는 문제점이 발생하고 있다. 본 논문에서는 이를 위해 다양한 Facebook 페이지 내용을 크롤링하여 사용자가 원하는 Facebook 페이지 내용을 검색하여 사용자에게 제공할 수 있도록 데이터베이스 서버에 저장 한 후 크롤링 된 Facebook 페이지 내용을 제공할 수 있는 웹사이트를 설계하고 구현한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.467-468
• /
• 2021

본 논문에서는 자료수집(데이터 크롤링)을 이용해 많은 채용정보를 쉽게 접근할 수 있도록 하는 시스템이다. 현재는 StackOverflow의 자료를 수집하고 데이터베이스에 자동으로 저장하도록 하였다. 수집해야 할 자료가 많아 Celery와 RabbitMQ를 사용하여 비동기 작업을 요청하여 즉시 응답을 받지 않아도 다른 일을 수행할 수 있다. 이렇게 수집한 자료들을 해당 사이트에 나열해줌으로 사용자들이 시간과 비용을 절감하여 효율적인 취업 준비를 할 수 있도록 하는 시스템을 설계 구현하였다.

• Journal of Multimedia Information System
• /
• 제2권3호
• /
• pp.287-294
• /
• 2015

We are living in epoch of information when Internet touches all aspects of our lives. Therefore, it provides a plenty of services each of which benefits people in different ways. Electronic Mail (E-mail), File Transfer Protocol (FTP), Voice/Video Communication, Search Engines are bright examples of Internet services. Between them Social Network Services (SNS) continuously gain its popularity over the past years. Most popular SNSs like Facebook, Weibo and Twitter generate millions of data every minute. Twitter is one of SNS which allows its users post short instant messages. They, 100 million, posted 340 million tweets per day (2012)[1]. Often big amount of data contains lots of noisy data which can be defined as uninteresting and unclassifiable data. However, researchers can take advantage of such huge information in order to analyze and extract meaningful and interesting features. The way to collect SNS data as well as tweets is handled by crawlers. Twitter crawler has recently emerged as a great tool to crawl Twitter data as well as tweets. In this project, we develop Twitter Crawler system which enables us to extract Twitter data. We implemented our system in Java language along with MySQL. We use Twitter4J which is a java library for communicating with Twitter API. The application, first, connects to Twitter API, then retrieves tweets, and stores them into database. We also develop crawling strategies to efficiently extract tweets in terms of time and amount.

• 한국컴퓨터정보학회논문지
• /
• 제27권8호
• /
• pp.219-224
• /
• 2022

한국 기상청은 '생활산업 기상정보서비스'나 '위기탈출 안전날씨'와 같은 일상에 관련된 정보를 제공하고 있다. 한편, 해외에서는 독일의 '신체기상정보', 영국의 '건강 기상정보'와 같이 인간의 신체와 감성에 영향을 미치는 기상정보 역시 제공하고 있다. 비록 인간의 감성 변화가 심리학 연구 영역에서 다양하고 방대하게 이루어져 왔지만, 빅 데이터 분석 기반에 근거한 기상정보에 따른 인간의 감성 예측모형은 요원한 상태이다. 이 연구에서는 기상요소에 따른 인간의 감성변화를 예측할 수 있는 모형을 기상청의 기상 데이터셋과 SNS상 크롤링된 일자별 텍스트를 통해 개발하고 검증하고자 한다. 연구 결과 기상 요소들로 인간의 감성변화를 예측할 수 있는 모형을 만들고 검증할 수 있었으며 이는 기존 연구와 그 결을 같이한다고 볼 수 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제56차 하계학술대회논문집 25권2호
• /
• pp.241-244
• /
• 2017

인터넷을 이용하는 사용자들은 원하는 정보를 획득하고 타인들과 소통하기 위한 방법으로 소셜 네트워크 서비스를 이용한다. SNS는 사용자별로 차별화된 기능을 제공함으로써 수요자를 증가시키지만 이를 활용하는 사용자들은 무분별한 콘텐츠를 접함으로써 사용자 인터페이스에 대한 불편함은 더해가고 있다. 본 연구는 SNS를 이용하는 사용자들의 사용자 편이성을 증가하고 콘텐츠 접근성을 강화하는 방안으로 원하는 관심사만 자동으로 수집하여 열람하도록 JAVA WEB CRAWLING을 활용하여 시스템을 개발하였다.

• 디지털융복합연구
• /
• 제17권2호
• /
• pp.195-200
• /
• 2019

스마트폰, 태블릿 등의 이동 통신 기기와 PC 이용이 확장됨에 따라 인터넷 상에서 데이터가 기하급수적으로 수집되고 있다. 또한 SNS의 발전으로 인해 이용자 간의 자유로운 의사소통과 여러 분야의 정보를 공유할 수 있어 다양한 다량의 의견들이 빅데이터 형태로 쌓이고 있다. 이에 따라 빅데이터 분석 기법을 사용하여 일반 사람들의 반응과 언론사의 뉴스 기사 반응의 차이를 알아보는 기법이 대두되고 있다. 본 논문에서는 아동 수당과 출산 장려금에 대해 SNS에서 나타난 대중들의 반응과 언론사의 반응을 분석하였다. 이를 위해 일정 기간 동안 트위터에 올라온 이용자들의 글을 수집하고 뉴스 기사를 크롤링하여 감성 분석을 진행하였다. 이를 통해 SNS에 나타나는 대중의 의견과 언론사 뉴스의 반응을 비교하여 대중과 언론이 국가 정책에 대한 반응의 차이를 비교 분석하였다.

• 응용통계연구
• /
• 제31권5호
• /
• pp.655-665
• /
• 2018

소셜 네트워크 서비스(social network service; SNS)는 개개인의 의견을 공유하거나 소통하는 일반적인 도구로 사용되고 있으며, 특히 정치적인 이슈의 전파 과정에서 타인과의 공유를 통하여 자신이 지지하는 후보에 대한 긍정적인 홍보 등을 통해 여론을 형성 또는 확장한다. 기존의 여론 조사 결과는 응답률, 표본 수집의 방식 등과 관련하여 예측의 정확성에 대한 끊임없는 논란이 되어왔다. 본 논문은 이러한 소셜 네트워크 서비스 상에 존재하는 수많은 비정형 데이터의 감성 분석을 통하여 여론조사의 예측력을 개선, 보완하는 방안을 제시하고자 한다. 제시하고자 하는 연구 내용은 비정형 데이터 크롤링 및 기존에 사용되던 감성 사전에 대한 추가적인 보정 과정을 포함하고 있으며, 이를 통하여 본 논문에서 제안하는 방식은 오차의 감소를 통하여 예측력을 개선하는 결과를 나타냈다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.169-170
• /
• 2017

본 논문에서는 드라마의 시청률에 영향을 미치는 요소가 무엇인지를 파악하기 위해 정형화된 데이터와 비정형화된 데이터를 분석하기 위한 내용이다. 정형화된 데이터 수집은 각 방송사의 드라마 정보, 인물정보, 방송정보, 시청률정보라는 4가지 영역에서 총 19가지항목을 수집하였다. 비정형데이터를 수집하기 위해 각 방송사에서 드라마별로 운영되고 있는 게시판과 방영전블로그와 방영후블로그로부터 크롤링기법을 이용하여 수집하였다. 수집된 데이터로부터 방송사별 드라마 방영시간대, 방영시작시기, 장르, 방영요일에 따른 차이를 비교한 결과 방송사별 서로 유사한 것으로 나타났다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 추계학술대회
• /
• pp.438-440
• /
• 2014

최근 폭발적으로 증가하는 SNS서비스의 상업적으로 이용하려는 움직임이 활발하다. 따라서 본 논문은 실시간 SNS 환경에서 제조기업과 제품의 평판에 관련된 정보를 정확하게 분석 할 수 있는 방안을 제시한다. 크롤링 방식으로 수집된 SNS의 텍스트 데이터들에 대한 형태소 분석을 수행하여 단어 간 연관성을 파악한다. 또, 문장에서 추출된 형태소는 구축된 감성사전을 통해 통계적으로 분석하여 이를 시각화 하여 보여준다. 이때, 추출된 단어가 감성사전에 존재하지 않을 경우 이를 자동으로 추가하는 기법을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.399-401
• /
• 2016

제안된 시스템은 다양한 소셜 네트워크에서 사용자가 입력한 키워드를 기반으로 데이터를 수집하여 형태소 분석을 거쳐 사용자에게 통계정보 및 키워드에 대한 오피니언 마이닝 결과를 제공한다. SNS 상에 수많은 정보들이 저장되는데, 이를 이용하는 과정에서 단편적인 정보밖에 얻을 수 없는 비전문적인 사용자에게 유용한 데이터를 제공하기 위해 Opinion Mining 및 다양한 통계적 분석을 통해 키워드에 대한 시각화 정보를 출력한다.