• 제목/요약/키워드: data crawling

검색결과 195건 처리시간 0.024초

CNN 모델을 이용한 위해 식품 알림 애플리케이션의 개발 (Development of Hazardous Food Notification Application Using CNN Model)

  • 윤동언;이효상;오암석
    • 한국멀티미디어학회논문지
    • /
    • 제25권3호
    • /
    • pp.461-467
    • /
    • 2022
  • This research is to raise awareness of food safety by designing and supporting a hazard food information notification platform for consumers. To this end, the design was carried out by dividing the process into a data extraction process, an application screen design process, and a CNN-based food inference process. Data was collected through public data APIs and crawling, and it was sent to each activity screen designed for Android studios so that it could be output. As a result, when the platform is executed, information on hazardous food names, registration dates, food classification, manufacturing dates, recovery grades, recovery reasons, recovery methods, company names, barcode numbers, and packaging units can be intuitively and conveniently checked. In addition, CNN-based food inference processes allowed mobile cameras to infer harmful food and applied various quantization techniques such as Dynamic Range, Integer, and Float16 to compare the degree of improvement in inference performance. As a result, the group that applied basic quantization and treated device resources with GPU showed the greatest improvement in inference performance. Through this platform, it is expected that the reliability of food safety will be improved by making it more convenient for consumers to recognize food risks.

Seasonal Weather Factors and Sensibility Change Relationship via Textmining

  • Yeo, Hyun-Jin
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.219-224
    • /
    • 2022
  • 한국 기상청은 '생활산업 기상정보서비스'나 '위기탈출 안전날씨'와 같은 일상에 관련된 정보를 제공하고 있다. 한편, 해외에서는 독일의 '신체기상정보', 영국의 '건강 기상정보'와 같이 인간의 신체와 감성에 영향을 미치는 기상정보 역시 제공하고 있다. 비록 인간의 감성 변화가 심리학 연구 영역에서 다양하고 방대하게 이루어져 왔지만, 빅 데이터 분석 기반에 근거한 기상정보에 따른 인간의 감성 예측모형은 요원한 상태이다. 이 연구에서는 기상요소에 따른 인간의 감성변화를 예측할 수 있는 모형을 기상청의 기상 데이터셋과 SNS상 크롤링된 일자별 텍스트를 통해 개발하고 검증하고자 한다. 연구 결과 기상 요소들로 인간의 감성변화를 예측할 수 있는 모형을 만들고 검증할 수 있었으며 이는 기존 연구와 그 결을 같이한다고 볼 수 있다.

조선왕조실록 분석을 위한 단어 빈도수 기반 빅 데이터 분석 (Word Frequency-Based Big Data Analysis for the Annals of the Joseon Dynasty)

  • 변영일;이충호
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.707-709
    • /
    • 2022
  • 조선왕조실록은 조선왕조가 태조부터 철종까지 이르기까지 472년간의 역사를 편찬한 사서이다. 조선왕조실록은 국보 제 151호로 중요한 기록유산이지만 내용이 방대하여 분석함에 있어 어려움이 따른다. 따라서 조선왕조실록의 모든 내용을 분석하기 보다는 중요한 단어들을 추출하여 분석해야 할 필요가 있다. 본 논문에서는 웹 크롤링을 통하여 조선왕조실록 웹페이지의 본문에서 단어를 추출하고 단어의 빈도수에 따라 정렬한 데이터를 기반으로 번역된 조선왕조실록의 본문을 분석하는 방법을 제안한다. 본 연구는 조선왕조실록의 세종 부분만을 추출하여 단어의 빈도수에 따라 중요도를 분석하였다.

  • PDF

Conflict Analysis in Construction Project with Unstructured Data: A Case Study of Jeju Naval Base Project in South Korea

  • Baek, Seungwon;Han, Seung Heon;Lee, Changjun;Jang, Woosik;Ock, Jong Ho
    • 국제학술발표논문집
    • /
    • The 7th International Conference on Construction Engineering and Project Management Summit Forum on Sustainable Construction and Management
    • /
    • pp.291-296
    • /
    • 2017
  • Infrastructure development as national project suffers from social conflict which is one of main risk to be managed. Social conflicts have a negative impact on not only the social integration but also the national economy as they require enormous social costs to be solved. Against this backdrop, this study analyzes social conflict using articles published by online news media based on web-crawling and natural language processing (NLP) techniques. As an illustrative case, the Jeju Naval Base (JNB) project which is one of representative conflict case in South Korea is analyzed. Total of 21,788 articles and representative keywords are identified annually. Additionally, comparative analysis is conducted between the extracted keywords and actual events occurred during the project. The authors explain actual events in the JNB project based on the extracted words by the year. This study contributes to analyze social conflict and to extract meaningful information from unstructured data.

  • PDF

Development of technology to improve information accessibility of information vulnerable class using crawling & clipping

  • Jeong, Seong-Bae;Kim, Kyung-Shin
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권2호
    • /
    • pp.99-107
    • /
    • 2018
  • This study started from the public interest purpose to help accessibility for the information acquisition of the vulnerable groups due to visual difficulties such as the elderly and the visually impaired. In this study, the server resources are minimized and implemented in most of the user smart phones. In addition, we implement a method to gather necessary information by collecting only pattern information by utilizing crawl & clipping without having to visit the site of the information of the various sites having the data necessary for the user, and to have it in the server. Especially, we applied the TTS(Text-To-Speech) service composed of smart phone apps and tried to develop a unified customized information collection service based on voice-based information collection method.

비정형 데이터와 딥러닝을 활용한 내수침수 탐지기술 개발 (Development of a method for urban flooding detection using unstructured data and deep learing)

  • 이하늘;김형수;김수전;김동현;김종성
    • 한국수자원학회논문집
    • /
    • 제54권12호
    • /
    • pp.1233-1242
    • /
    • 2021
  • 본 연구에서는 비정형 데이터인 사진자료를 이용하여 침수의 발생여부를 판단하는 모델을 개발하였다. 침수분류를 모델 개발을 위하여 CNN기반의 VGG16, VGG19을 이용하였다. 모델을 개발하기 위하여 침수사진과 침수가 발생하지 않은 사진을 웹크롤링 방법을 이용하여 사진을 수집하였다. 웹크롤링 방법을 이용하여 수집한 데이터는 노이즈 데이터가 포함되어 있기 때문에 1차적으로 본 연구와 상관없는 데이터는 소거하였으며, 2차적으로 모델 적용을 위하여 224 × 224로 사진 사이즈를 일괄 변경하였다. 또한 사진의 다양성을 위해서 사진의 각도를 변환하여 이미지 증식을 수행하였으며. 최종적으로 침수사진 2,500장과 침수가 발생하지 않은 사진 2,500장을 이용하여 학습을 수행하였다. 모델 평가결과 모델의 평균 분류성능은 97%로 나타났으며. 향후 본 연구결과를 통하여 개발된 모델을 CCTV관제센터 시스템에 탑재한다면 신속하게 침수피해에 대한 대처가 이루어 질 수 있을 것이라 판단된다.

비정형데이터 수집을 통한 드라마 시청률 연관어 분석 (Analysis of drama viewership related words through unstructured data collection)

  • 강선경;이현창;신성윤
    • 한국정보통신학회논문지
    • /
    • 제21권8호
    • /
    • pp.1567-1574
    • /
    • 2017
  • 본 논문에서는 드라마의 시청률에 영향을 미치는 연관어 분석을 위해 정형화된 데이터와 비정형화된 데이터를 분석하는 내용이다. 정형화된 데이터 수집은 각 방송사의 드라마정보, 인물정보, 방송정보, 시청률정보라는 4가지 영역에서 총 19가지항목을 수집하였다. 비정형데이터는 각 방송사에서 드라마별로 운영되고 있는 게시판과 방영전 블로그와 방영후 블로그로부터 크롤링기법을 이용하여 수집하였다. 수집된 정형데이터로부터 각 방송사별 4가지 영역별에 따른 차이를 비교한 결과 방송사별 서로 유사한 결과 값을 보이고 있었다. 그리고 각 방송사의 드라마별 게시판과 블로그에서 수집된 비정형데이터로부터 출현빈도의 상관관계 분석을 통해 관련 연관어를 7개 도출하였다. 도출된 연관어는 신뢰성 분석을 통해 이루어졌다.

LDA 기반 사용자 감정분석을 위한 문서 토픽 추출 시스템에 대한 연구 (A Study on the Document Topic Extraction System for LDA-based User Sentiment Analysis)

  • 안윤빈;김학영;문용현;황승연;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권2호
    • /
    • pp.195-203
    • /
    • 2021
  • 최근 IT 분야의 주요 기술인 빅데이터는 다양한 산업 분야로 확장되고 있으며 활용 방안에 대한 연구가 활발하게 진행 중이다. 대부분의 인터넷 산업 분야에서 사용자 리뷰는 이용자가 상품 구매를 결정하는 데 많은 도움을 준다. 그러나 방대한 제품 리뷰에서 긍정, 부정적 의미와 도움이 되는 리뷰를 선별하는 과정은 제품 구매 결정에 있어 많은 시간을 요구한다. 따라서 본 논문에서는 빅데이터 분석 기술인 LDA를 이용해 키워드를 분석 및 종합하여 사용자에게 의미 있는 정보를 제공하는 시스템을 설계하고 구현한다. 문서 토픽 추출을 위해 본 연구에서는 국내 도서 산업을 도메인으로 데이터를 크롤링하고, 빅데이터 분석을 실시한다. 이를 통해 사용자 리뷰의 토픽 및 감정단어를 바탕으로 상품에 대한 종합적인 정보를 제공함으로써 구매자에게 도움을 주고 나아가 리뷰 현황 분석을 통해 상품의 전망 또한 파악할 수 있다.

도커와 쿠버네티스 기반 미세먼지 데이터 수집 방안 (Docker and Kubernetes Based Approaches for PM Data Collection)

  • 최효현;김연욱
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
    • /
    • pp.305-306
    • /
    • 2024
  • 본 논문에서는 도커와 쿠버네티스를 활용하여 미세먼지 데이터를 수집할 때 다량으로 늘어나는 데이터를 효율적으로 수집하고 관리하기 위한 방안을 제시한다. 도커 이미지는 작성된 Dockerfile을 통해 생성되며, 필요한 의존성과 설정이 반영되어 있다. 쿠버네티스를 이용하여 생성된 도커 이미지를 기반으로 컨테이너를 생성하고, 컨테이너들을 파드 내에서 실행함으로써 데이터를 효율적으로 수집하고 관리한다.

  • PDF

뉴스 기사의 크롤링을 통한 국내 기업의 안티 드론에 사용되는 기술 현황 분석 (An Analysis on Anti-Drone Technology Trends of Domestic Companies Using News Crawling on the Web)

  • 김규석
    • 한국항행학회논문지
    • /
    • 제24권6호
    • /
    • pp.458-464
    • /
    • 2020
  • 드론은 관련 기술의 발달로 건설, 물류, 과학 연구, 촬영 등을 비롯하여 장난감까지 다양한 목적으로 보편화 되고 있다. 그러나 드론을 범죄나 테러 목적으로 사용하면서 이를 무력화 하는 Anti-drone 관련 기술의 연구, 개발도 활발히 진행되고 있는 상황이다. Anti-drone 기술의 범위는 탐지, 식별, 무력화로 구분할 수 있다. 드론을 무력화를 하는 방식은 전파 방해 등으로 탐지한 드론을 막는 소프트킬 방식이 있고, 물리적으로 파괴하는 하드킬 방식이 있다. 본 연구에서는 Anti-drone과 관련된 Google 및 Naver의 뉴스 기사를 Crawling 하였다. 국내 뉴스 기사를 분석하여 RF, GNSS, Radar 등의 기술을 찾았다. 이와 관련하여 해당 기술의 일반적인 특징과 사용 현황에 대하여 기술하였고, 각 기업 또는 기관의 Anti-drone에서의 적용 현황을 조사, 분석하였다.