• 제목/요약/키워드: Beautiful soup

검색결과 10건 처리시간 0.021초

파이썬을 이용한 프레임내 웹 페이지 스크래핑 기법 (A Scraping Method of In-Frame Web Sources Using Python)

  • 윤수진;승리;우영운
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2019년도 춘계학술대회
    • /
    • pp.271-274
    • /
    • 2019
  • 이 논문에서는 일반적인 웹 접근 방법으로 접근하기 어려운 프레임 내 웹 페이지의 데이터를 프로그램에 의해 자동으로 수집하기 위한 세부 주소 확보 기법을 제안하였다. 제안한 세부 주소 확보 기법과 HTML 실렉터를 활용할 수 있는 Python 언어와 Beautiful Soup 라이브러리를 이용하여 여러 페이지로 작성되어 있는 게시판 텍스트 데이터를 자동으로 모두 수집할 수 있었다. 제안한 기법을 활용하여 어떠한 형태의 주소 형식으로 되어 있는 웹 페이지들에 대해서도 Python 웹스크래핑 프로그램에 의해 자동으로 대량의 데이터를 수집할 수 있으며, 이를 통해 빅데이터 분석에 활용될 수 있을 것으로 예상한다.

  • PDF

카카오톡 API를 이용한 Django 기반 챗봇 시스템 (Django based ChatBot System Using KakaoTalk API)

  • 고흥찬;김민수;이솔비;이형우
    • 사물인터넷융복합논문지
    • /
    • 제4권1호
    • /
    • pp.31-36
    • /
    • 2018
  • 본 논문은 대학생들이 소속 대학 내 주요 정보를 손쉽고 빠르게 검색할 수 있도록 KakaoTalk API를 활용하여 장고 프레임워크를 이용하여 챗봇 시스템을 개발하였다. 특정 정보만을 제공하는 기존 챗봇 시스템과는 달리 본 연구에서 개발한 챗봇은 대학 내 주요 정보 뿐만아니라 날씨, 유투브, 네이버 실시간 랭킹 검색 및 언어 번역 등 다양한 형태의 사용자 질의에 대해 자동으로 검색 결과를 제공한다. AWS Ubuntu 서버내에 Apache, Python 및 Django를 이용하여 모듈을 개발하였고 KakaoTalk API 및 BeautifulSoup 등을 이용하여 카카오톡 서버와 통신하여 사용자 질의에 대해 자동으로 응답하는 챗봇 시스템을 개발하였다. 본 연구에서 개발한 시스템에 대해서는 향후 대학 입시 정보 홍보 및 선거 홍보 시스템 등에 적용할 수 있을 것으로 기대된다.

키워드 네트워크 분석 방법을 활용한 블록체인 트렌드 분석에 관한 연구 (A Study on Analysis of the Trend of Blockchain by Key Words Network Analysis)

  • 조성환
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.550-555
    • /
    • 2018
  • 본 연구는 키워드 네트워크 분석에 사용되는 텍스트마이닝과 의미연결망 분석 방법을 활용하여 블록체인의 산업 활용 분야로 언론 및 정부 발표에서 언급되고 있는 '금융', '에너지', '물류'를 언급한 기사들을 비교 분석하였다. 블록체인 적용이 언급된 산업 분야별로 기사의 내용 및 키워드의 차이를 파악하고 비교 분석하는 것을 목적으로 하였다. 2017년 1월부터 2018년 7월까지 언론에서 보도한 총 43,093건의 기사를 Python BeautifulSoup을 이용하여 네이버 뉴스에서 수집하였고, 세 용어의 상호 중복을 제거하기 위한 정제 작업을 수행하였다. 이후 키워드 간 네트워크 분석을 위해 텍스톰(Textom)과 UCINET을 이용하여 세 용어에 대한 텍스트마이닝과 의미연결망 분석을 진행하였다. 분석 결과, 세 용어는 모두 '기술' 측면에서는 유사한 단어들이 있었으나, '정부 정책'이나 '산업'측면의 이슈 등에서 내용적 차이가 있었다. 또한 빈도 및 중심성에 있어서도 차이가 있음을 확인할 수 있었다.

웹 콘텐츠를 활용한 학습용 타자 연습 어플리케이션의 설계와 구현 (Design and Implementation of Typing Practice Application for Learning Using Web Contents)

  • 김채원;황소영
    • 한국멀티미디어학회논문지
    • /
    • 제24권12호
    • /
    • pp.1663-1672
    • /
    • 2021
  • There are various typing practice applications. In addition, research cases on learning applications that support typing practice have been reported. These services are usually provided in a way that utilizes their own built-in text. Learners collect various contents through web services and use them a lot for learning. Therefore, this paper proposes a learning application to increase the learning effect by collecting vast amounts of web content and applying it to typing practice. The proposed application is implemented using Tkinter, a GUI module of Python. BeautifulSoup module of Python is used to extract information from the web. In order to process the extracted data, the NLTK module, which is an English data preprocessor, and the KoNLPy module, which is a Korean language processing module, are used. The operation of the proposed function is verified in the implementation and experimental results.

Analysis of YouTube's role as a new platform between media and consumers

  • Hur, Tai-Sung;Im, Jung-ju;Song, Da-hye
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권2호
    • /
    • pp.53-60
    • /
    • 2022
  • Youtube는 낮은 진입장벽과 영상물 규제 기준의 모호함으로 인하여 검증되지 않은 사실을 기반으로 한 가짜뉴스, 편파적 콘텐츠 등이 사실적으로 나타난다. 따라서 본 연구에서는 언론과 Youtube가 개인의 행동에 미치는 영향과 이들의 관계성을 분석하고자 한다. selenium, beautiful soup, Twitter API로 Youtube와 Twitter의 데이터를 무작위로 가져와 가장 자주 언급되는 키워드 31개를 분류한다. 분류된 31개의 키워드를 기반으로 Youtube, Twitter, 네이버 뉴스에서 데이터를 수집 후, NLTK(Natural Language Toolkit)의 Vader 모델로 긍정, 부정, 중립감정을 분류 및 수치화하여 분석 데이터로 사용했다. 데이터들의 상관성을 분석한 결과, 뉴스의 부정수치가 높아질수록 Youtube에서는 긍정적인 콘텐츠가 많아지는 것으로 분석되었다. 본 연구결과로, Youtube는 2차로 가공하여 전달되는 특성으로 인해 뉴스에서 나타나는 감정 지수와 일치하지는 않는다. 즉, 가공된 Youtube 콘텐츠는 소통의 창구인 Twitter의 긍정, 부정수치에도 직관적으로 영향을 미치게 된다. 본 연구결과는 사람들의 흥미와 본능을 자극하여 시선을 끄는 황색언론의 등장으로 정보의 정확한 판단이 어려워진 현 상황에서, 자극적이고 부정적인 영상으로 사회에 악영향을 끼치는 것으로 인식되어있는 Youtube가 도리어 개인의 식별력을 보조하는 역할을 하는 것으로 분석되었다.

한국 전통춤과 K-pop 댄스의 융합 : 2018 MMA 방탄소년단 'IDOL' 유튜브 댓글 분석 (Convergence of Korean Traditional Dance and K-Pop Dance : An Analysis of Comments on 2018 MMA BTS 'IDOL' Videos on YouTube)

  • 유지영;김미경
    • 한국엔터테인먼트산업학회논문지
    • /
    • 제13권8호
    • /
    • pp.189-198
    • /
    • 2019
  • 이 연구는 2018년 12월 MMA의 인트로 공연 유튜브 댓글의 텍스트 마이닝을 통해 국내 대중의 반응을 의미화 하는것에 목적이 있다. 이를 위해 지난 10개월간 15개의 유튜브 영상에 달린 댓글을 수집하였다. 데이터의 수집은 Python과 BeautifulSoup프로그램을 통해 총 5,135개의 데이터를 크롤링하였고, 총 3차시에 걸쳐 데이터를 정제한 후 최종 5,080의 데이터를 분석자료로 활용하였다. 데이터 분석에는 텍스트 마이닝 기법이 적용되였고, 정제, 분석, 시각화의 모든 과정은 텍스톰(Textom) 프로그램을 이용하였다. 연구결과 키워드 분석에서는 '무대', '한국', '영상', '최고', '멋', '춤', '아이돌', '레전드', '사랑', '감사'등의 키워드 순으로 나타났고, '국뽕'이나 '올림픽'과 같은 키워드도 빈번하게 나타났다. N-gram 분석에서는 '한국의 아이돌 무대 중 전설로 남을법한 최고의 무대', '한국의 전통문화를 보여준 아이돌의 무대'라는 문맥의 댓글이 상위권에 랭킹되었다. 이와같은 키워드 분석결과를 바탕으로 토픽모델링을 적용하여 총 5개의 토픽에서 상위 5개의 키워드를 추출하였다. 토픽의 내용과 분포도를 분석한 결과 이 공연영상에 대한 댓글의 토픽은 크게 '공연무대에 대한 극찬', '한국전통춤을 융합하여 예술적으로 승화시킨 것에 대한 애정', '멋진 춤 영상을 올려준 것에 대한 감사한 마음'으로 크게 3가지의 반응으로 이루진 것을 확인하였다.

대구지역 학교급식 나트륨 저감화 실태 및 나트륨 저감화 방법에 대한 중요도-수행도 분석 (Sodium Reduction Practice and Importance-Performance Analysis of Sodium Reduction Methods in School Foodservice in Daegu)

  • 김수현;신은경;이연경
    • 대한지역사회영양학회지
    • /
    • 제25권5호
    • /
    • pp.386-395
    • /
    • 2020
  • Objectives: The aim of this study was to investigate sodium reduction practices in school foodservice in Daegu. Methods: The survey included 199 nutrition teachers and dietitians working at elementary, middle and high schools in Daegu. The survey topics included the following: the frequency of salinity measurement, workers in charge of the measurement, average salinity of the soup and stew served, frequency and difficulties of offering low-sodium meals, Importance-Performance Analysis (IPA) of sodium reduction methods in school foodservice and the need for political support in encouraging sodium reduction. Results: The mean salinity of the soup and stew was higher in high school foodservice than in elementary and middle school foodservice. Middle and high schools have difficulties in offering low-sodium meals due to concerns of decreasing satisfaction for the meals. The results of the IPA of programs to reduce sodium in school meals showed that most of the items in the cooking and serving stages were in the 2nd quadrant (Keep up the good work), and all purchasing and menu planning stages occupied the 3rd quadrant (Low priority). To reduce sodium in school meals, government support is required in developing low-sodium recipes for school foodservice, encouraging education on sodium reduction for school foodservice officials and developing low-sodium food for institutional foodservice. Conclusions: To encourage sodium reduction in school meals, the priority is to make low-sodium recipes available. Also, it is necessary to develop a program that calculates the sodium content in menus and processed foods through National Education Information System and to establish standards for sodium levels in school foodservice.

토픽모델링을 활용한 해운물류 뉴스 분석 (Analysis of Shipping and Logistics News Articles using Topic Modeling)

  • 윤희영;곽일엽
    • 무역학회지
    • /
    • 제46권4호
    • /
    • pp.61-76
    • /
    • 2021
  • This study focuses on three logistics-related news (Logistics Newspaper, Korea Shipping Gadget, and Korea Shipping Newspaper) in order to present changes in logistics issues, centering on Corona 19, which has recently had the greatest impact in the world. For data collection, two-year news articles in 2019 and 2020 (title, article, content, date, article classification, article URL) were collected through web crawling (using Python's BeautifulSoup, requests module) on the homepages of three representative logistics-related media companies. As for the data analysis methods, fundamental statistical analysis, Latent Dirichlet Allocation (LDA) for topic modeling, and Scattertext were performed. The analysis results were as follows. First, among the three news media related to logistics, the Korea Shipping Newspaper was carrying out the most active media activities. Second, through topic modeling with LDA, eight logistics-related topics were identified, and keywords and significant issues of each topic were presented. Third, the keywords were visually expressed through Scattertext. This is the first study to present changes in the logistics field, focusing on articles from representative logistics-related media in 2019 and 2020. In particular, 2019 and 2020 can be divided into before and after the outbreak of Corona 19, which has had a great impact not only on the logistics field but also on our lives as a whole. For future work, a multi-faceted approach is required, such as comparative studies of logistics issues between countries or presenting implications based on long-term time-series articles.

원행을묘정리의궤(園行乙卯整理儀軌) 중(中) 조리면(調理面)에서 본 반과상고(盤果床考) (A Study of Cookery of Daily Meal (Bankwa Sang: Fruit Table) in Wonheng Ulmyo Jungri Euigwae (1795))

  • 김상보;한복진;이성우
    • 한국식생활문화학회지
    • /
    • 제5권1호
    • /
    • pp.1-41
    • /
    • 1990
  • To analyze dialy meal of royal meal, studied Bankwa Sang(Fruit Table) were on record Wonheng Ulmyo Jungri Euigwae (1795). Historic book 'Jungri Euigwae' described the king's visit to his father's royal tomb 'Hyun Neung Won', during the domain of Cheung Jo, the 22nd king of Choson Dynasty. The results obtained from this study areas follows. The fruit table, which similar in concept to desert in the west but quite different in service, was prepared for a guest. The table consisted of two kinds of trays, on which serveral kinds of fruit were stacked to a height of between 4 chon (4寸 : about 12 cm) and 1 chuk(1尺 : about 30.3 cm) according to Korean measurement system. The table was decorated with beautiful artificial flowers made of paper and silk. The number of sets to be arranged on the table were different according to the royal status of the eater: 12 sets-25 sets for king's mother, 7 sets-11 sets for the king. Soy sauce mixed with vinegar and pine-nu meal, mustard were ruled out from kind of sets. Kinds of dishes served with a meal generally were noodles (麵), soup (湯), fried fish (煎油花), fried meats and vegetables (花陽灸), slices of raw fish (魚膾), minced raw meat (肉膾), slices of boiled beef (片肉), stew (蒸), rice cake (餠), sweet rice dish (藥飯), patterned savory cake (茶食), fried cake made of wheat flour, honey and oil (藥果), fried glutinous rice cake (强精), various fruits preserved in honey (正果), sugar candies (各色糖), fruits (果物) honey (淸), soy sauce mixed with vinegar and pine-nut meal (醋醬), mustard (莽子).

  • PDF

대구시 삼삼급식소와 일반급식소의 나트륨 및 당류 저감화 실천도 비교 (Comparison of the Sodium and Sugar Reduction Practices at Samsam Foodservices and General Foodservices in Daegu)

  • 권성영;김길례;이연경
    • 대한지역사회영양학회지
    • /
    • 제26권4호
    • /
    • pp.270-279
    • /
    • 2021
  • 본 연구는 대구시 삼삼급식소 종사자 80명, 일반급식소 종사자 80명의 총 160명을 대상으로 2020년 9월부터 10월까지 급식소별 종사자의 짠맛과 단맛 선호도, 급식 맛 인식도, 행동변화단계, 식행동과 급식소의 나트륨 및 당류 저감화 실천도를 비교·분석하였다. 1. 조사대상자의 연령은 삼삼급식소 종사자가 일반급식소 종사자보다 50대 이상의 비율이 높았으며, 근무처는 삼삼급식소는 병원(43.8%)과 관공서(42.5%)의 비율이 높았고, 일반급식소는 학교(55.0%)와 산업체(31.3%)의 비율이 높았으나, 직위와근무경력은 두 급식소 간 유의한 차이가 없었다. 2. 짠맛과 단맛 선호도는 삼삼급식소 종사자와 일반급식소 종사자 간 유의한 차이가 없었으나 싱겁게 먹기를 실천하거나 유지하는 단계에 있는 종사자의 비율은 더 높았다. 또한 급식의 짠맛과 단맛 정도는 삼삼급식소 종사자보다 일반급식소 종사자가 더 짜고, 더 달게 인식하는 것으로 나타났다. 3. 짜게 먹는 식행동 조사결과, 삼삼급식소 종사자는 일반급식소 종사자에 비해 '국이나 국수류의 국물을 남김없이 먹는다'는 식행동 점수가 낮았으나, 당류에 관한 식행동은 두 급식소 종사자 간 유의한 차이는 없었다. 4. 나트륨 저감화 실천도는 일반급식소보다 삼삼급식소에서 높은 것으로 나타났다. 두 급식소 간 실천도에서 특히 차이가 큰 항목은 '음식의 간을 전반적으로 싱겁게 하려고 노력하기', '국·찌개의 국물 양을 적게 제공하기', '가공완제품을 사용하기보다 직접 조리하기', '양념해서 오래 재워두지 않고 제공 직전 양념하기', '양념의 짠맛을 줄이고 단맛, 신맛 추가하기', '김치양을 적게 제공하기', '소금, 장류 줄이고 천연조미료 사용하기' 등이었다. 5. 급식소의 당류 저감화 실천도는 삼삼급식소가 일반급식소보다 높았다. 특히 '한 끼 양념과 소스의 종류를 2가지 이하로 식단 구성하기', '첨가당 함량이 높은 식재료 많이 구매하지 않기', '양념 대신 식재료 본연의 맛을 살려 조리하기', '첨가당 함량 높은 식재료 사용 줄이기', '소스를 버무리지 않고 직접 찍어 먹도록 별도 제공하기' 항목에서 삼삼급식소가 일반급식소에 비하여 실천도가 유의하게 높았다. 이상의 결과, 삼삼급식소는 일반급식소에 비하여 급식의 나트륨 저감화 실천도가 높았을 뿐 아니라 당류 저감화 실천도도 높은 것으로 나타났다. 따라서 향후 단체급식소의 나트륨 및 당류 저감화를 보다 확대하고 정착하기 위해서 국가 차원의 지원과 인센티브를 지속적으로 제공하는 것이 필요한 것으로 사료된다.