• 한국콘텐츠학회논문지
• /
• 제13권12호
• /
• pp.575-584
• /
• 2013

빅데이터 분석을 위해 활용되는 데이터로는 뉴스, 블로그, SNS, 논문, 특허 그리고 센서로부터 수집된 데이터 등 매우 다양한 유형의 데이터가 있다. 특히, 신뢰성 있는 데이터를 실시간 제공하는 웹 문서의 활용이 점차 확산되고 있다. 그리고 빅데이터의 활용이 다양한 분야로 점차 확산되고 웹 데이터가 매년 기하급수적으로 증가하면서 웹 문서를 자동으로 수집하는 웹 크롤러의 중요성이 더욱 커지고 있다. 하지만, 기존 크롤러들은 일부 사이트에서 수집된 웹 문서에 포함된 URL만을 기반으로 웹 문서를 수집하기 때문에 사이트 전체 웹 문서를 수집할 수 없는 문제를 가진다. 또한, 수집된 웹 문서에 대한 정보를 효율적으로 관리하지 못하기 때문에 중복된 웹 문서를 수집하는 문제를 가진다. 그래서 본 논문에서는 웹 사이트의 RSS와 Google Search API를 통해 기존 웹 크롤러의 문제를 해결하고 RMI와 NIO을 활용해 서버와 클라이언트간 네트워크 연결을 최소화해 빠른 크롤링 기능을 제공하는 분산형 웹 크롤러를 제안한다. 또한, 제안하는 웹 크롤러는 웹 문서를 구성하는 태그들에 대한 키워드 유사도 비교를 통해, 분석에 활용되는 중요 콘텐츠만을 자동 추출하는 기능을 제공한다. 마지막으로, 기존 웹 크롤러와 제안하는 크롤러의 성능 평가 결과를 통해 제안하는 웹 크롤러의 우수성을 입증한다.

• Korean Chemical Engineering Research
• /
• 제57권6호
• /
• pp.781-789
• /
• 2019

연구실 실험, 파일럿 플랜트 및 반응기 운전 중 화학물질에 의한 안전사고가 발생하고 있다. 합성 실험을 시작하기전 사고예방을 위해 관련 정보들을 찾아볼 필요가 있으며, 공정설계 단계에서도 반응 폭주 예방을 위한 반응정보의 확보는 필수적이다. 합성반응 관련 정보는 인터넷을 포함해 다양한 source가 존재하지만, 검색에 오랜 시간이 걸리고, 합성법마다 사용되는 물질도 달라 적정경로 선택의 어려움이 있다. 연구자들의 합성경로 검색시간단축과 합성 시 존재할 수 있는 위험성 및 중간생성물질들의 확인에 도움을 주고자 본 연구는 스마트 합성경로 탐색시스템을 제안하였다. 제안한 탐색시스템은 Python 패키지인 Selenium을 사용한 Web scraping 및 Web crawling을 통해 인터넷에 존재하는 정보를 수집하여 DB를 자동으로 갱신한다. 경로 탐색 알고리즘은 depth-first search에 기반하여 목표 물질을 기준으로 탐색을 진행하고, 유해화학물질 등급, 수율 등을 구분하여, 제한된 경로 단계 수치내에 있는 모든 합성 경로를 제안한다. 또한 각자의 연구 목적에 맞게 연구원들이 가진 비공개 데이터를 형식을 맞춰 DB에 등록하여 확장할 수 있다. 시스템은 차후에 무료 사용이 가능하도록 open source로 공개할 예정이다. 개발 시스템은 연구자들이 제안된 경로를 참고하여 더 안전한 반응 방법을 찾고, 사고의 예방에도 도움을 줄 것으로 기대된다.

• 한국의류산업학회지
• /
• 제17권5호
• /
• pp.731-740
• /
• 2015

Mobile (smartphone) search engine marketing is increasingly important. Accordingly, the development of visual apparel search technology to obtain easier and faster access to visual information in the apparel field is urgently needed. This study helps establish a proper classifying system for an apparel search after an analysis of search techniques for apparel search applications and existing domestic and overseas apparel sites. An annotation technique is developed in accordance with visual attributes and apparel categories based on collected data obtained by web crawling and apparel images collecting. The categorical composition of apparel is divided into wearing, image and style. The web evaluation site traces the correlations of the apparel category and apparel factors as dependent upon visual attributes. An appraisal team of 10 individuals evaluated 2860 pieces of merchandise images. Data analysis consisted of correlations between apparel, sleeve length and apparel category (based on an average analysis), and correlation between fastener and apparel category (based on an average analysis). The study results can be considered as an epoch-making mobile apparel search system that can contribute to enhancing consumer convenience since it enables an effective search of type, price, distributor, and apparel image by a mobile photographing of the wearing state.

• 산업경영시스템학회지
• /
• 제35권1호
• /
• pp.1-9
• /
• 2012

It is well known that internet shoppers are very sensitive to sale prices. They visit the various shopping malls and collect the product information including purchase conditions for goods purchase decision-making. Recently the necessity of information support is increasing because of increase of information amount which is necessary and complexity of goods purchase decision-making process. The comparison shopping agent systems have provided price comparison information which is collected from various shopping malls to satisfy internet shoppers information craving. But the frequent price change caused by keen price competition is becoming the primary reason of information quality decline among price comparison sites. RSS which is a family of web feed formats used to publish frequently updated is applied even in on-line shopping malls. This paper develops a RSS product information collection system to get real-time product information. The proposed product information system consists of (1) web crawler module for searching RSS feed shopping malls automatically, (2) RSS reader module for parsing product information from RSS feed file, (3) product DB and (4) product searching module. Performance of the proposed system is higher than the comparison shopping agent systems when it is defined with the volume of collecting product information per unit time.

• 산경연구논집
• /
• 제12권8호
• /
• pp.21-32
• /
• 2021

Purpose: With the advent of the era of the 4th industrial revolution, called a new technological revolution, the necessity of fostering future talents equipped with AI utilization capabilities is emerging. However, there is a lack of research on AI education design and competency-based education curriculum as education for business major. The purpose of this study is to design AI education to cultivate competency-oriented AI literacy for business major in universities. Research design, data and methodology: For the design of AI basic education in business major, three expert Delphi surveys were conducted, and a demand analysis and specialization strategy were established, and the reliability of the derived design contents was verified by reflecting the results. Results: As a result, the main competencies for cultivating AI literacy were data literacy, AI understanding and utilization, and the main detailed areas derived from this were data structure understanding and processing, visualization, web scraping, web crawling, public data utilization, and concept of machine learning and application. Conclusions: The educational design content derived through this study is expected to help establish the direction of competency-centered AI education in the future and increase the necessity and value of AI education by utilizing it based on the major field.

• 한국치위생학회지
• /
• 제23권4호
• /
• pp.303-309
• /
• 2023

Objectives: According to the Korea Education Development Institute, the college admission quota is expected to exceed the number of high school graduates, leading to an anticipated expansion in the gap between them. This paper aims to conduct an empirical analysis of the variables previously studied, with a specific focus on the admission competition rate for the department of dental hygiene. Methods: The research methodology is the multiple linear regression analysis. The research data contains the structured data from academy information, and the web-based unstructured data collected over the past 3 years. Results: After conducting the analysis, it was newly discovered that the university's online recognition and its location in the metropolitan area were statistically significant factors influencing the admission competition rate for the department of dental hygiene. Conclusions: The findings of this study are expected to be helpful in formulating admission strategies for universities to attract new students and identifying the factors that influence student attraction.

• Journal of Platform Technology
• /
• 제6권4호
• /
• pp.69-77
• /
• 2018

개인정보가 포함되어있는 개인정보파일의 경우 개인용 PC 및 스마트 단말기, 개인 저장 장치 등 End-Point 영역에서의 개인정보보호에 대한 의식은 미흡한 실정이다. 본 연구는 웹 크롤러를 통해 생성된 개인정보파일을 안전하게 검색하기 위해 Diffie-Hellman 기법을 이용하여 사용자 키 레벨을 부여하였다. 개인정보파일에 대한 공격을 대비는 SEED와 ARIA를 하이브리드(hybrid)한 슬라이싱(slicing)을 이용하여 설계하였다. 웹 크롤링 방법에 수집된 개인정보파일에 대한 암호화 성능은 키 생성에 따른 암복호화 속도, 사용자 키 레벨에 따른 암복호화 공유를 비교 하였다. 이에 대한 시뮬레이션은 대외기관 전송 프로세스를 대상으로 전달된 개인정보파일에 수행하였다. 그 결과 기존 방법의 성능을 비교하여 기존보다 검출은 4.64배의 향상됨과 동시에 정보보호율은 18.3%가 개선됨을 확인할 수 있었다.

• 한국인터넷방송통신학회논문지
• /
• 제21권2호
• /
• pp.195-203
• /
• 2021

최근 IT 분야의 주요 기술인 빅데이터는 다양한 산업 분야로 확장되고 있으며 활용 방안에 대한 연구가 활발하게 진행 중이다. 대부분의 인터넷 산업 분야에서 사용자 리뷰는 이용자가 상품 구매를 결정하는 데 많은 도움을 준다. 그러나 방대한 제품 리뷰에서 긍정, 부정적 의미와 도움이 되는 리뷰를 선별하는 과정은 제품 구매 결정에 있어 많은 시간을 요구한다. 따라서 본 논문에서는 빅데이터 분석 기술인 LDA를 이용해 키워드를 분석 및 종합하여 사용자에게 의미 있는 정보를 제공하는 시스템을 설계하고 구현한다. 문서 토픽 추출을 위해 본 연구에서는 국내 도서 산업을 도메인으로 데이터를 크롤링하고, 빅데이터 분석을 실시한다. 이를 통해 사용자 리뷰의 토픽 및 감정단어를 바탕으로 상품에 대한 종합적인 정보를 제공함으로써 구매자에게 도움을 주고 나아가 리뷰 현황 분석을 통해 상품의 전망 또한 파악할 수 있다.

• 디지털융복합연구
• /
• 제17권2호
• /
• pp.195-200
• /
• 2019

스마트폰, 태블릿 등의 이동 통신 기기와 PC 이용이 확장됨에 따라 인터넷 상에서 데이터가 기하급수적으로 수집되고 있다. 또한 SNS의 발전으로 인해 이용자 간의 자유로운 의사소통과 여러 분야의 정보를 공유할 수 있어 다양한 다량의 의견들이 빅데이터 형태로 쌓이고 있다. 이에 따라 빅데이터 분석 기법을 사용하여 일반 사람들의 반응과 언론사의 뉴스 기사 반응의 차이를 알아보는 기법이 대두되고 있다. 본 논문에서는 아동 수당과 출산 장려금에 대해 SNS에서 나타난 대중들의 반응과 언론사의 반응을 분석하였다. 이를 위해 일정 기간 동안 트위터에 올라온 이용자들의 글을 수집하고 뉴스 기사를 크롤링하여 감성 분석을 진행하였다. 이를 통해 SNS에 나타나는 대중의 의견과 언론사 뉴스의 반응을 비교하여 대중과 언론이 국가 정책에 대한 반응의 차이를 비교 분석하였다.

• 스마트미디어저널
• /
• 제11권10호
• /
• pp.46-53
• /
• 2022

오늘날 4차 산업 혁명과 대규모 R&D 지원으로 인해 국내 기업은 세계 기술력 수준의 산업기술을 보유하기 시작하였으며 중요한 자산으로 변모하였다. 국가는 기업의 중요한 산업기술을 보호하고자 국가핵심기술로 지정하였으며, 특히 원자력, 조선, 반도체와 같은 기술이 유출될 경우 해당 기업뿐만 아니라 국가 차원에서도 심각한 경쟁력 손실로 이어질 수 있다. 매년 내부자 유출, 랜섬웨어 그룹의 해킹공격, 산업스파이에 산업기술 탈취 시도가 증가하고 있으며, 탈취된 산업기술은 다크웹 환경에서의 은밀하게 거래가 이루어진다. 본 논문에서는 다크웹 환경에서 은밀하게 이루어지는 산업기술 유출을 탐지하는 시스템을 제안한다. 제안된 모델은 먼저 OSINT 환경에서 수집한 정보를 이용하여 다크웹 크롤링을 통한 데이터베이스를 구축한다. 이후 KeyBERT 모델을 이용한 산업기술 유출 키워드를 추출한 후 다크웹 환경에서의 산업기술 유출 징후를 정량적 수치로 제안한다. 마지막으로 식별된 다크웹 환경에서의 산업기술 유출 사이트를 기반으로 PageRank 알고리즘 통한 2차 유출 가능성을 탐지한다. 제안된 모델을 통해 27,317개의 중복 없는 다크웹 사이트를 수집하였으며, 100개의 원자력 특허에서 총 15,028개의 원자력 관련 키워드를 추출하였다. 가장 높은 원자력 유출 다크웹 사이트를 기반으로 2차 유출을 탐지한 결과 12개의 다크웹 사이트를 식별하였다.