• 제목/요약/키워드: Crawler

검색결과 199건 처리시간 0.023초

웹 사전 크롤링을 이용한 데이터베이스 메타데이터 표준화 처리 모델 (Database metadata standardization processing model using web dictionary crawling)

  • 정하나;박구락;정영석
    • 디지털융복합연구
    • /
    • 제19권9호
    • /
    • pp.209-215
    • /
    • 2021
  • 데이터 품질 관리는 최근 중요한 이슈로 자리잡았다. 데이터베이스의 메타데이터 표준화는 데이터 품질관리 방안 중 하나이다. 본 연구에서는 일관된 메타데이터 관리를 위하여 표준단어사전 관리를 지원하는 알고리즘을 제시한다. 해당 알고리즘은 웹 사전 크롤링을 통해 데이터베이스 메타데이터의 동의어 관리 자동화를 지원한다. 또한 웹 사전 크롤링 과정에서 생길 수 있는 동음이의어 판별 이슈를 해결하여 데이터의 정확도를 향상시킨다. 본 연구에서 제안하는 알고리즘은 기존의 수동적 관리에 비해 메타데이터 데이터 품질의 신뢰도를 높인다. 또한 이음동의어 데이터 등록 및 관리에 소비되는 시간을 단축시킬 수 있다. 새로운 데이터 표준화 부분 자동화 모델에 대한 추가 연구는 향후 데이터 표준화 프로세스에서 자동화 가능한 작업을 파악하여 진행되어야 한다.

웹 크롤러를 이용한 개인정보보호의 기술적 관리 체계 설계와 해석 (Design and Analysis of Technical Management System of Personal Information Security using Web Crawer)

  • 박인표;전상준;김정호
    • Journal of Platform Technology
    • /
    • 제6권4호
    • /
    • pp.69-77
    • /
    • 2018
  • 개인정보가 포함되어있는 개인정보파일의 경우 개인용 PC 및 스마트 단말기, 개인 저장 장치 등 End-Point 영역에서의 개인정보보호에 대한 의식은 미흡한 실정이다. 본 연구는 웹 크롤러를 통해 생성된 개인정보파일을 안전하게 검색하기 위해 Diffie-Hellman 기법을 이용하여 사용자 키 레벨을 부여하였다. 개인정보파일에 대한 공격을 대비는 SEED와 ARIA를 하이브리드(hybrid)한 슬라이싱(slicing)을 이용하여 설계하였다. 웹 크롤링 방법에 수집된 개인정보파일에 대한 암호화 성능은 키 생성에 따른 암복호화 속도, 사용자 키 레벨에 따른 암복호화 공유를 비교 하였다. 이에 대한 시뮬레이션은 대외기관 전송 프로세스를 대상으로 전달된 개인정보파일에 수행하였다. 그 결과 기존 방법의 성능을 비교하여 기존보다 검출은 4.64배의 향상됨과 동시에 정보보호율은 18.3%가 개선됨을 확인할 수 있었다.

트위터(twitter)에서의 파라벤(parabens) 관련 대중의 인식 변화와 치약내 파라벤에 대한 연구 현황 (Changes in public recognition of parabens on twitter and the research status of parabens related to toothpaste)

  • 오효정;전재규
    • Journal of Korean Academy of Oral Health
    • /
    • 제41권2호
    • /
    • pp.154-161
    • /
    • 2017
  • Objectives: The purpose of this study was to investigate changes in public recognition of parabens on Twitter and the research status of parabens related to toothpaste. Methods: Tweet information between 2010 and October 2016 was collected by an automatic web crawler and examined according to tweet frequency, key words (2012-October 2016), and issue tweet detection analyses to reveal changes in public recognition of parabens on Twitter. To investigate the research status of parabens related to toothpaste, queries such as "paraben," "paraben and toxicity," "paraben and (toothpastes or dentifrices)," and "paraben and (toothpastes or dentifrices) and toxicity" were used. Results: The number of tweets concerning parabens sharply increased when parabens in toothpaste emerged as a social issue (October 2014), and decreased from 2015 onward. However, toothpaste and its related terms were continuously included in the core key words extracted from tweets from 2015. They were not included in key words before 2014, indicating that the emergence of parabens in toothpaste as a social issue plays an important role in public recognition of parabens in toothpaste. The issue tweet analysis also confirmed the change in public recognition of parabens in toothpaste. Despite the expansion of public recognition of parabens in toothpaste, there are only seven research articles on the topic in PubMed. Conclusions: The general public clearly recognized parabens in toothpaste after emergence of parabens in toothpaste as a social issue. Nevertheless, the scientific information on parabens in toothpaste is very limited, suggesting that the efforts of dental scientists are required to expand scientific knowledge related to parabens in oral hygiene measures.

Deep Learning Frameworks for Cervical Mobilization Based on Website Images

  • Choi, Wansuk;Heo, Seoyoon
    • 국제물리치료학회지
    • /
    • 제12권1호
    • /
    • pp.2261-2266
    • /
    • 2021
  • Background: Deep learning related research works on website medical images have been actively conducted in the field of health care, however, articles related to the musculoskeletal system have been introduced insufficiently, deep learning-based studies on classifying orthopedic manual therapy images would also just be entered. Objectives: To create a deep learning model that categorizes cervical mobilization images and establish a web application to find out its clinical utility. Design: Research and development. Methods: Three types of cervical mobilization images (central posteroanterior (CPA) mobilization, unilateral posteroanterior (UPA) mobilization, and anteroposterior (AP) mobilization) were obtained using functions of 'Download All Images' and a web crawler. Unnecessary images were filtered from 'Auslogics Duplicate File Finder' to obtain the final 144 data (CPA=62, UPA=46, AP=36). Training classified into 3 classes was conducted in Teachable Machine. The next procedures, the trained model source was uploaded to the web application cloud integrated development environment (https://ide.goorm.io/) and the frame was built. The trained model was tested in three environments: Teachable Machine File Upload (TMFU), Teachable Machine Webcam (TMW), and Web Service webcam (WSW). Results: In three environments (TMFU, TMW, WSW), the accuracy of CPA mobilization images was 81-96%. The accuracy of the UPA mobilization image was 43~94%, and the accuracy deviation was greater than that of CPA. The accuracy of the AP mobilization image was 65-75%, and the deviation was not large compared to the other groups. In the three environments, the average accuracy of CPA was 92%, and the accuracy of UPA and AP was similar up to 70%. Conclusion: This study suggests that training of images of orthopedic manual therapy using machine learning open software is possible, and that web applications made using this training model can be used clinically.

빅데이터를 이용한 중고 거래 분석 시스템 연구 (A Study for Used Transaction Analysis System using Big Data)

  • 안병태
    • 디지털융복합연구
    • /
    • 제19권6호
    • /
    • pp.259-264
    • /
    • 2021
  • 최근 중고 거래를 지원하는 중고 거래 사이트가 증가함에 따라 사용자는 실시간으로 다양한 정보를 검색하고자 한다. 이러한 새로운 변화는 전자상거래 기반에서 새로운 유형의 C2C(Commerce to Commerce) 거래가 활성화 되었다. 그러나 각각의 중고 거래 사이트는 고유한 특성들이 있어 전체 표준화가 어렵다. 따라서 본 논문에서는 사용자가 사용한 거래 데이터를 실시간으로 제공하고 원하는 정보를 신속하게 제공하는 시스템을 연구하였다. 본 논문에서는 인터넷 전자 상거래를 통한 중고품 통합 거래 시스템 개발에 필요한 크롤러 시스템을 연구하고, 정의된 형태소 분석기를 통해 사용자가 원하는 웹 환경에서 정보 제공이 가능하도록 하였다. 따라서 본 연구에서는 다양한 중고 물품 사이트에 접속하지 않고도 사용자가 원하는 정보를 제공하는 시스템을 설계하였다.

선박 검사용 수중 드론 개발 Part 1: 설계·제작 및 시험 (Underwater Drone Development for Ship Inspection Part 1: Design, Production and Testing)

  • 하연철;김진우;김구;정경택;최현덕
    • 융합신호처리학회논문지
    • /
    • 제21권1호
    • /
    • pp.38-48
    • /
    • 2020
  • 기존에 건조되어 있거나, 신규로 건조되고 있는 선저를 검사하기 위해선 전문 잠수부가 직접 수중 하부에서 육안으로 검사를 한다. 하지만 직접 사람이 하는 일이기 때문에 인명사고, 충돌사고 등 많은 위험이 뒤따른다. 이를 해결하기 위해 Visual Inspection을 위한 선박 검사용 수중 드론 개발이 필요하다. 수중 드론에 적용되는 기술과 각 부품의 용도와 제작 과정, 펌웨어 개발과 같은 제작 방법에 관해 기술하였으며 수중에서 드론 자체의 주행 능력과 크롤러를 이용한 주행 능력을 측정하여 차이를 비교해보고 위치 추적 장치 테스트를 통해 실제 위치와의 오차를 확인하였다. 본 연구를 통해 제작된 수중 드론을 작업 현장에서 사용하였을 때 인명사고를 예방하고 경제적 효과와 안정성을 얻을 것으로 기대된다.

딥러닝을 이용한 마스크 착용 여부 검사 시스템 (Mask Wearing Detection System using Deep Learning)

  • 남충현;남은정;장경식
    • 한국정보통신학회논문지
    • /
    • 제25권1호
    • /
    • pp.44-49
    • /
    • 2021
  • 최근 COVID-19로 인해 마스크 착용 여부 자동 검사 시스템에 신경망 기술들을 적용하는 연구가 활발히 진행되고 있다. 신경망 적용 방식에 있어서 1단계 검출 방식 또는 2단계 검출 방식을 사용하며, 데이터를 충분히 확보할 수 없는 경우 사전 학습된 신경망에 대해 가중치 미세 조절 기법을 적용하여 학습한다. 본 논문에서는 얼굴 인식부와 마스크 검출부로 구성되는 2단계 검출 방식을 적용하였으며, 얼굴 인식부에는 MTCNN 모델, 마스크 검출부에는 ResNet 모델을 사용하였다. 마스크 검출부는 다양한 실 상황에서의 인식률과 추론 속도 향상을 위하여 5개의 ResNet모델을 적용하여 실험하였다. 학습 데이터는 웹 크롤러를 이용하여 수집한 17,219개의 정지 영상을 이용하였으며, 1,913개의 정지 영상과 1분 동영상 2개에 대해 각각 추론을 실시하였다. 실험 결과 정지 영상인 경우 96.39%, 동영상인 경우 92.98%의 높은 정확도를 보였고, 동영상 추론 속도는 10.78fps임을 확인하였다.

Developing and Pre-Processing a Dataset using a Rhetorical Relation to Build a Question-Answering System based on an Unsupervised Learning Approach

  • Dutta, Ashit Kumar;Wahab sait, Abdul Rahaman;Keshta, Ismail Mohamed;Elhalles, Abheer
    • International Journal of Computer Science & Network Security
    • /
    • 제21권11호
    • /
    • pp.199-206
    • /
    • 2021
  • Rhetorical relations between two text fragments are essential information and support natural language processing applications such as Question - Answering (QA) system and automatic text summarization to produce an effective outcome. Question - Answering (QA) system facilitates users to retrieve a meaningful response. There is a demand for rhetorical relation based datasets to develop such a system to interpret and respond to user requests. There are a limited number of datasets for developing an Arabic QA system. Thus, there is a lack of an effective QA system in the Arabic language. Recent research works reveal that unsupervised learning can support the QA system to reply to users queries. In this study, researchers intend to develop a rhetorical relation based dataset for implementing unsupervised learning applications. A web crawler is developed to crawl Arabic content from the web. A discourse-annotated corpus is generated using the rhetorical structural theory. A Naïve Bayes based QA system is developed to evaluate the performance of datasets. The outcome shows that the performance of the QA system is improved with proposed dataset and able to answer user queries with an appropriate response. In addition, the results on fine-grained and coarse-grained relations reveal that the dataset is highly reliable.

웹 말뭉치에 대한 문장 필터링 데이터 셋 구축 방법 (Sentence Filtering Dataset Construction Method about Web Corpus)

  • 남충현;장경식
    • 한국정보통신학회논문지
    • /
    • 제25권11호
    • /
    • pp.1505-1511
    • /
    • 2021
  • 자연어 처리 분야 내 다양한 작업들에서 높은 성능을 보인 사전 학습된 모델은 대량의 말뭉치를 이용하여 문장들의 언어학적 패턴을 스스로 학습함으로써 입력 문장 내 각 토큰들을 적절한 특징 벡터로 표현할 수 있다는 장점을 갖고 있다. 이러한 사전 학습된 모델의 학습에 필요한 말뭉치를 구축하는 방법 중 웹 크롤러를 이용하여 수집한 경우 웹사이트에 존재하는 문장은 다양한 패턴을 갖고 있기 때문에 문장의 일부 또는 전체에 불필요한 단어가 포함되어 있을 수 있다. 본 논문에서는 웹으로부터 수집한 말뭉치에 대해 신경망 모델을 이용하여 불필요한 단어가 포함된 문장을 필터링하기 위한 데이터 셋 구축 방법에 대해 제안한다. 그 결과, 총 2,330개의 문장을 포함한 데이터 셋을 구축하였다. 또한 신경망 모델을 이용하여 구축한 데이터 셋을 학습시켜 성능을 평가하였으며, BERT 모델이 평가 데이터에 대해 93.75%의 정확도로 가장 높은 성능을 보였다.

중고거래 어플리케이션 <당근마켓> 리뷰텍스트에 나타난 소비자의 인성 함축단어 텍스트마이닝 분석 (Analysis of Text Mining of Consumer's Personality Implication Words in Review of Used Transaction Application )

  • 정예린;주영애
    • 한국콘텐츠학회논문지
    • /
    • 제21권11호
    • /
    • pp.1-10
    • /
    • 2021
  • 본 연구는 중고거래 어플리케이션 <당근마켓>의 리뷰텍스트에 나타난 소비자의 인성 함축단어의 사용실태를 분석하였다. 데이터 수집은 2021년 5월로부터 과거 6개월간 서울과 경기권을 대상으로 하였다. 이는 웹 크롤러를 개발하여 무작위 추출 총 1368건을 수집 후, 최종 570건을 전처리하여 사용하였다. 결과는 다음과 같다. 첫째, 제품의 상거래 플랫폼임에도 리뷰텍스트의 48.2%는 소비자의 인성 관련 내용이었다. 둘째, 리뷰 텍스트는 긍정적 반응이 주를 이루며 이는 감사라는 키워드를 기반으로 텍스트 네트워크 구조를 형성하였다. 셋째, 소비자 인성을 함축하는 리뷰 텍스트는 소비자의 '대타적 인성'과' 대내적 인성'으로 그룹화되었고, 이는 플랫폼에서 통합적으로 작용하였다. 결론적으로 인성 관련 요인들이 플랫폼 거래 과정의 상호작용에서 중요한 역할을 함을 확인하였고, 앞으로 플랫폼의 서비스 품질에도 소비자의 인성이 경쟁력으로 작용할 것이므로, 이에 대해 다각도에서 연구되어야 할 것임을 제언하였다.