• Title/Summary/Keyword: 분산 수집 모델

Search Result 121, Processing Time 0.029 seconds

Design of Web Searching Robot Engine Using Distributed Processing Method Application to Javascript Function Processing (자바스크립트 함수 처리가 가능한 분산처리 방식의 웹 수집 로봇의 설계)

  • Kim, Dae-Yu;Nanm, Ki-Hyo;Kim, Jung-Tae
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2008.05a
    • /
    • pp.289-292
    • /
    • 2008
  • 기존의 웹 수집 로봇에서 처리하지 못하는 자바스크립트 함수 링크를 처리하기 위하여 인터넷 익스플로러의 "Active Script Engine"을 사용하였다. 또한 자바스크립트 함수 링크를 처리 하였을 경우 웹 수집 로봇의 수집량을 측정하기 위하여 웹 수집 로봇을 개발하였다. 웹 수집 로봇을 개발하기 위해서 구글봇과 네이봇 등 웹 수집 로봇의 구조를 파악하여, 수집 로봇에 활용되는 구성요소를 구현하고 분산처리형태의 웹 수집 로봇을 설계하여 개발했다. 또한 개발된 웹 로봇에 제안된 자바스크립트 처리 모델을 추가하여 성능 평가를 하였다. 성능평가 방법은 자바스크립트를 사용하는 웹사이트의 게시판을 대상으로 하여 웹 수집량을 비교 분석하는 것이다. 웹사이트 게시물 1000개인 경우, 일반 웹 로봇의 경우에는 1페이지밖에 수집하지 못하였고, 제안된 웹 로봇의 경우 1000개 이상의 웹 페이지를 수집하는 결과를 얻었다.

  • PDF

Design of Web Robot Engine Using Distributed Collection Model Processing (분산수집 모델을 이용한 웹 로봇의 설계 및 구현)

  • Kim, Dae-Yu;Kim, Jung-Tae
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.1
    • /
    • pp.115-121
    • /
    • 2010
  • As internet becomes widespread, a lot of information is opened to public and users of Internet can access effectively information using web searching service. To construct web searching service, the web searching method for collecting of information is needed to obtain web page view. As a number of web page view increases, it is necessary to collect information of high quality information to be searched, therefore, a variety of web engine for searching mechanism is developed. Method of link extraction with javascript in dynamic web page and design of web searching robot are presented m this paper. To evaluate performance analyzes, we fixed one searching model with the proposed method. The searching time takes 2 minute 67 sec for 299 web pages and 12.33 sec for 10 searching model.

연합학습 환경에서 클라이언트 선택의 최적화 기법

  • 박민정;손영진;채상미
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.722-723
    • /
    • 2023
  • 연합학습은 중앙 서버에서 데이터를 수집하는 방식이 아닌 로컬 디바이스 또는 클라이언트에서 학습을 진행하고 중앙 서버로 모델 업데이트만 전송하는 분산 학습 기법으로 데이터 보안 및 개인정보보호를 강화하는 동시에 효율적인 분산 학습을 수행할 수 있다. 그러나, 연합학습 대부분의 시나리오는 클라이언트의 서로 다른 분포 형태인 non-IID 데이터를 대상으로 학습함에 따라 중앙집중식 모델에 비하여 낮은 성능을 보이게 된다. 이에 본 연구에서는 연합학습 모델의 성능을 개선하기 위하여 non-IID 의 환경에서 참여 후보자 중에서 적합한 클라이언트 선택의 최적화 기법을 분석한다.

An Activity Recognition Algorithm using a Distributed Inference based on the Hidden Markov Model in Wireless Sensor Networks (WSN환경에서 은닉 마코프 모텔 기반의 분산추론 기법 적용한 행위인지 알고리즘)

  • Kim, Hong-Sop;Han, Man-Hyung;Yim, Geo-Su
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2009.01a
    • /
    • pp.231-236
    • /
    • 2009
  • 본 연구에서는 집이나 사무실과 같은 일상 공간에서 발생할 수 있는 연간의 일상생활행위 (ADL: Activities of Daily Living) 들을 인지하는 분산 모델을 제시한다. 사용자의 환경 정보, 위치 정보 및 행위 정보를 간단한 센서들이 부착된 가정용 기기들과 가구, 식기들을 통해 무선 센서 네트워크를 통해 수집하며 분석한다. 하지만 이와 같은 다양한 기기의 활용과 충분히 분석되어지지 않은 데이터들은 본 논문에서 제시하는 일상 환경에서 고차원의 ADL 모델을 구축하기 어렵게 한다. 그러나 ADL들이 생성하는 센서 데이터들과 센서 데이터들의 순서들은 어떤 행위가, 이루어지고 있는지 인지할 수 있도록 도와준다. 따라서 이 센서 데이터들의 순서를 특정 행위 패턴을 분석하는 데 활용하고, 이를 통해 분산 선형 시간 추론 알고리즘을 제안한다. 이 알고리즘은 센서 네트워크와 같은 소규모 시스템에서 행위를 인지하는 데 적절하다.

  • PDF

Distributed Neural Network Optimization Study using Adaptive Approach for Multi-Agent Collaborative Learning Application (다중 에이전트 협력학습 응용을 위한 적응적 접근법을 이용한 분산신경망 최적화 연구)

  • Junhak Yun;Sanghun Jeon;Yong-Ju Lee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.442-445
    • /
    • 2023
  • 최근 딥러닝 및 로봇기술의 발전으로 인해 대량의 데이터를 빠르게 수집하고 처리하는 연구 분야들로 확대되었다. 이와 관련된 한 가지 분야로써 다중 로봇을 이용한 분산학습 연구가 있으며, 이는 단일 에이전트를 이용할 때보다 대량의 데이터를 빠르게 수집 및 처리하는데 용이하다. 본 연구에서는 기존 Distributed Neural Network Optimization (DiNNO) 알고리즘에서 제안한 정적 분산 학습방법과 달리 단계적 분산학습 방법을 새롭게 제안하였으며, 모델 성능을 향상시키기 위해 원시 변수를 근사하는 단계수를 상수로 고정하는 기존의 방식에서 통신회차가 늘어남에 따라 점진적으로 근사 횟수를 높이는 방법을 고안하여 새로운 알고리즘을 제안하였다. 기존 알고리즘과 제안된 알고리즘의 정성 및 정량적 성능 평가를 수행하기 MNIST 분류와 2 차원 평면도 지도화 실험을 수행하였으며, 그 결과 제안된 알고리즘이 기존 DiNNO 알고리즘보다 동일한 통신회차에서 높은 정확도를 보임과 함께 전역 최적점으로 빠르게 수렴하는 것을 입증하였다.

A Distributed Activity Recognition Algorithm based on the Hidden Markov Model for u-Lifecare Applications (u-라이프케어를 위한 HMM 기반의 분산 행위 인지 알고리즘)

  • Kim, Hong-Sop;Yim, Geo-Su
    • Journal of the Korea Society of Computer and Information
    • /
    • v.14 no.5
    • /
    • pp.157-165
    • /
    • 2009
  • In this paper, we propose a distributed model that recognize ADLs of human can be occurred in daily living places. We collect and analyze user's environmental, location or activity information by simple sensor attached home devices or utensils. Based on these information, we provide a lifecare services by inferring the user's life pattern and health condition. But in order to provide a lifecare services well-refined activity recognition data are required and without enough inferred information it is very hard to build an ADL activity recognition model for high-level situation awareness. The sequence that generated by sensors are very helpful to infer the activities so we utilize the sequence to analyze an activity pattern and propose a distributed linear time inference algorithm. This algorithm is appropriate to recognize activities in small area like home, office or hospital. For performance evaluation, we test with an open data from MIT Media Lab and the recognition result shows over 75% accuracy.

Machine Learning-based Detection of DoS and DRDoS Attacks in IoT Networks

  • Yeo, Seung-Yeon;Jo, So-Young;Kim, Jiyeon
    • Journal of the Korea Society of Computer and Information
    • /
    • v.27 no.7
    • /
    • pp.101-108
    • /
    • 2022
  • We propose an intrusion detection model that detects denial-of-service(DoS) and distributed reflection denial-of-service(DRDoS) attacks, based on the empirical data of each internet of things(IoT) device by training system and network metrics that can be commonly collected from various IoT devices. First, we collect 37 system and network metrics from each IoT device considering IoT attack scenarios; further, we train them using six types of machine learning models to identify the most effective machine learning models as well as important metrics in detecting and distinguishing IoT attacks. Our experimental results show that the Random Forest model has the best performance with accuracy of over 96%, followed by the K-Nearest Neighbor model and Decision Tree model. Of the 37 metrics, we identified five types of CPU, memory, and network metrics that best imply the characteristics of the attacks in all the experimental scenarios. Furthermore, we found out that packets with higher transmission speeds than larger size packets represent the characteristics of DoS and DRDoS attacks more clearly in IoT networks.

A Study on Construction Method of Foreign Scientific Database by Utilizing Available Information Resources (가용자원을 활용한 해외학술정보 데이터베이스제작방법에 관한 연구)

  • 노경란;권오진
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2003.05a
    • /
    • pp.323-326
    • /
    • 2003
  • There are marv problems in conventional database Construction of foreign scientific journal from material aquisition to DB loading. This paper's purpose is to design database construction model which utilizes available information resources scattered several locations and uses agents technology to gather essential metadata efficiently. This paper describes component informations of foreign scientific database and related available resources. And it describes a process of DB construction that include metadata gathering method, automatic metadata classification method, and metadata quality monitoring method.

  • PDF

Neural Network Modeling of Actinometric Optical Emission Spectroscopy Information for Mo nitoring Plasma Process (플라즈마 공정 감시를 위한 Actinometric 광방사분광기 정보의 신경망 모델링)

  • Kwon, Sang-Hee;Bo, Kwang;Lee, Kyu-Sang;Uh, Hyung-Soo;Kim, Byung-Whan
    • Proceedings of the KIEE Conference
    • /
    • 2007.10a
    • /
    • pp.177-178
    • /
    • 2007
  • 플라즈마 공정은 집적회로 제작을 위한 미세 박막의 증착과 패턴닝에 핵심적으로 이용되고 있다. 본 연구에서는 플라즈마공정감시와 제어에 응용될 수 있는 모델을 제안한다. 본 모델은 광방사분광기 (Optical emission spectroscopy-OES)정보와 역전파 신경망을 이용해서 개발하였다. 제안된 기법은 Oxide 식각공정에서 수집한 데이터에 적용하였으며, 체계적인 모델링을 위해 공정데이터는 통계적 실험계획법을 적용하여 수집되었다. Raw OES 정보대신, Actinometric OES 정보를 이용하였으며, 신경망의 예측성능은 유전자 알고리즘을 이용해서 증진시켰다. OES의 차수를 줄이기 위해 주인자 분석 (Principal Component Analysis-PCA)을 세 종류의 분산(100, 99, 98%)에 대해서 적용하였다. 최적화한 모델의 예측에러는 323 $\AA/min$이었다. 이전에 PCA를 적용하고 은닉층 뉴런의 함수로 최적화한 모델의 예측에러는 570 $\AA/min$이었으며, 개발된 모델은 이에 비해 43% 증진된 예측 성능을 보이고 있다.

  • PDF

Efficient distributed consensus optimization based on patterns and groups for federated learning (연합학습을 위한 패턴 및 그룹 기반 효율적인 분산 합의 최적화)

  • Kang, Seung Ju;Chun, Ji Young;Noh, Geontae;Jeong, Ik Rae
    • Journal of Internet Computing and Services
    • /
    • v.23 no.4
    • /
    • pp.73-85
    • /
    • 2022
  • In the era of the 4th industrial revolution, where automation and connectivity are maximized with artificial intelligence, the importance of data collection and utilization for model update is increasing. In order to create a model using artificial intelligence technology, it is usually necessary to gather data in one place so that it can be updated, but this can infringe users' privacy. In this paper, we introduce federated learning, a distributed machine learning method that can update models in cooperation without directly sharing distributed stored data, and introduce a study to optimize distributed consensus among participants without an existing server. In addition, we propose a pattern and group-based distributed consensus optimization algorithm that uses an algorithm for generating patterns and groups based on the Kirkman Triple System, and performs parallel updates and communication. This algorithm guarantees more privacy than the existing distributed consensus optimization algorithm and reduces the communication time until the model converges.