• 제목/요약/키워드: 분산 수집 모델

검색결과 121건 처리시간 0.024초

자바스크립트 함수 처리가 가능한 분산처리 방식의 웹 수집 로봇의 설계 (Design of Web Searching Robot Engine Using Distributed Processing Method Application to Javascript Function Processing)

  • 김대유;남기효;김정태
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2008년도 춘계종합학술대회 A
    • /
    • pp.289-292
    • /
    • 2008
  • 기존의 웹 수집 로봇에서 처리하지 못하는 자바스크립트 함수 링크를 처리하기 위하여 인터넷 익스플로러의 "Active Script Engine"을 사용하였다. 또한 자바스크립트 함수 링크를 처리 하였을 경우 웹 수집 로봇의 수집량을 측정하기 위하여 웹 수집 로봇을 개발하였다. 웹 수집 로봇을 개발하기 위해서 구글봇과 네이봇 등 웹 수집 로봇의 구조를 파악하여, 수집 로봇에 활용되는 구성요소를 구현하고 분산처리형태의 웹 수집 로봇을 설계하여 개발했다. 또한 개발된 웹 로봇에 제안된 자바스크립트 처리 모델을 추가하여 성능 평가를 하였다. 성능평가 방법은 자바스크립트를 사용하는 웹사이트의 게시판을 대상으로 하여 웹 수집량을 비교 분석하는 것이다. 웹사이트 게시물 1000개인 경우, 일반 웹 로봇의 경우에는 1페이지밖에 수집하지 못하였고, 제안된 웹 로봇의 경우 1000개 이상의 웹 페이지를 수집하는 결과를 얻었다.

  • PDF

분산수집 모델을 이용한 웹 로봇의 설계 및 구현 (Design of Web Robot Engine Using Distributed Collection Model Processing)

  • 김대유;김정태
    • 한국정보통신학회논문지
    • /
    • 제14권1호
    • /
    • pp.115-121
    • /
    • 2010
  • 인터넷의 이용이 활발해짐에 따라 수많은 정보들이 웹을 통하여 공개되고 있으며, 이용자는 웹 검색 서비스를 이용하여 이러한 정보들에 효과적으로 접근할 수 있다. 웹 검색 서비스의 구축을 위해서는 웹 로봇을 사용한 웹 문서 수집이 선행되어야 하며, 웹 문서들의 수가 급격히 증가하면서 양질의 웹 문서들을 효과적으로 수집할 수 있는 웹 로봇에 대한 필요성이 증가되고 있으며, 그에 따른 많은 웹 수집 로봇이 탄생되고 있다. 본 논문에서는 효과적인 웹 수집 로봇의 설계와 동적인 웹페이지에서 사용하는 자바스크립트의 링크추출 방안을 제안하였다. 본 논문에서는 성능 분석을 위하여 제안된 모델을 사용하여 수집 모델을 1개로 설정해 놓고 299개의 웹 페이지를 점검 하였을 경우, 2분 12.67초가 소요되었고, 수집 모델을 10개로 생성하여 점검 하였을 경우 12.33초가 소요됨을 알 수 있었다.

연합학습 환경에서 클라이언트 선택의 최적화 기법

  • 박민정;손영진;채상미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.722-723
    • /
    • 2023
  • 연합학습은 중앙 서버에서 데이터를 수집하는 방식이 아닌 로컬 디바이스 또는 클라이언트에서 학습을 진행하고 중앙 서버로 모델 업데이트만 전송하는 분산 학습 기법으로 데이터 보안 및 개인정보보호를 강화하는 동시에 효율적인 분산 학습을 수행할 수 있다. 그러나, 연합학습 대부분의 시나리오는 클라이언트의 서로 다른 분포 형태인 non-IID 데이터를 대상으로 학습함에 따라 중앙집중식 모델에 비하여 낮은 성능을 보이게 된다. 이에 본 연구에서는 연합학습 모델의 성능을 개선하기 위하여 non-IID 의 환경에서 참여 후보자 중에서 적합한 클라이언트 선택의 최적화 기법을 분석한다.

WSN환경에서 은닉 마코프 모텔 기반의 분산추론 기법 적용한 행위인지 알고리즘 (An Activity Recognition Algorithm using a Distributed Inference based on the Hidden Markov Model in Wireless Sensor Networks)

  • 김홍섭;한만형;임거수
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2008년도 제39차 동계학술발표논문집 16권2호
    • /
    • pp.231-236
    • /
    • 2009
  • 본 연구에서는 집이나 사무실과 같은 일상 공간에서 발생할 수 있는 연간의 일상생활행위 (ADL: Activities of Daily Living) 들을 인지하는 분산 모델을 제시한다. 사용자의 환경 정보, 위치 정보 및 행위 정보를 간단한 센서들이 부착된 가정용 기기들과 가구, 식기들을 통해 무선 센서 네트워크를 통해 수집하며 분석한다. 하지만 이와 같은 다양한 기기의 활용과 충분히 분석되어지지 않은 데이터들은 본 논문에서 제시하는 일상 환경에서 고차원의 ADL 모델을 구축하기 어렵게 한다. 그러나 ADL들이 생성하는 센서 데이터들과 센서 데이터들의 순서들은 어떤 행위가, 이루어지고 있는지 인지할 수 있도록 도와준다. 따라서 이 센서 데이터들의 순서를 특정 행위 패턴을 분석하는 데 활용하고, 이를 통해 분산 선형 시간 추론 알고리즘을 제안한다. 이 알고리즘은 센서 네트워크와 같은 소규모 시스템에서 행위를 인지하는 데 적절하다.

  • PDF

다중 에이전트 협력학습 응용을 위한 적응적 접근법을 이용한 분산신경망 최적화 연구 (Distributed Neural Network Optimization Study using Adaptive Approach for Multi-Agent Collaborative Learning Application)

  • 윤준학;전상훈;이용주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.442-445
    • /
    • 2023
  • 최근 딥러닝 및 로봇기술의 발전으로 인해 대량의 데이터를 빠르게 수집하고 처리하는 연구 분야들로 확대되었다. 이와 관련된 한 가지 분야로써 다중 로봇을 이용한 분산학습 연구가 있으며, 이는 단일 에이전트를 이용할 때보다 대량의 데이터를 빠르게 수집 및 처리하는데 용이하다. 본 연구에서는 기존 Distributed Neural Network Optimization (DiNNO) 알고리즘에서 제안한 정적 분산 학습방법과 달리 단계적 분산학습 방법을 새롭게 제안하였으며, 모델 성능을 향상시키기 위해 원시 변수를 근사하는 단계수를 상수로 고정하는 기존의 방식에서 통신회차가 늘어남에 따라 점진적으로 근사 횟수를 높이는 방법을 고안하여 새로운 알고리즘을 제안하였다. 기존 알고리즘과 제안된 알고리즘의 정성 및 정량적 성능 평가를 수행하기 MNIST 분류와 2 차원 평면도 지도화 실험을 수행하였으며, 그 결과 제안된 알고리즘이 기존 DiNNO 알고리즘보다 동일한 통신회차에서 높은 정확도를 보임과 함께 전역 최적점으로 빠르게 수렴하는 것을 입증하였다.

u-라이프케어를 위한 HMM 기반의 분산 행위 인지 알고리즘 (A Distributed Activity Recognition Algorithm based on the Hidden Markov Model for u-Lifecare Applications)

  • 김홍섭;임거수
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권5호
    • /
    • pp.157-165
    • /
    • 2009
  • 본 논문에서는 일상 공간에서 발생할 수 있는 인간의 일상생활 행위(ADL: Activities of Daily Living)들을 인지하는 분산 모델을 제시한다. 사용자의 환경, 위치 및 행위 정보를 간단한 센서들이 부착된 가정용 기기 혹은 식기들을 통해 무선 센서 네트워크로 수집하며 분석하고, 이 정보를 기반으로 사용자의 생환패턴, 건강상태 등을 파악하여 이에 요구되는 라이프케어 서비스를 제공한다. 하지만 서비스의 제공을 위해서는 높은 수준의 행위인지 데이터가 요구되나 충분히 분석되어지지 않은 센싱 데이터들은 고차원 상창 추론을 위한 일상생활 행위 인지 모델의 구축을 어렵게 한다. 그러나 수집 데이터의 순서를 통해 행위를 인지할 수 있다는 것에 착안하여 센서 데이터들의 순서를 특정 행위 패턴을 분석하는 데 활용하고, 이를 기반으로 한 분산 선형 시간추론 알고리즘을 제안한다. 이 알고리즘은 가정, 사무실 및 병원과 같은 소규모 환경에서 행위를 인지하는 데 적절하다. 제안한 알고리즘의 성능평가를 위해서 MIT Media Lab에서 제공하는 공개 데이터를 사용하였으며, 75% 이상의 평균 행위 인지 정확도를 보였다.

Machine Learning-based Detection of DoS and DRDoS Attacks in IoT Networks

  • Yeo, Seung-Yeon;Jo, So-Young;Kim, Jiyeon
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권7호
    • /
    • pp.101-108
    • /
    • 2022
  • 본 논문은 다수의 사물인터넷 단말에서 보편적으로 수집할 수 있는 시스템 및 네트워크 메트릭을 학습하여 각 사물의 경험데이터를 기반으로 서비스거부 및 분산반사 서비스거부 공격을 탐지하는 침입 탐지 모델을 제안한다. 먼저, 공격 시나리오 유형별로 각 사물에서 37종의 시스템 및 네트워크 메트릭을 수집하고, 이를 6개 유형의 머신러닝 모델을 기반으로 학습하여 사물인터넷 공격 탐지 및 분류에 가장 효과적인 모델 및 메트릭을 분석한다. 본 논문의 실험을 통해, 랜덤 포레스트 모델이 96% 이상의 정확도로 가장 높은 공격 탐지 및 분류 성능을 보이는 것을 확인하였고, 그 다음으로는 K-최근접 이웃 모델과 결정트리 모델의 성능이 우수한 것을 확인하였다. 37종의 메트릭 중에는 모든 공격 시나리오에서 공격의 특징을 가장 잘 반영하는 CPU, 메모리, 네트워크 메트릭 5종을 발견하였으며 큰 사이즈의 패킷보다는 빠른 전송속도를 갖는 패킷이 사물인터넷 네트워크에서 서비스거부 및 분산반사 서비스거부 공격 특징을 더욱 명확히 나타내는 것을 실험을 통해 확인하였다.

가용자원을 활용한 해외학술정보 데이터베이스제작방법에 관한 연구 (A Study on Construction Method of Foreign Scientific Database by Utilizing Available Information Resources)

  • 노경란;권오진
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2003년도 춘계종합학술대회논문집
    • /
    • pp.323-326
    • /
    • 2003
  • 전통적인 해외학술정보 데이터베이스 제작시스템은 자료의 수집에서부터 DB로딩에 이르기까지 여러 문제들을 내포하고 있다. 본 논문에서는 분산되어 있는 가용자원들로부터 에이전트 기술을 이용하여 필요로 하는 메타데이터를 효율적으로 수집하고 활용하는 데이터베이스 제작모델을 설계하고자 한다. 본 논문은 해외학술정보 데이터베이스를 구성하는 수록정보에 대해 기술하고, 이들 수록정보와 연계된 가용자원들에 대해 살펴본다. 분산되어 있는 가용자원으로부터 메타데이터 구성에 필요한 기본요소를 수집하고, 이 메타데이터에 가공정보를 추가하고, 메타데이터의 품질을 검증하는 과정에 대해 기술한다.

  • PDF

플라즈마 공정 감시를 위한 Actinometric 광방사분광기 정보의 신경망 모델링 (Neural Network Modeling of Actinometric Optical Emission Spectroscopy Information for Mo nitoring Plasma Process)

  • 권상희;황보광;이규상;우형수;김병환
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
    • /
    • pp.177-178
    • /
    • 2007
  • 플라즈마 공정은 집적회로 제작을 위한 미세 박막의 증착과 패턴닝에 핵심적으로 이용되고 있다. 본 연구에서는 플라즈마공정감시와 제어에 응용될 수 있는 모델을 제안한다. 본 모델은 광방사분광기 (Optical emission spectroscopy-OES)정보와 역전파 신경망을 이용해서 개발하였다. 제안된 기법은 Oxide 식각공정에서 수집한 데이터에 적용하였으며, 체계적인 모델링을 위해 공정데이터는 통계적 실험계획법을 적용하여 수집되었다. Raw OES 정보대신, Actinometric OES 정보를 이용하였으며, 신경망의 예측성능은 유전자 알고리즘을 이용해서 증진시켰다. OES의 차수를 줄이기 위해 주인자 분석 (Principal Component Analysis-PCA)을 세 종류의 분산(100, 99, 98%)에 대해서 적용하였다. 최적화한 모델의 예측에러는 323 $\AA/min$이었다. 이전에 PCA를 적용하고 은닉층 뉴런의 함수로 최적화한 모델의 예측에러는 570 $\AA/min$이었으며, 개발된 모델은 이에 비해 43% 증진된 예측 성능을 보이고 있다.

  • PDF

연합학습을 위한 패턴 및 그룹 기반 효율적인 분산 합의 최적화 (Efficient distributed consensus optimization based on patterns and groups for federated learning)

  • 강승주;천지영;노건태;정익래
    • 인터넷정보학회논문지
    • /
    • 제23권4호
    • /
    • pp.73-85
    • /
    • 2022
  • 인공지능으로 자동화와 연결성이 극대화되는 4차 산업혁명 시대를 맞이하여 모델의 업데이트를 위한 데이터 수집과 활용의 중요성이 점차 높아지고 있다. 인공지능 기술을 사용하여 모델을 생성하기 위해서는 일반적으로 데이터를 한곳에 모아야 업데이트할 수 있으나, 이런 경우 사용자의 개인정보를 침해할 수 있다. 본 논문에서는 분산 저장된 데이터를 직접 공유하지 않으면서 서로 협력하여 모델을 업데이트할 수 있는 분산형 기계학습 방법인 연합학습을 소개하며, 기존의 서버 없이 참여자들 간의 분산 합의 최적화를 이루는 연구를 소개한다. 또한, Kirkman Triple System을 기반으로 한 패턴 및 그룹을 생성하는 알고리즘을 이용하며, 병렬적인 업데이트 및 통신을 하는 패턴 및 그룹 기반 분산 합의 최적화 알고리즘을 제안한다. 이러한 알고리즘은 기존의 분산 합의 최적화 알고리즘 이상의 프라이버시를 보장하며, 모델이 수렴할 때까지의 통신시간을 감소시킨다.