• 제목/요약/키워드: Parallel download

검색결과 8건 처리시간 0.022초

오디세우스 대용량 검색 엔진을 위한 병렬 웹 크롤러의 구현 (Implementation of a Parallel Web Crawler for the Odysseus Large-Scale Search Engine)

  • 신은정;김이른;허준석;황규영
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권6호
    • /
    • pp.567-581
    • /
    • 2008
  • 웹의 크기가 폭발적으로 증가함에 따라 인터넷에서 정보를 얻는 수단으로서 검색 엔진의 중요성이 부각되고 있다. 검색 엔진은 사용자에게 최신의 정보를 검색 결과로서 제공하기 위해 웹 페이지를 주기적으로 수집하고 이를 데이타베이스에 저장한다. 웹 크롤러는 이러한 목적으로 웹 페이지를 수집하는 프로그램이다. 대부분의 검색 엔진은 제한된 시간 내에 많은 수의 웹 페이지를 수집하기 위해 다수의 머신을 사용하는 병렬 웹 크롤러를 이용한다. 그러나, 병렬 웹 크롤러의 아키텍처와 세부 구현 방법이 잘 알려져 있지 않기 때문에 실제로 병렬 웹 크롤러를 구현하는 데에 어려움이 많다. 본 논문에서는 병렬 웹 크롤러(parallel web crawler)의 아키텍처와 세부 구현 방법을 제시한다. 병렬 웹 크롤러는 다수의 머신에서 웹 페이지를 병렬적으로 수집하기 위해 조정자(coordinator) 대리자(agent) 구조의 2-티어(tier) 모델을 사용한다. 조정자/대리자 모델은 각 머신에서 웹 페이지를 수집하기 위한 다수의 대리자들과 이 대리자들을 관리하기 위한 하나의 조정자로 구성된다. 병렬 웹 크롤러는 웹 페이지를 수집하기 위한 크롤링(crawling) 모듈, 수집한 웹 페이지를 데이타베이스 로딩 포맷으로 변환하기 위한 컨버팅(converting) 모듈, 수집된 웹 페이지의 중요도를 계산하기 위한 랭킹(ranking) 모듈로 구성된다. 본 논문에서는 병렬 웹 크롤러의 각 모듈들을 설명하고, 세부 구현 방법을 설명한다. 마지막으로, 실험을 통해 병렬 웹 크롤러의 성능을 평가하였다. 실험 결과, 제안된 병렬, 웹 크롤러가 수집해야할 웹 페이지 개수와 머신 개수에 따라 확장 가능함을 보였다.

무선 P2P 네트워크에서 Peer 사이의 효율적 자료 분배 방법에 대한 연구 (Efficient Data Distribution Method in a Wireless P2P Network)

  • 강승석
    • 한국시뮬레이션학회논문지
    • /
    • 제15권4호
    • /
    • pp.97-105
    • /
    • 2006
  • 인터넷 상에 저장된 콘텐츠를 3세대 통신 서비스를 이용해 내려 받으면 편리하지만, 자료의 양에 비례하여 통신료를 부과하는 경우 비용 면에서 부담스러울 수 있다. 본 논문은 peer라고 하는 이동단말기들이 협력하여 콘텐츠를 내려 받는데 지불하는 3G 통신비용을 줄이고자 콘텐츠의 지정된 일부분만을 유료인 3G 채널을 통해 내려 받고, 각 peer들은 자신이 내려 받은 부분을 다른 모든 peer들이 내려 받은 부분과 무료인 애드 혹 네트워크를 통해 교환 후 각 부분을 재구성하여 전체 콘텐츠를 생성한다. 본 논문은 per-peer 방식의 배분 방법을 주로 소개하며, 본 방법을 이와 유사한 방법인 per-packet 배분 방법과 성능을 비교한다. 시뮬레이션 결과로 볼 때, per-peer 방법이 per-packet 방법보다 우수하며, 두 방법 모두 10개의 peer가 참여하였을 때 약 90% 정도의 통신비용을 절감할 수 있다.

  • PDF

A Simple and Fast Web Alignment Tool for Large Amount of Sequence Data

  • Lee, Yong-Seok;Oh, Jeong-Su
    • Genomics & Informatics
    • /
    • 제6권3호
    • /
    • pp.157-159
    • /
    • 2008
  • Multiple sequence alignment (MSA) is the most important step for many of biological sequence analyses, homology search, and protein structural assignments. However, large amount of data make biologists difficult to perform MSA analyses and it requires much computational time to align many sequences. Here, we have developed a simple and fast web alignment tool for aligning, editing, and visualizing large amount of sequence data. We used a cluster server installed ClustalW-MPI using web services and message passing interface (MPI). It also enables users to edit multiple sequence alignments for manual editing and to download the input data and results such as alignments and phylogenetic tree.

스마트폰을 이용한 소규모 실시간 라디오 방송 시스템 (A Small Real-Time Radio Broadcasting System by Using Smart Phone)

  • 이재문
    • 한국인터넷방송통신학회논문지
    • /
    • 제12권5호
    • /
    • pp.83-90
    • /
    • 2012
  • 본 논문은 안드로이드 기반 스마트폰을 이용한 소규모 실시간 라디오 방송 시스템 설계 및 구현에 관한 연구이다. 서버-클라이언트 구조로 설계하였으며, 시스템을 간단히 하기 위하여 데이터 전송 방식으로 HTTP에 의한 점진적 다운로드 기법을 사용하였다. 실시간 방송을 실현하기 위하여 원음을 짧은 시간 간격으로 잘라서 캡쳐하여 압축/저장하였고, 이들을 순차적으로 클라이언트에서 재생하는 방법을 사용하였다. 이 방법은 서버에서 캡쳐 시 원음을 잃음과 클라이언트에서 재생 시 파일과 파일 사이 재생의 끊어지는 두 가지 문제를 발생 시킨다. 서버에서는 캡쳐 스레드와 압축/저장 스레드로 분리하고, 이중 버퍼링을 사용하여 해결하였으며, 클라이언트에서는 안드로이드에서 제공하는 미디어플레이어를 사용하고, 하나의 파일 큐에 다수의 음원 파일을 저장하여 해결하였다.

애드 혹 네트워크에서의 효율적인 콘텐츠 공유 방법 (Efficient Content Sharing in Ad Hoc Networks)

  • 강승석
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권2호
    • /
    • pp.209-220
    • /
    • 2007
  • 최근의 이동기기는 이동하면서 전화를 걸 수 있고, 무선으로 인터넷을 접속하고, 멀티미디어 영상과 음성을 출력하며, 주변의 유사한 이동기기들과 무선으로 통신을 하는 등 다양한 복합기능 때문에 실생활에서 자주 사용되고 있다. 3세대 이동통신 서비스는 이동기기에게 편리하게 인터넷을 접속하는 서비스를 제공한다. 이 경우 이동기기 사용자는 서비스 이용 시 사용한 데이터의 양에 비례하여 통신요금을 지불한다. 본 논문은 peer라고 부르는 여러 이동기기들이 관심 있는 하나의 콘텐츠를 내려 받을 때, 비용절감을 위해 서로 협력하는 특별한 애드 혹 네트워크를 소개한다. 애드 혹 네트워크에서 각 peer들은 내려 받고자 하는 파일의 전체가 아닌 각자에게 할당된 부분만을 비용이 부과되는 자신의 3G채널을 통해 내려 받고, 자신이 내려 받은 부분을 다른 peer들과 비용이 지불되지 않는 애드 혹 채널을 이용하여 서로 교환하여 교환된 각 부분을 통합하여 전체 파일을 재구성한다. 모의실험 결과에 따르면, 참여한 peer의 수가 많을수록 비용 절감 효과는 커지며 10개의 peer가 참여한 경우 90% 정도의 통신비용 감소 효과가 있으며, peer의 참여가 증가하여도 전체 파일 재구성 완료시간은 완만하게 증가한다.

  • PDF

FMS 구축을 위한 DNC 시스템 통신기법 (Method of DNC System Communication for FMS Construction)

  • 이석희;배용환
    • 대한기계학회논문집
    • /
    • 제18권4호
    • /
    • pp.805-815
    • /
    • 1994
  • The development of automatic production systems has a trend toward Computer Integrated Manufacturing System(CIMS) in recent years. In hardware configuration, CIMS are composed of intelligent CAD/CAM work stations, multifunction CNC machining centers including material handling systems. The DNC systems present the key element of automation hierarchy in a FMS. A DNC system is one which connects a number of numerically-controlled machines to a common memory in a digital computer for part program storage with provision for on-demand distribution of part program data to machines using communication in hierarchical structure of central computer, control computer and cell controller. This paper describes the development of Behind-the-Tape-Reader(BTR) type DNC system using CYBER 180-830 as a central computer and IBM PC-386 cell control computer and NC lathe with FANUC 5T NC controller. In this system, the connection between central computer and cell control computer is done via RS-232C serial interface board, and the connection between cell control computer and FANUC 5T controller is done via parallel interface board. The software consists of two module, central computer communication module for NC program downloading and status uploading, NC machine running module for NC operating.

대용량 콘텐츠 전송을 위한 병렬전송 오버레이 멀티캐스트 (A Parallel Transmission Overlay Multicast Scheme for Massive Contents Delivery)

  • 박진홍;윤미연;김선호;신용태;신석규
    • 한국정보과학회논문지:정보통신
    • /
    • 제32권5호
    • /
    • pp.593-602
    • /
    • 2005
  • 오버레이 멀티캐스트 전송방식은 멀티캐스트의 기능을 응용계층에 두어 인터넷상에서 멀티캐스트 전송이 가능한 새로운 방식이다. 그러나 오버레이 멀티캐스트 프로토콜들은 아직까지 표준화가 이루어지지 못하였고 대용량 콘텐츠 전송 시 많은 제약사항으로 인해 적용이 쉽지 않은 형편이다. 그러므로 오버레이 멀티캐스트 기반에 대용량 콘텐츠를 전송할 수 있는 새로운 전송기법의 연구가 요구되고 있다. 본 연구에서는 공통의 파일을 수신하고자 하는 호스트간의 그룹을 설정하여 기존 오버레이 멀티캐스트 기법의 그룹관리와 전송관리를 분리하여, 강건한 그룹관리가 가능한 프로토콜 스택을 구현하고, 그룹 멤버들간의 분산 다운로드 전송기법의 도입을 통해 기존 데이터 릴레이 기반의 오버레이 멀티캐스트 방식보다 빠른 병렬적 전송기법을 제안하여 전송속도 대비 대역폭 소모율에 대한 전송효율을 개선하였다.

OpenRISC 기반 멀티미디어 SoC 플랫폼의 ASIC 설계 (ASIC Design of OpenRISC-based Multimedia SoC Platform)

  • 김선철;류광기
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2008년도 추계종합학술대회 B
    • /
    • pp.281-284
    • /
    • 2008
  • 본 논문에서는 멀티미디어 SoC 플랫폼의 ASIC 설계에 대해 기술한다. 구현된 플랫폼은 32비트 OpenRISC1200 마이크로프로세서, WISHBONE 온 칩 버스, VGA 제어기, 디버그 인터페이스, SRAM 인터페이스 및 UART로 구성된다. 32 비트 OpenRISC1200 프로세서는 명령어 버스와 데이터 버스가 분리된 하버드 구조와 5단 파이프라인 구조를 가지고 VGA 제어기는 메모리로부터 읽은 이미지 파일에 대한 데이터를 RGB 값으로 CRT 혹은 LCD에 출력한다. 디버그 인터페이스는 플랫폼에 대한 디버깅 기능을 지원하고 SRAM 인터페이스는 18비트 어드레스 버스와 32비트 데이터 버스를 지원한다. UART는 RS232 프로토콜을 지원하는 시리얼 통신 기능을 제공한다. 본 플랫폼은 Xilinx VIRTEX-4 XC4VLX80 FPGA에 설계 및 검증되었다. 테스트 코드는 크로스 컴파일러로 생성되었고 JTAG 유틸리티 소프트웨어와 gdb를 이용하여 패러럴 케이블을 통해 FPGA 보드로 다운로드 하였다. 이 플랫폼은 최종적으로 Chartered 0.18um 공정을 이용하여 단일 ASIC 칩으로 구현 되었으며 100MHz 클록에서 동작함을 확인하였다.

  • PDF