• Title/Summary/Keyword: 분산 웹

Search Result 934, Processing Time 0.028 seconds

Design of Web Robot Engine Using Distributed Collection Model Processing (분산수집 모델을 이용한 웹 로봇의 설계 및 구현)

  • Kim, Dae-Yu;Kim, Jung-Tae
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.1
    • /
    • pp.115-121
    • /
    • 2010
  • As internet becomes widespread, a lot of information is opened to public and users of Internet can access effectively information using web searching service. To construct web searching service, the web searching method for collecting of information is needed to obtain web page view. As a number of web page view increases, it is necessary to collect information of high quality information to be searched, therefore, a variety of web engine for searching mechanism is developed. Method of link extraction with javascript in dynamic web page and design of web searching robot are presented m this paper. To evaluate performance analyzes, we fixed one searching model with the proposed method. The searching time takes 2 minute 67 sec for 299 web pages and 12.33 sec for 10 searching model.

CERES: A Log-based, Interactive Web Analytics System for Backbone Networks (CERES: 백본망 로그 기반 대화형 웹 분석 시스템)

  • Suh, Ilhyun;Chung, Yon Dohn
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.10
    • /
    • pp.651-657
    • /
    • 2015
  • The amount of web traffic has increased as a result of the rapid growth of the use of web-based applications. In order to obtain valuable information from web logs, we need to develop systems that can support interactive, flexible, and efficient ways to analyze and handle large amounts of data. In this paper, we present CERES, a log-based, interactive web analytics system for backbone networks. Since CERES focuses on analyzing web log records generated from backbone networks, it is possible to perform a web analysis from the perspective of a network. CERES is designed for deployment in a server cluster using the Hadoop Distributed File System (HDFS) as the underlying storage. We transform and store web log records from backbone networks into relations and then allow users to use a SQL-like language to analyze web log records in a flexible and interactive manner. In particular, we use the data cube technique to enable the efficient statistical analysis of web log. The system provides users a web-based, multi-modal user interface.

Implementation of Web Service based Matchmaker for Distributed Visual Media Retrieval (분산 시각 미디어 검색을 위한 웹 서비스 기반 매치메이커 구현)

  • Lee, Seong-Woo;Ahn, Chul-Bum;Suh, Bo-Won;Nah, Yun-Mook
    • Journal of Korea Multimedia Society
    • /
    • v.11 no.2
    • /
    • pp.129-142
    • /
    • 2008
  • With the rapid increase of Web Service sites, one emerging problem is how to find the most appropriate Services from the massive number of similar Web Services. A matchmaker is an agent system, which find the best Service providers for the given queries. In this paper, we propose a matchmaker for the distributed visual media retrieval framework, called HERMES, and describe how to rank the resulting Services based on the QoS elements related with visual media Services. To show the usefulness and correctness of the proposed schemes, some experimental results are also shown.

  • PDF

A Framework For Efficient Development of XML WebServices (XML 웹서비스의 효율적인 개발을 위한 프레임워크)

  • Choi, Byung-Ha;Choi, Jong-Moo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06b
    • /
    • pp.132-135
    • /
    • 2011
  • 분산 시스템의 다양한 언어와 이기종의 플랫폼을 하나의 서비스로 묶어 비즈니스의 요구를 적절 충족시키기 위하여 XML 웹서비스가 제안되었다. 그러나 비즈니스의 요구는 만족시킬 수 있지만 개발자의 입장에서는 SOAP(Simple Object Access Protocol), XML 웹서비스 기술, XML 등 알아야 할 기술들은 점차 증가하고 개발자의 업무는 점점 증가하고 있다. 이런 현실에서 개발자는 다양한 기술을 익히지 않아도 XML 웹서비스를 구축할 수 있고 한번 개발된 소스코드는 EJB같은 다른 분산시스템에도 적용시킬 수 있는 프레임워크를 제안한다. 이는 개발자에게 개발 코드 수를 줄이고 다른 시스템으로의 전환에 최소의 비용으로 할 수 있으므로 경제적, 또는 개발 자원을 최소화할 수 있는 프레임워크이다.

The Design and Implementation of Web-based Automatic Conversion Technology between Korean and English (웹 기반 한영자동전환 모델 및 구현)

  • Kim, Tae-Sang;Park, Jung-Hyun;Jung, Kang-Hyun;Lee, Keung-Hae
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06b
    • /
    • pp.150-155
    • /
    • 2008
  • 컴퓨터에 입력하는 데이터에는 한글과 영어가 혼합되어 있다. 데이터를 입력하기 위해서는 흔히 키보드의 한/영 전환키를 사용하여 입력되는 언어에 맞게 수동으로 입력모드를 전환하는데 잘못된 모드에서 데이터를 입력하게 되는 문제점이 있어서 자동으로 입력 모드를 전환해주는 한영자동전환기술에 관한 연구가 있었다. 인터넷에서의 데이터 입력시에도 사용자가 데이터를 잘못된 입력 모드에서 입력하여 원하는 검색결과를 얻지 못하는 일도 자주 발생한다. 본 논문은 인터넷 검색과 같이 분산환경에서 데이터를 입력할 때에 이용될 수 있는 웹기반 한영 자동전환 모델 및 구현에 대하여 설명한다. 본 논문에서는 이러한 문제점을 해결 하기 위해 기존의 응용프로그램에서 동작하는 한영자동전환 기술을 분산환경에서 적용할 수 있도록 설계하였다. 본 논문에서 설명하는 방법을 이용하면 웹 응용에서 기존의 다른 구현보다 편리하게 한영 자동전환 서비스를 사용할 수 있으며 웹 검색에 적용할 경우 검색결과의 정확성이 증가된다.

  • PDF

A Data Transfer Method of the Sub-Cluster Group based on the Distributed and Shared Memory (분산 공유메모리를 기반으로 한 서브 클러스터 그룹의 자료전송방식)

  • Lee, Kee-Jun
    • The KIPS Transactions:PartA
    • /
    • v.10A no.6
    • /
    • pp.635-642
    • /
    • 2003
  • The radical development of recent network technology provides the basic foundation which can establish a high speed and cheap cluster system. It is a general trend that conventional cluster systems are built as the system over a fixed level based on stabilized and high speed local networks. A multi-distributed web cluster group is a web cluster model which can obtain high performance, high efficiency and high availability through mutual cooperative works between effective job division and system nodes through parallel performance of a given work and shared memory of SC-Server with low price and low speed system nodes on networks. For this, multi-distributed web cluster group builds a sub-cluster group bound with single imaginary networks of multiple system nodes and uses the web distributed shared memory of system nodes for the effective data transmission within sub-cluster groups. Since the presented model uses a load balancing and parallel computing method of large-scale work required from users, it can maximize the processing efficiency.

Development of an Integration System for Distributed Retrieval (분산통합검색을 위한 시스템 개발)

  • Jeong, Chang-Hoo;Lee, Jung-hyun;Lee, Hyun-Suk;Lim, Pyung;Yang, Myung-Seok;Myaeng, Sung-Hyun;Seo, Jeong-Hyun;Kim, Hyun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.382-384
    • /
    • 2001
  • 사용자들은 기하급수적으로 증가하는 정보 중 원하는 정보를 보다 빠르고 정확하게 제공받기를 원한다. 웹 환경에서 분산되어 있는 검색서버의 특성을 고려한 통합검색 서비스를 통해 사용자는 다수의 분산 서버에서 원하는 정보를 손쉽게 찾을 수 있다. 본 연구에서는 웹 상에 물리적으로 분산된 서버, 즉 이질적인 환경을 가지는 다수의 분산서버를 대상으로 논리적으로 묶어서 하나의 통합검색환경을 제공하기 위한 시스템을 설계하고 구현하였다. XML 기반으로 정의된 프로토콜을 사용해서 각각의 분산된 서버는 쉽게 통합검색에 참여할 수 있으며, 통합서버는 분산서버의 메타 데이터 정보를 이용해서 사용자의 질의 및 결과를 효율적으로 처리하도록 한다.

  • PDF

Histogram Equalization Technique for Content-Aware Load Balancing in Web Sewer Clusters (클러스터 Web 서버 상에서 내용 기반 부하 분산을 위한 히스토그램 균등화 기법)

  • 김종근;홍기호;최황규
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04a
    • /
    • pp.631-633
    • /
    • 2002
  • 본 논문은 대용량 클러스터 기반의 웹 서버 상에서 새로운 내용 기반 부하 분산 기법을 제안한다. 제안된 기법은 웹 서버 로그의 URL 항목에 해시 함수를 적용하여 얻어지는 해시 값에 요청 빈도와 전송될 과일 크기를 누적하여 히스토그램을 생성한다. 그 결과로 생성된 히스토그램의 누적 분포에 히스토그램 균등화 변환함수를 적용하여 각각의 서버 노드에 해시 값에 따라 분포하는 부하를 균등하게 할당할 수 있다. 제안된 부하 분산 기법의 효율성 검증을 위한 시뮬레이션에서 히스토그램 균등화 기법은 서버의 지역적인 캐시 활용과 부하의 균등분산 등의 장점으로 우수한 성능을 나타냄을 보인다.

  • PDF

WAS Framework Designed for Distributed Computing Environments (분산 컴퓨팅 환경을 위한 WAS 프레임워크 설계)

  • Choi, ung-ueop;Kwon, eun-ji;Lee, jeong-sub;Baek, seo-hyun
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2013.05a
    • /
    • pp.283-284
    • /
    • 2013
  • 최근 MVC 아키텍처를 따르는 많은 웹 서비스 프레임워크들이 제공되고 있다. 그러나 기존의 상용 프레임워크들의 대부분이 분산 컴퓨팅 환경(Distributed Computing Environment)을 지원하지 않거나 지원한다고 하더라도 기존 MVC 아키텍처보다 복잡한 구조를 가지고 있다. 따라서 우리는 기존 MVC모델을 한번 더 추상화 하는 방법인 VCC를 정의하였고, 분산 컴퓨팅 환경을 MVC모델에 맞게 재설계 하였다. View-Control-Client(VCC)란 MVC모델에서 클라이언트가 Control의 역할까지 담당하는 구조를 말한다. 본 논문에서 제안하는 분산 환경 VCC 아키텍처를 사용하면 좀 더 효율적으로 다수의 자원을 관리할 수 있을 뿐 만 아니라 고효율의 웹 어플리케이션 서비스 프레임워크를 제작할 수 있다.

  • PDF

Content-Aware Load Balancing Technique Based on Histogram Equalization in Web Server Clusters (클러스터 Web 서버 상에서 히스토그램 균등화를 이용한 내용기반 부하분산 기법)

  • Kim, Jong-Geun;Choi, Hwang-Kyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.369-372
    • /
    • 2002
  • 본 논문은 대용량 클러스터 기반의 웹 서버를 위한 새로운 내용 기반 부하 분산 기법을 제안한다. 제안된 기법은 웹 서버 로그의 URL 항목에 해시 함수를 적용하여 얻어지는 해시 값에 요청 빈도와 전송될 파일 크기를 누적하여 히스토그램을 생성한다. 그 결과로 생성된 히스토그램의 누적 분포에 히스토그램 균등화 변환함수를 적용하여 각각의 서버 노드에 해시 값에 따라 분포하는 부하를 균등하게 할당할 수 있다. 제안된 부하 분산 기법의 효율성 검증을 위한 시뮬레이션에서 히스토그램 균등화 기법은 서버의 지역적인 캐시 활용과 부하의 균등 분산 등의 장점으로 우수한 성능을 나타냄을 보인다.

  • PDF