• 제목/요약/키워드: Web Search Data

검색결과 647건 처리시간 0.031초

WEB기반의 환경 GIS자료 구축과 검색 (The Construction and Search of Environment GIS Data for WEB)

  • 김창제
    • Spatial Information Research
    • /
    • 제5권2호
    • /
    • pp.195-198
    • /
    • 1997
  • WEB기반의 환경 GIS자료 관리를 위해 JVM, JDBC, Oracle DB을 이용한다. 본 논문에서의 다루는 환경 GIS자료에는 위성, 주제도, GIS자료 등이 있으며, 이 자료는 공간 정보와 속성 정보를 가지고 DB에 존재한다. 자료의 검색은 WEB Broswer의 조회용 지도를 이용한 공간 검색과 비공간 속성 정보에 의한 검색 기능을 제공한다. 자료 등록은 WEB Broswer에서 자료 등록 시스템을 이용한다.

  • PDF

Implementation of Search Engine to Minimize Traffic Using Blockchain-Based Web Usage History Management System

  • Yu, Sunghyun;Yeom, Cheolmin;Won, Yoojae
    • Journal of Information Processing Systems
    • /
    • 제17권5호
    • /
    • pp.989-1003
    • /
    • 2021
  • With the recent increase in the types of services provided by Internet companies, collection of various types of data has become a necessity. Data collectors corresponding to web services profit by collecting users' data indiscriminately and providing it to the associated services. However, the data provider remains unaware of the manner in which the data are collected and used. Furthermore, the data collector of a web service consumes web resources by generating a large amount of web traffic. This traffic can damage servers by causing service outages. In this study, we propose a website search engine that employs a system that controls user information using blockchains and builds its database based on the recorded information. The system is divided into three parts: a collection section that uses proxy, a management section that uses blockchains, and a search engine that uses a built-in database. This structure allows data sovereigns to manage their data more transparently. Search engines that use blockchains do not use internet bots, and instead use the data generated by user behavior. This avoids generation of traffic from internet bots and can, thereby, contribute to creating a better web ecosystem.

시멘틱 웹 환경에서의 개인화 검색 (Personalized Search Service in Semantic Web)

  • 김제민;박영택
    • 정보처리학회논문지B
    • /
    • 제13B권5호
    • /
    • pp.533-540
    • /
    • 2006
  • 웹에 분산된 모든 윈 페이지는 구조가 서로 다르다. 시멘틱 웹 환경은 이형적인 구조를 갖는 웹 페이지들의 메타데이터 바탕으로 시멘틱 검색이 가능하다. 그러나 일반적으로 사용자의 요구에 따른 시멘틱 김색은 상황에 따라 엄청난 수의 검색 결과를 내놓는다. 따라서 검색 결과에 대해 각 사용자에 맞는 검색 결과 순위를 적용할 필요가 있다. Culture Finder는 시멘틱 웹 검색 에이전트들이 개인화 된 문화 정보를 검색할 수 있도록 도움을 준다. Culture Finder는 웹에 존재하는 각 웹 페이지에 대한 메타 데이터를 작성하고, 시멘틱 검색을 이행하며 사용자 프로파일을 기반으로 삼아 검색 결과에 대한 순위 점수를 계산한다. Culture Finder에는 개인화 된 시멘틱 검색을 효율적으로 실행하기 위해 중요한 5가지 기법이 적용되었다. 사용자의 검색 행위로부터 사용자 프로파일을 생성하기 위한 기계 학습기법, 시멘틱 웹 검색 에이전트를 위한 효율적인 시멘틱 검색 기법, 사용자 질의의 효과적인 파악을 위한 질의 분석 기법, 각 사용자에게 적합한 검색 결과를 제공하기 위한 순위 적용 기술, 메타데이터를 생성하기 위한 상위 온톨로지 표현 방법, 본 논문에서는 Culture Finder의 구조를 통해서 시멘틱 개인화 검색에 대한 기법을 제안한다.

Design and Implementation of Web Crawler utilizing Unstructured data

  • Tanvir, Ahmed Md.;Chung, Mokdong
    • 한국멀티미디어학회논문지
    • /
    • 제22권3호
    • /
    • pp.374-385
    • /
    • 2019
  • A Web Crawler is a program, which is commonly used by search engines to find the new brainchild on the internet. The use of crawlers has made the web easier for users. In this paper, we have used unstructured data by structuralization to collect data from the web pages. Our system is able to choose the word near our keyword in more than one document using unstructured way. Neighbor data were collected on the keyword through word2vec. The system goal is filtered at the data acquisition level and for a large taxonomy. The main problem in text taxonomy is how to improve the classification accuracy. In order to improve the accuracy, we propose a new weighting method of TF-IDF. In this paper, we modified TF-algorithm to calculate the accuracy of unstructured data. Finally, our system proposes a competent web pages search crawling algorithm, which is derived from TF-IDF and RL Web search algorithm to enhance the searching efficiency of the relevant information. In this paper, an attempt has been made to research and examine the work nature of crawlers and crawling algorithms in search engines for efficient information retrieval.

다양한 형태의 웹 탐색도구의 이용자집단간 비교효용성 및 평가에 관한 연구 (The comparative effectiveness and evaluation study of user groups of the various web search tools)

  • 박일종;윤명순
    • 한국도서관정보학회지
    • /
    • 제31권1호
    • /
    • pp.87-114
    • /
    • 2000
  • The purpose of this study is offering appropriate system and training program to helf the system designer and the trainer in addition to analyze information use behavior about the web search tools and evaluate the estimated system by user groups. The results of the study are as follows $\circledS1$ It is desirable to consider age than other demographic variables in the case of web search tool. $\circledS2$ It is desirable to design Directory Search Tool in the case of web search tool which serves the student user group. $\circledS3$ An Intelligent Search Tool is more appropriate for the students who are using keyword search tool than any other tools. $\circledS4$ A discussion about standard classification of the web information should be accomplished soon because users feel confused in using web search tools due t o absence of standard mode of classification about classified item. $\circledS5$ Librarians need the cognition about data on internet s a source of information and need positive service and user training program about these information because student users hardly get help from librarians or library orientation for learning method to use web search tool. $\circledS6$ Internet use experience and years of computer use had effect on their use ability when using web search tool, whereas computer use experience, library use experience and Online Public Access Catalogs (OPAC) use experience had no effect on it. Especially, OPAC use experience had no effect on use ability of web search tool of student user group because student user groups had no information about internet and web search tool and they did not recognized the difference about search method between web search tool and OPAC. $\circledS7$In the case of web search tool, it si important to index the increasing web resource automatically by a searching robot. But in the case of student users, web search tool is much more needed to index by index expert due to the absence of ability about selecting and combining keyword.

  • PDF

여행자 관심 기반 스마트 여행 수요 예측 모형 개발: 웹검색 트래픽 정보를 중심으로 (The Development of Travel Demand Nowcasting Model Based on Travelers' Attention: Focusing on Web Search Traffic Information)

  • 박도형
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제26권3호
    • /
    • pp.171-185
    • /
    • 2017
  • Purpose Recently, there has been an increase in attempts to analyze social phenomena, consumption trends, and consumption behavior through a vast amount of customer data such as web search traffic information and social buzz information in various fields such as flu prediction and real estate price prediction. Internet portal service providers such as google and naver are disclosing web search traffic information of online users as services such as google trends and naver trends. Academic and industry are paying attention to research on information search behavior and utilization of online users based on the web search traffic information. Although there are many studies predicting social phenomena, consumption trends, political polls, etc. based on web search traffic information, it is hard to find the research to explain and predict tourism demand and establish tourism policy using it. In this study, we try to use web search traffic information to explain the tourism demand for major cities in Gangwon-do, the representative tourist area in Korea, and to develop a nowcasting model for the demand. Design/methodology/approach In the first step, the literature review on travel demand and web search traffic was conducted in parallel in two directions. In the second stage, we conducted a qualitative research to confirm the information retrieval behavior of the traveler. In the next step, we extracted the representative tourist cities of Gangwon-do and confirmed which keywords were used for the search. In the fourth step, we collected tourist demand data to be used as a dependent variable and collected web search traffic information of each keyword to be used as an independent variable. In the fifth step, we set up a time series benchmark model, and added the web search traffic information to this model to confirm whether the prediction model improved. In the last stage, we analyze the prediction models that are finally selected as optimal and confirm whether the influence of the keywords on the prediction of travel demand. Findings This study has developed a tourism demand forecasting model of Gangwon-do, a representative tourist destination in Korea, by expanding and applying web search traffic information to tourism demand forecasting. We compared the existing time series model with the benchmarking model and confirmed the superiority of the proposed model. In addition, this study also confirms that web search traffic information has a positive correlation with travel demand and precedes it by one or two months, thereby asserting its suitability as a prediction model. Furthermore, by deriving search keywords that have a significant effect on tourism demand forecast for each city, representative characteristics of each region can be selected.

아파치 스파크 기반 검색엔진의 설계 및 구현 (Design and Implementation of a Search Engine based on Apache Spark)

  • 박기성;최재현;김종배;박제원
    • 한국정보통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.17-28
    • /
    • 2017
  • 최근 데이터의 활용가치가 높아지면서 데이터에 관한 연구가 활발히 진행되고 있다. 데이터의 수집, 저장, 활용을 위한 대표적인 프로그램으로 웹 크롤러, 데이터베이스, 분산처리 등이 있으며, 최근에는 웹 크롤러가 다양한 분야에 활용할 수 있는 유용성으로 인해 크게 각광받고 있는 실정이다. 웹 크롤러란 자동화된 방법으로 웹서버를 순회하여 웹 페이지를 분석하고 URL을 수집하는 도구라고 정의할 수 있다. 인터넷 사용량의 증가로 매일 대량으로 생성되는 웹 페이지의 처리를 위해 하둡의 맵리듀스를 기반으로 하는 분산 웹 크롤러가 많이 사용되고 있다. 그러나 맵리듀스는 사용이 어렵고 성능에 제약이 있는 단점이 있다. 이러한 맵리듀스의 한계를 보완하여 제시된 인메모리 기반 연산 플랫폼인 아파치 스파크가 그 대안이 되고 있다. 웹 크롤러의 주요용도 중 하나인 검색엔진은 웹 크롤러로 수집한 정보 중 특정 검색어에 맞는 결과를 보여준다. 검색엔진을 기존 맵리듀스 기반의 웹 크롤러 대신 스파크 기반 웹 크롤러로 구현할 경우 더욱 빠른 데이터 수집이 가능할 것이다.

로컬 웹사이트의 탐색전략과 웹사이트 유형분석에 관한 연구 (A Study on the Crawling and Classification Strategy for Local Website)

  • 황인수
    • Journal of Information Technology Applications and Management
    • /
    • 제13권2호
    • /
    • pp.55-65
    • /
    • 2006
  • Since the World-Wide Web (WWW) has become a major channel for information delivery, information overload also has become a serious problem to the Internet users. Therefore, effective information searching is critical to the success of Internet services. We present an integrated search engine for searching relevant web pages on the WWW in a certain Internet domain. It supports a local search on the web sites. The spider obtains all of the web pages from the web sites through web links. It operates autonomously without any human supervision. We developed state transition diagram to control navigation and analyze link structure of each web site. We have implemented an integrated local search engine and it shows that a higher satisfaction is obtained. From the user evaluation, we also find that higher precision is obtained.

  • PDF

정확도 높은 검색 엔진을 위한 문서 수집 방법 (A Document Collection Method for More Accurate Search Engine)

  • 하은용;권희용;황호영
    • 정보처리학회논문지A
    • /
    • 제10A권5호
    • /
    • pp.469-478
    • /
    • 2003
  • 인터넷상의 정보 검색 엔진들은 웹 로봇을 이용해서 인터넷에 연결되어 있는 수 많은 웹 서버들을 주기적 또는 비주기적으로 방무나여 자체적인 인텍싱 방법에 따라 자료를 추출하고 분류해서 검색 엔진의 기초가 되는 데이터 베이스를 구축하고 변겨아는 작업을 계속하고 있다. 이런 일련의 작업은 인터넷 상에 분산되어 있는 막대한 정보를 쉽고 정확하게 찾을 수 있는 게이트 사이트로서의 역할을 담당하기 위한 전략적인 목적으로 진행되고 있다. 수천만 이상의 웹 사이트들을 상대로 하는 정보 수집은 검색 엔진 사이트 중심으로 기존 데이터의 수정과 삭제 등과 같은 데이터 베이스 유지 관리와 신규 사이트들에 대한 자료 수집 작업이 이루어지고 있다. 이러한 작업은 웹 서버에 대한 사전 지식 없이 정보 추출을 위해 웹 로봇을 실행하므로 인터넷 상에 수많은 요구가 전송되고 이는 인터넷 트래픽을 증가 시키는 원인이 되고 있다. 따라서 웹 서버가 사전에 자신이 공개할 문서에 대한 변경 정보를 웹 로봇에게 통보하고 웹 로봇은 이 정보를 이용해서 웹 서버의 해당 문서에 대한 정보 수집 작업을 한다면 불필요한 인터넷 트래픽을 감소시킬 수 있을 뿐만 아니라 검색 엔진의 정보의 신뢰도도 높아지고 웹 서버의 해당 문서에 대한 정보수집 작업을 한다면 불필요한 인터넷 트래픽을 감소 시킬 수 있을 뿐만 아니라 검색 엔진의 정보의 신뢰도도 높아지고 웹 서버의 시스템 부하와 검색 엔진의 시스템 부하를 줄일 수 있는 효과를 가질 수 있을 것이다. 본 논문에서는 웹 서버상의 웹 문서 파일의 변동 사항을 자동으로 검사하고 변동 사항들을 종합 정리해서 변경 문서에 대한 정보를 통보 받기 원하는 등록된 각 웹 로봇에게 전송하는 검사 통보 시스템을 설계 구현하였다. 웹 로봇을 운영하는 검색 엔진에서는 통보된 요약 정보를 이용해서 웹 서버로부터 해당 문서를 전송 받아 필요로 하는 인덱스 정보를 추출해서 데이터베이스를 구축하는 효율적인 웹 로봇을 설계 구현하였다.

웹 검색엔진 분류 및 하이브리드 검색엔진의 필요성 (Classification of Web Search Engines and Necessity of a Hybrid Search Engine)

  • 백주련
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권4호
    • /
    • pp.719-729
    • /
    • 2018
  • 2017년 기준, 데스크탑과 모바일 영역에서 90% 이상의 압도적인 점유율을 보이는 검색엔진은 Google로써, 대다수의 사람들은 Google 이 검색하는 영역이 웹의 전체라고 생각할 것이다. 그러나 웹 연구 결과에 의하면 전체 웹 데이터의 불과 10% 만이 Google에 의해 검색가능하다고 한다. 대부분의 영역은 딥 웹이라고 불리며 Google 과는 다른 종류의 검색엔진들에 의해 검색된다. 해당 엔진들은 자신만의 딥 웹 데이터베이스를 구축 후 특화된 알고리즘을 사용하여 높은 정확성과 전문성의 검색결과를 제공한다. 현재 사용되고 있는 검색엔진들 중, 전체 웹 영역을 검색하는 엔진은 존재하지 않는다. 광범위에 걸쳐 그리고 유효하면서 정확 신속한 검색을 수행하기 위한 최적의 방법은 Google 같은 일반적인 검색엔진과 딥 웹 검색엔진들을 동시에 적용하여 결과를 도출하는 것이다. 본 논문에서는 이러한 검색엔진을 하이브리드검색엔진이라 명하고 기존 검색엔진들에 비해 갖는 차이점 및 특징에 대해 살펴본 후 개괄적인 프레임을 제시한다.