• 제목/요약/키워드: 페이지 분석

검색결과 839건 처리시간 0.031초

아파치 스파크 기반 검색엔진의 설계 및 구현 (Design and Implementation of a Search Engine based on Apache Spark)

  • 박기성;최재현;김종배;박제원
    • 한국정보통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.17-28
    • /
    • 2017
  • 최근 데이터의 활용가치가 높아지면서 데이터에 관한 연구가 활발히 진행되고 있다. 데이터의 수집, 저장, 활용을 위한 대표적인 프로그램으로 웹 크롤러, 데이터베이스, 분산처리 등이 있으며, 최근에는 웹 크롤러가 다양한 분야에 활용할 수 있는 유용성으로 인해 크게 각광받고 있는 실정이다. 웹 크롤러란 자동화된 방법으로 웹서버를 순회하여 웹 페이지를 분석하고 URL을 수집하는 도구라고 정의할 수 있다. 인터넷 사용량의 증가로 매일 대량으로 생성되는 웹 페이지의 처리를 위해 하둡의 맵리듀스를 기반으로 하는 분산 웹 크롤러가 많이 사용되고 있다. 그러나 맵리듀스는 사용이 어렵고 성능에 제약이 있는 단점이 있다. 이러한 맵리듀스의 한계를 보완하여 제시된 인메모리 기반 연산 플랫폼인 아파치 스파크가 그 대안이 되고 있다. 웹 크롤러의 주요용도 중 하나인 검색엔진은 웹 크롤러로 수집한 정보 중 특정 검색어에 맞는 결과를 보여준다. 검색엔진을 기존 맵리듀스 기반의 웹 크롤러 대신 스파크 기반 웹 크롤러로 구현할 경우 더욱 빠른 데이터 수집이 가능할 것이다.

적색발광재료용 6-(10-알킬페노티아진-3-비닐렌)-2-메틸-4-디시아노메틸렌-4H-피란의 합성 (Synthesis of 6-(10-Alkylphenothiazine-3-vinylene)-2-methyl-4-dicyanomethylene-4H-pyran)

  • 정평진;성진희
    • 공업화학
    • /
    • 제18권6호
    • /
    • pp.587-591
    • /
    • 2007
  • 본 연구는 유기발광디바이스용 적색형광물질인 6-(10-알킬페노티아진-3-비닐렌)-2-메틸-4-디시아노메틸렌-4H-피란 합성에 관한 것으로서 유도체들은 Knoevenagel 축합반응에 의하여 합성되었다. 이들은 전자공여성의 6-(10-알킬페노티아진-3-비닐렌)기와 전자흡인성의 2-메틸-4-디시아노메틸렌-4H-피란의 공액구조를 가지고 있다. 합성한 물질은 각각 FT-IR, $^1H-NMR$ 등을 통하여 그의 구조적 특성을 확인하였고, 융점, 수득율을 통하여 열적 안정성, 반응성 등을 확인하였으며, UV-visible과 PL분석으로부터 이 형광재료들의 광학적 특성을 확인하였다.

사례기반 학습을 이용한 개인형 웹 에이젼트 시스템 (A Personal Web-Agent System Using Case-Based Learning)

  • 김영권;이재필;이말레;김경만;김기태
    • 한국정보처리학회논문지
    • /
    • 제5권6호
    • /
    • pp.1583-1592
    • /
    • 1998
  • 최근 인터넷의 정보가 폭발적으로 증가하고 있다. 사용자들은 인터넷상의 수 많은 정보중에서 자신이 원하는 정보를 찾기 원하지만 유용한 정보를 찾기란 쉬운 일이 아니다. 본 논문은 이러한 문제를 효율적으로 해결하기 위하여 사례기반 학습을 이용한 웹가이드인 개인형 웹 에이전트 시스템을 제안한다. 웹가이드는 인터페이스 시스템과 학습 시스템의 두 개의 부시스템으로 이루어져 있으며, 다른 웹 브라우저와 같은 작업을 수행하며 사용자를 시스템에 연결시켜 준다. 또한 인터페이스 시스템은 현재 페이지에 있는 데이터를 학습 큐에 전달한다. 학습 시스템은 학습 큐에 있는 각 페이지를 평가함수를 이용하며, 가중치는 HTML 문서의 문자로 사용된 태그를 분석하여 결정된다. 실험 결과 일바 사용자와 전문 사용자 모두 자신이 원하는 정보를 웹가이드를 이용하였을 경우가 그렇지 않았을 경우 보다 빠르게 얻을 수 있었다.

  • PDF

북극 페초라해의 Side-scan Sonar 해저면 음향영상 (Side-scan sonar survey in the Pechora Sea, Russian Arctic)

  • 진영근;정경호;김예동;이주한
    • 지구물리
    • /
    • 제8권4호
    • /
    • pp.187-194
    • /
    • 2005
  • 북극해 해양조사사업의 일환으로 러시아 바렌츠해의 남동쪽에 위치한 페초라해에서 Side-scan sonar 해저면 음향영상탐사를 실시하여 해저면 상태를 고찰하였다. 연구지역은 유기물이 풍부한 짙은 회색의 표층 퇴적층으로 형성된 수심 11 m-16 m의 천해지역이다. 해저면 영상도에는 연구지역의 남동쪽지역에 폭 2-3 km의 넓은 해저식물 군락지역이 분포한다. 연구지역의 중앙부에서 북쪽 지역까지 넓은 지역에 걸쳐 직선형태로 연장되는 220°와 290°주향의 선구조선이 가장 뚜렷하다. 이는 빙산들이 서남서-동북동과 서북서-동남동 방향을 따라 이동하였음을 지시한다. 가스나 지층수가 해저로 분출되면서 생기는 구조인 pockmark가 국부지역에서 다수 관찰되었다. 이는 이 지역의 분포하는 석유/가스 시스템과 관련되었을 가능성이 있다. 이 가스나 지층수의 이동을 활발하게 하는 지질구조활동에 연관된 것으로 생각된다. 그 형태가 약간 희미하고 국부적인 장소에만 나타나기 때문에, 상세한 특성과 구조를 규명하기 위해서는 보다 정밀한 분석이 필요하다.

  • PDF

자바스크립트 함수처리 기능을 포함한 분산처리 방식의 웹 수집 로봇의 설계 (Efficient Design of Web Searching Robot Engine Using Distributed Processing Method with Javascript Function)

  • 김대유;김정태
    • 한국정보통신학회논문지
    • /
    • 제13권12호
    • /
    • pp.2595-2602
    • /
    • 2009
  • 본 논문에서는 기존의 웹 수집 로봇에서 처리 하지 못하는 자바스크립트 함수 링크를 처리하기 위하여 인터넷 익스플로러의 "Active Script Engine"을 사용하여 웹 로봇을 구현하였으며, 또한 자바스크립트 함수 링크를 처리하였을 경우 웹 수집 로봇의 수집량을 측정하기 위한 웹 수집 로봇을 개발하였다. 웹 수집 로봇을 개발하기 위해서 구글봇과 네이봇 등 웹 수집 로봇의 구조를 파악하여, 수집 로봇에 활용되는 구성요소를 구현하고 분산처리 형태의 웹 수집 로봇을 설계하였다. 또한 제안된 웹 로봇에 제안된 자바스크립트 처리 모델을 추가하여 성능평가를 하였으며, 성능평가방법은 자바스크립트를 사용하는 웹 사이트의 게시판을 대상으로 하여 웹 수집량을 비교 분석하였다. 웹 사이트 게시물 1000개인 경우, 일반 웹 로봇의 경우에는 1페이지밖에 수집하지 못하였고, 제안된 웹 로봇의 경우 1000개 이상의 웹 페이지를 수집하는 결과를 얻었다.

이종 브라우저 간 HTML5 기반 서비스 이동기술 설계 (A Design of HTML5-based Service Migration Technology between Heterogeneous Browsers)

  • 송은지;김근형
    • 한국멀티미디어학회논문지
    • /
    • 제16권3호
    • /
    • pp.342-353
    • /
    • 2013
  • 인터넷 사용이 우리 생활의 한 부분이 되었고 인터넷을 사용할 수 있는 단말이 증가함에 따라, 다양한 단말을 이용해 언제, 어디서나 웹 서비스를 제공받을 수 있게 되었다. 웹에 존재하는 콘텐츠는 여러 형태로 사용자에게 제공될 수 있고, 사용자는 콘텐츠를 사용자의 단말로 연속해서 이용하고자 한다. 웹 브라우저 확장기능은 기본적으로 브라우저에서 지원되지 않는 기능을 부가적으로 추가하는 기능으로 모든 브라우저들이 이 기능을 제공하고 있다. 확장기능을 통해 여러 브라우저에서 동일한 서비스를 제공할 수 있다. 본 논문에서는 우리가 연구한 웹 페이지의 객체를 식별하는 방법과 이동하기위해 필요한 정보, 그리고 식별한 객체를 추출하고 이동한 뒤 생성되는 방법을 적용하여 이종 브라우저 간 객체 이동 구조를 제안한다. 이를 위해 대표적인 브라우저의 확장기능 구조를 분석하고 객체 이동 기능을 개발하기 위해 필요한 파일들에 대해 살펴본다. 또한 각 브라우저의 확장기능에 필요한 파일들이 서로 메시지를 주고받는 모습과 웹 페이지와 상호작용하는 방법에 대해 알아본다. 마지막으로 확장기능을 이용하여 웹 페이지에서 선택한 객체를 다른 브라우저로 이동하는 모습을 구현하였다.

농약 및 동물용 의약품의 잔류물질정보 히스토리 데이터 관리 시스템 (Pesticides and Veterinary Dugs Residual Material Information History Data Management System)

  • 신무곤;백의준;김보선;김명섭
    • KNOM Review
    • /
    • 제23권2호
    • /
    • pp.11-17
    • /
    • 2020
  • 현재 잔류물질정보를 제공하는 웹 페이지에서는 농약 및 동물용의약품의 식품 내 잔류허용기준 정보를 제공하고 있다. 잔류물질이란 농약 혹은 동물용의약품을 수천 배 희석하여 사용 후 농산물 또는 축, 수산물에 남아 있게 되는 극미량의 농약 혹은 동물용의약품을 뜻한다. 하지만 농약과 동물용의약품에 대한 정보의 누락, 웹 페이지 오류 등 정보 제공이 원활하게 이루어지지 않고 있기 때문에 사용자들이 불편을 겪고 있다. 또한 관리자는 잔류허용 기준 및 분석법 등 정보들을 수동으로 입력해야하는 불편함이 있다. 이에 본 논문에서는 농약 및 동물용의약품에 대한 잔류물질기준과 약품의 특성 등 정보들의 변화이력을 효율적으로 관리하고 업데이트 할 수 있는 시스템을 제안한다.

컨테이너터미널의 하역 데이터베이스 분석에 의한 하역시뮬레이션 모델 구축에 관한 연구 - 일본의 HICCT를 중심으로 - (Study on Construction of Simulation Model based on Analysis of Container Handling Database - A case of HICCT in Japan -)

  • 김화영
    • 한국항해항만학회지
    • /
    • 제31권8호
    • /
    • pp.717-723
    • /
    • 2007
  • 최근의 컨테이너 수송환경은 컨테이너 선사간 인수합병, 동맹화, 컨테이너선의 대형화와 하주의 요구에 대응하기 위한 복합수송체계 등 급속하게 변화하고 있다. 이에 컨테이너터미널에 요구되어지는 서비스로서 항만의 대수심화, 하역의 신속화, 이용료의 저가격화 등을 예로들 수 있고, 이러한 서비스가 제공되지 않을 경우 컨테이너 선사는 컨테이너터미널의 기항을 기피하게 된다. 따라서, 본 연구에서는 컨테이너터미널에 있어서 하역의 효율화와 기능성 평가를 위해 실제 컨테이너터미널의 하역 데이터 분석을 통하여 하역기기, 야드샤시 및 외부트럭의 관리에 대한 프로세스 정보를 추출하여 하역 효율화에 저해가 되는 하역기기 운전원의 스킬과 트러블 등의 요인을 분석하였다. 또한, 추출한 프로세스 정보를 활용하여 페트리 넷을 이용해 컨테이너 하역시뮬레이션 모델을 구축하고 하역기기의 컨테이너 하역작업을 시뮬레이션하여 그 유효성을 확인하였다.

고성능 프로세서-메모리 혼합 구조의 설계 및 성능 분석 (Design and Performance Analysis of High Performance Processor-Memory Integrated Architectures)

  • 김영식;김신덕;한탁돈
    • 한국정보처리학회논문지
    • /
    • 제5권10호
    • /
    • pp.2686-2703
    • /
    • 1998
  • 프로세서 메모리 혼합 구조는 해마다 증가하는 프로세서와 메모리간의 성능 격차를 해결하는 대안으로 연구가 활발히 진행되고 있다. 본 논문에서는 프로세서 메모리 혼합 구조의 여러 가지 설계 대안들을 고찰하였다. 이를 위해서 DRAM 접근 시간의 분석적 모델을 제안하고 성능 향상점 및 성능 병목점을 찾았다. 제안한 분석적 모델에 의하여 DRAM 페이지 적중률을 증대하여 성능을 향상시키는 구조로써 새로운 온칩 DRAM 구조인 프리차지 연기 뱅크 아키텍쳐를 제안하였다. 또한 제안한 뱅크 아키텍쳐에 효율적으로 적용할 수 있는 뱅크 인터리빙 방법을 제시하였다. 제안한 구조는 기존의 일반적 DRAM 구조 및 계층적 다중-뱅크 구조보다 우수함을 시뮬레이션을 통하여 증명하였다. 시뮬레이션은 SimpleScalar 툴을 개조하여 사용하였고, SPEC95 벤치마크에 대해서, 캐쉬 메모리의 크기, 뱅크 개수, 프리차지 연기 시간 등의 변화에 대한 성능을 분석하였다.

  • PDF

웹 응용 재구성을 위한 폼 클러스터링 알고리즘 (A Form Clustering Algorithm for Web-based Application Reengineering)

  • 최상수;박학수;이강수
    • 한국전자거래학회지
    • /
    • 제8권2호
    • /
    • pp.77-98
    • /
    • 2003
  • 최근의 정보시스템은 웹기반 정보시스템이며 이의 개발과 유지보수 시에 "웹 위기" 현상이 발생하고 있다. 이를 해결하기 위해, 웹 공학 기술 중 웹기반 어플리케이션에 대한 소프트웨어 클러스터링 기술이 필요하다. 본 논문에서는 웹기반 정보시스템의 내부시스템 재구성을 위한 폼 클러스터링 알고리즘을 제시한다. 폼 클러스터링 알고리즘은 웹기반 정보시스템의 다양한 구조모델 중에서 웹의 특징이라 할 수 있는 페이지 모델에 초점을 맞춘다. 특히, 그래프 형태의 항해구조를 분석이 용이한 계층구조로 분석하기 위해 거리 척도 개념을 응용하고, 부하가 큰 핵심 기능객체를 파악하기 위하여 웹 로그분석 기술을 적용한다. 또한,2단계에 걸친 클러스터링 과정을 통해 재사용 성을 극대화하고 부하 균형화를 위한 하드웨어 할 당시에 사용할 수 있는 웹 소프트웨어 구조를 생성한다. 본 논문에서 제시한 폼 클러스터링 알고리즘은 웹기반 정보시스템의 신규 개발 또는 유지보수 시에 재사용 가능한 웹 컴포넌트 개발 및 부하균형화를 위한 하드웨어 할당 시에 적용할 수 있다.

  • PDF