• 제목/요약/키워드: Web Parsing

검색결과 59건 처리시간 0.025초

FPGA를 이용한 하드웨어 기반 고성능 XML 파싱 기법 (Hardware-Based High Performance XML Parsing Technique Using an FPGA)

  • 이규희;서병석
    • 한국통신학회논문지
    • /
    • 제40권12호
    • /
    • pp.2469-2475
    • /
    • 2015
  • 다양한 웹 서비스들은 서비스의 제공을 위해서 구조화된 표준문서인 XML(eXtensible Markup Language)을 널리 사용하고 있으며, 모바일 환경에서의 전자문서 및 전자서명 그리고 메일시스템에서도 XML이 사용되고 있다. XML을 사용하기 위해서는 문서의 파싱이 요구되며, 이는 XML 처리에서 가장 계산 집중적 작업이다. 따라서, XML 파싱 성능을 높이기 위해 하드웨어 기반의 파서들이 제안되어 성능 향상에 초점을 맞추고 있지만 실제 파싱 기법들에 대한 연구는 거의 이루어지지 않았다. 본 논문에서는 파서의 종류와 상관없이 사용될 수 있는 고성능 XML 파싱 기법을 제안하고 FPGA를 이용하여 파서를 설계하여 검증하였다. 제안된 파싱 기법은 상태머신 대신에 엘리먼트 분석기들을 사용하며 다중바이트 단위 엘리먼트 매칭을 수행한다. 제안된 파싱 기법은 CPB 항목에서 약 2~4배의 소비 클록을 감소시켰으며 파싱 이전에 전처리작업을 요구하지 않는다. 다른 파서들과 비교하여 제안된 파서는 약 1.33~1.82배 속도를 향상시켰다. 따라서, 제안된 파싱 기법은 실시간 XML 파싱이 가능하며 일반적인 XML 파서들에서도 적용할 수 있는 적합한 구조를 갖는다.

시각장애인을 위한 Web Site 구축에 관한 연구 (Development of Internet tools and web site for the visual disabled)

  • 고민수;김보성;길세기;김낙환;장영건;홍승홍
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 하계종합학술대회 논문집(5)
    • /
    • pp.214-217
    • /
    • 2000
  • To help the blind to find the information easily on World Wide Web, this research has tried to develop the device which enables us to convert HTML for the general into HTML for the blind. This program consists of the items as follows: 1. Web Robot to gather the internet browser and the general HTML. 2. Restoring DB by Parsing process 3. Multimedia editor for the use of web DB to add the literal and acoustic description to the editing function. 4. Convertor which gathers the DB and then changes into HTML for the blind. This project is designed to make it easy for the manager to establish the web site for the blind. We expect that this program will basically help the blind to overcome the inequality in the common information.

  • PDF

불완전 XML을 위한 파싱 방법 (A Parsing Method for an Incomplete XML)

  • 조경룡;조성언;박장우
    • 한국정보통신학회논문지
    • /
    • 제12권12호
    • /
    • pp.2153-2158
    • /
    • 2008
  • 대표적인 웹 문서의 표준인 XML은 문서의 구조와 내용을 기술하기 위해 태그로 이루어진 문법 구조를 갖는다. XML 문서 작성자는 XML 문서 작성 중 해당 XML DTD(Document Type Definition)에 문법적으로 올바르지 않은 문장을 입력할 수 있다. 즉, 일반적인 텍스트 에디터 환경에서 XML 문서에 입력되는 내용과 태그의 쌍은 완전하지 못한 형태로 입력될 수 있다. 문법적으로 불완전한 문장 입력은 사용자의 계속적인 편집 상태를 종료하고, 정상적인 파싱을 보장하지 않는 원인이 된다. XML 문서를 작성하는 과정에서 문법적으로 불완전한 문장 입력은 정상적인 파싱을 보장하지 않는다. 따라서, 에디터가 문법적으로 빠져있는 부분의 심볼이 무엇인지 정확히 인식 가능하고, 주어진 문법에 따라 부분적인 파스트리를 완성한다면, 사용자의 프로그래밍 편집 상태를 종료하지 않고 계속적인 편집과 성공적인 파싱을 보장할 수 있을 것이다. 본 논문은 XML 문서 편집기에 사용될 수 있는 XML 파서가 문법적으로 불충분한 문장의 입력에 대해 문법에 따라 빠진 부분을 인식하고, 누락된 문법 심벌을 찾아 부족한 부분 파스트리를 완성함으로써 사용자에게 성공적인 XML 문서 편집을 보장할 수 있는 파싱 방법을 제안한다. 제안된 파싱 방법을 통해 사용자는 프로그래밍 편집 중 문법 오류에 대한 부담을 줄일 수 있다. 또한, 사용자는 불완전 입력에 대해 일반적인 에러 처리에 따른 편집 중단 없이 계속적인 문서 파싱 을 보장받아 편집 효율을 높일 수 있다.

웹서비스를 위한 모바일 웹 컨텐츠 변환 시스템 개발 (A development of the Conversion System of Mobile Web Contents for the Web Service)

  • 황인숙;김윤중;김승연
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 추계학술발표대회(하)
    • /
    • pp.517-520
    • /
    • 2003
  • 본 논문에서는 XML Page로부터 닷넷 모바일 Web Page로의 변환 기능을 제공하는 웹서비스 프로바이더를 설계ㆍ구현하였다. 웹서비스 프로바이더는 플랫폼과 프로그래밍언어의 제약 없이 누구나 사용 가능하다는 장점을 가지고 있다. 본 논문에서 구현한 웹서비스 프로바이더로 제공하는 변환 라이브러리는 어휘분석기 모들과 구문 지향 번역기 모듈로 구성되어 있다. 어휘분석기 모들은 XML Page를 입력받아 각 태그들을 분석하고 토큰을 출력한다. 구문 지향 번역기 모듈은 어휘분석기에서 출력된 토큰들을 입력받아 문법을 체크하고, Parsing이 완료되면 대응되는 모바일 .NET 컨트롤로 변환하여 최종적인 닷넷 모바일 Web Page를 생성한다. 어휘분석기 모듈과 구문 지향 번역기 모들은 각각 어휘분석기 생성기(LEX)와 파서 생성기(YACC)를 사용하여 구현하였다. LEX와 YACC의 사용은 태그를 확장할 경우 변경된 부분만 설계함으로써 유연하게 대처할 수 있는 장점을 가지고 있다.

  • PDF

INMARSAT-C를 통한 인터넷 기탄의 메시지 전송 에이전트 설계 및 구현 (Design and Implementation of Internet-based Message Transfer Agent via INMARSAT-C)

  • 박연식;이태오;임재홍
    • 한국정보통신학회논문지
    • /
    • 제3권1호
    • /
    • pp.141-153
    • /
    • 1999
  • 본 논문은 INMARSAT-C를 통하여 육상의 인터넷 메일이나 웹 사용자와 선박간 편리한 메시지 송수신 서비스를 제공하는 인터넷 기반의 메시지 전송 에이전트의 설계 및 구현에 대해서 논한다. 이를 위하여 육상과 선박간 통신을 위한 전체적인 시스템 구성, 에이전트의 구성 모듈, 송ㆍ수신 데이터의 관리를 위한 데이터베이스를 설계, 구현한다. 본 논문의 타당성 검토를 위하여 메시지 파싱(parsing), 데이터베이스, 메시지 포맷, X.25 인터페이스 등의 모듈을 구현하여 시험하고, 그 결과를 토대로 선박 내 데이터베이스 접근과 더불어 선박 자동화 시스템의 가능성을 논한다.

  • PDF

웹상에서의 의사결정모형의 객체지향적 표현과 관리를 위한 구조적 마크업 언어 (A Structured Markup Language for the Object-Oriented Representation and Management of Decision Models on the Web)

  • 김형도
    • Asia pacific journal of information systems
    • /
    • 제8권2호
    • /
    • pp.53-67
    • /
    • 1998
  • The explosive growth of the Web is providing end-users access to ever-increasing volumes of information. The resources of legacy systems and relational databases have also been made available to the Web browser, which has become an essential business tool. Recently, model management on the Internet/Web is also proposed with its conceptual design or prototypical system like DecisionNet and DSS Web. However, they are also suffering from the same symptoms as the Web, Although we can identify the elements of a page with HTML tags and (declare) the relationships among the various document elements, they are semantically opaque to computer systems and have no domain-specific meaning. However, HTML is not extensible, so developers are forced to invent convoluted, non-standard solutions for embedding and parsing data. Extensible Markup Language (XML) is a simplified subset of SGML that has many benefits for folks who want to improve structure, maintainability, searchability, presentation, and other aspects of their document management. This paper proposes a structured markup language for model representation and management on the Web as an XML application. The language is based on a conceptual modeling framework, Object-Oriented Structured Modeling (OOSM), which is an extension of the structured modeling.

  • PDF

샷 경계 검출을 이용한 영상 클립 생성 (Generation of Video Clips Utilizing Shot Boundary Detection)

  • 김혁만;조성길
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제7권6호
    • /
    • pp.582-592
    • /
    • 2001
  • 대용량 영상을 다루는 디지털 비디오 라이브러리나 웹 방송에서는 영상 색인이 매우 중요한 역할을 하며, 이는 영상을 내용 단위로 분할하는 알고리즘에 기반한다. 본 논문에서 구현된 V2Web Studio는 영상 색인을 지원하는 시스템으로서, 샷 경계 검출 알고리즘을 이용한 영상 클립 생성 시스템이다. V2Web Studio는 영상 클립 생성 과정을 1) 영상 신호를 분석하여 샷 경계를 자동 검출하는 단계, 2) 검출된 결과에 포함될 수 있는 오류를 수작업으로 제거하는 단계, 3) 물리적인 샷 경계를 논리적인 계층구조로 모델링하는 단계, 4) 계층구조로 모델링된 각 모델링 인스턴스를 다양한 표준 압축 포맷으로 생성하는 단계로 구분하고, 각 단계에 해당하는 작업은 샷 검출기, 샷 검증기, 영상 모델기, 클립 생성기라는 독립적인 소프트웨어 도구로 구현하였다.

  • PDF

대용량 웹 로그 마이닝 및 공격탐지를 위한 B-트리 인덱스 벡터 기반 고속 검색 기법 (High-Speed Search Mechanism based on B-Tree Index Vector for Huge Web Log Mining and Web Attack Detection)

  • 이형우;김태수
    • 한국멀티미디어학회논문지
    • /
    • 제11권11호
    • /
    • pp.1601-1614
    • /
    • 2008
  • 최근 대부분의 인터넷 환경이 쳅 기반 시스템으로 발전하면서 웹 서비스 사용자 수는 꾸준히 증가하고 있다. 따라서 일반 사용자가 대형 포털 사이트 웹 서버 접속시 생성되는 로그 정보를 분석하여 웹 서버에 대한 공격을 탐지하거나 웹 마이닝 기술과 접목하기 위해서는 대용량의 웹 로그 정보에 대한 효율적인 분석 기법이 필요하다. 기존 웹 로그 전처리 기법은 로그 문자열의 순차적인 탐색을 수행하므로 대용량의 웹 로그 고속화 처리에 적합하지 않다. 본 연구에서는 대용량 웹 로그 정보에 대해 B-트리 인덱싱 벡터 구조를 이용하여 필드별 분류 및 고속 검색 알고리즘을 개발하였다 이를 통해 효율적으로 대용량 로고로부터 효율적인 세션 분석 기능과 개선된 검색 성능을 제공할 수 있었으며 웹 서버에 대한 공격 탐지에도 활용할 수 있었다.

  • PDF

룰 기반 웹 IDS 시스템을 위한 효율적인 웹 로그 전처리 기법 설계 및 구현 (Design and Implementation of Advanced Web Log Preprocess Algorithm for Rule based Web IDS)

  • 이형우
    • 인터넷정보학회논문지
    • /
    • 제9권5호
    • /
    • pp.23-34
    • /
    • 2008
  • 웹 기반 서비스가 다양한 형태로 제공되면서 웹 서비스 사용자 수는 꾸준히 증가하고 있다. 그러나 웹 서버에 대한 SQL Injection, Parameter Injection 및 DoS 등의 공격 등의 취약점이 발견되고 있다. 이와 같은 형태의 웹 공격에 능동적으로 대응하기 위해 현재 웹 IDS 시스템을 구축하여 룰 기반 대응 시스템을 구축하고 있으나, 웹 서버에서 생성되는 로그 정보에 대한 전처리 과정 없이 룰 기반 IDS 시스템이 구동되기 때문에 효율적인 웹 공격 대응체계가 구축되지 못하고 있다. 이에 본 연구에서는 웹 로그 정보를 웹 IDS 기반 공격 탐지 시스템의 룰 비교 특성에 적합한 형태로 전처리하는 알고리즘을 제시하고 이를 구현하였다. 제안한 알고리즘은 웹 로그 정보에 대한 필드 단위 파싱 및 중복 문자열 처리 과정을 고속으로 수행하여 대용량의 로그 처리시 성능을 향상시켜 개선된 웹 IDS 시스템 구축이 가능하다.

  • PDF

확장성 있는 웹 서비스를 위한 무선 응용 프로토콜 기반의 HTML Filter 구현 (Implementation of HTML Filter in Wireless Application Protocol for Scalable Web Services)

  • 이승진;김대건;최린;강철희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (A)
    • /
    • pp.391-393
    • /
    • 2001
  • 본 논문은 WAP Gateway의 HTML Filter 구현에 대하여 다루고 있다. 웹 콘텐츠를 무선환경에 맞는 WML 문서로 변환하기 위한 HTML Filter 구조를 설계하고 이와 관련된 RuleSet Database, Parsing Engine, Markup Language Translator의 기능을 정의한다. 마지막으로, 확장성 있는 웹 서비스를 위해 실제 웹상의 콘텐츠를 대상으로 한 실험으로 통해 구현된 HTML Filter의 성능 평가의 분석을 수행하여 구현시 고려해야 할 사항 및 향후 연구방향에 대하여 논의한다.