• Title/Summary/Keyword: Parser

Search Result 268, Processing Time 0.029 seconds

Constructing a Metadata Database to Enhance Internet Retrieval of Educational Materials

  • Oh Sam-Gyun
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.32 no.3
    • /
    • pp.143-156
    • /
    • 1998
  • This paper reports the GEM (Gateway to Educational Materials) project whose goal is to develop an operational framework to provide the K-12 teachers in the world with 'one-stop/any-stop' access to thousands of lesson plans, curriculum units and other Internet-based educational resources. To the IS-element Dublin Core base package, the GEM project added an 8-element, domain-specific GEM package. The GEM project employed the conceptual data modeling approach to designing the GEM database, used the Sybase relational database management system (RDBMS) to construct the backend database for storing the metadata of educational resources, and also employed the active server page (ASP) technology to provide Web interfaces to that database. The consortium members catalog lesson plans and other Internet-based educational resources using a cataloging module program that produces HTML meta tags. A harvest program collects these meta tags across the Internet and outputs an ASCII file that conforms to the standard agreed by the consortium members. A parser program processes this file to enter meta tags automatically into appropriate relational tables in the Sybase database. The conceptual/logical schemas of Dublin Core and GEM profile are presented. The advantages of conceptual modeling approach to manage metadata are discussed. A prototype system that provides access to the GEM metadata is available at http://lis.skku.ac.kr/gem/.

  • PDF

PPEditor: Semi-Automatic Annotation Tool for Korean Dependency Structure (PPEditor: 한국어 의존구조 부착을 위한 반자동 말뭉치 구축 도구)

  • Kim Jae-Hoon;Park Eun-Jin
    • The KIPS Transactions:PartB
    • /
    • v.13B no.1 s.104
    • /
    • pp.63-70
    • /
    • 2006
  • In general, a corpus contains lots of linguistic information and is widely used in the field of natural language processing and computational linguistics. The creation of such the corpus, however, is an expensive, labor-intensive and time-consuming work. To alleviate this problem, annotation tools to build corpora with much linguistic information is indispensable. In this paper, we design and implement an annotation tool for establishing a Korean dependency tree-tagged corpus. The most ideal way is to fully automatically create the corpus without annotators' interventions, but as a matter of fact, it is impossible. The proposed tool is semi-automatic like most other annotation tools and is designed to edit errors, which are generated by basic analyzers like part-of-speech tagger and (partial) parser. We also design it to avoid repetitive works while editing the errors and to use it easily and friendly. Using the proposed annotation tool, 10,000 Korean sentences containing over 20 words are annotated with dependency structures. For 2 months, eight annotators have worked every 4 hours a day. We are confident that we can have accurate and consistent annotations as well as reduced labor and time.

Boolean Query Formulation From Korean Natural Language Queries using Syntactic Analysis (구문분석에 기반한 한글 자연어 질의로부터의 불리언 질의 생성)

  • Park, Mi-Hwa;Won, Hyeong-Seok;Lee, Geun-Bae
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.10
    • /
    • pp.1219-1229
    • /
    • 1999
  • 일반적으로 AND, OR, NOT과 같은 연산자를 사용하는 불리언 질의는 사용자의 검색의도를 정확하게 표현할 수 있기 때문에 검색 전문가들은 불리언 질의를 사용하여 높은 검색성능을 얻는다고 알려져 있지만, 일반 사용자는 자신이 원하는 정보를 불리언 형태로 표현하는데 익숙하지 않다. 본 논문에서는 검색성능의 향상과 사용자 편의성을 동시에 만족하기 위하여 사용자의 자연어 질의를 확장 불리언 질의로 자동 변환하는 방법론을 제안한다. 먼저 자연어 질의를 범주문법에 기반한 구문분석을 수행하여 구문트리를 생성하고 연산자 및 키워드 정보를 추출하여 구문트리를 간략화한다. 다음으로 간략화된 구문트리로부터 명사구를 합성하고 키워드들에 대한 가중치를 부여한 후 불리언 질의를 생성하여 검색을 수행한다. 또한 구문분석의 오류로 인한 검색성능 저하를 최소화하기 위하여 상위 N개 구문트리에 대해 각각 불리언 질의를 생성하여 검색하는 N-BEST average 방법을 제안하였다. 정보검색 실험용 데이타 모음인 KTSET2.0으로 실험한 결과 제안된 방법은 수동으로 추출한 불리언 질의보다 8% 더 우수한 성능을 보였고, 기존의 벡터공간 모델에 기반한 자연어질의 시스템에 비해 23% 성능향상을 보였다. Abstract There have been a considerable evidence that trained users can achieve a good search effectiveness through a boolean query because a structural boolean query containing operators such as AND, OR, and NOT can make a more accurate representation of user's information need. However, it is not easy for ordinary users to construct a boolean query using appropriate boolean operators. In this paper, we propose a boolean query formulation method that automatically transforms a user's natural language query into a extended boolean query for both effectiveness and user convenience. First, a user's natural language query is syntactically analyzed using KCCG(Korean Combinatory Categorial Grammar) parser and resulting syntactic trees are structurally simplified using a tree-simplifying mechanism in order to catch the logical relationships between keywords. Next, in a simplified tree, plausible noun phrases are identified and added into the same tree as new additional keywords. Finally, a simplified syntactic tree is automatically converted into a boolean query using some mapping rules and linguistic heuristics. We also propose an N-BEST average method that uses top N syntactic trees to compensate for bad effects of single incorrect top syntactic tree. In experiments using KTSET2.0, we showed that a proposed method outperformed a traditional vector space model by 23%, and surprisingly manually constructed boolean queries by 8%.

Adaptation Techniques of an Object-based MPEG-4 Player to PDA (객체 기반 MPEG-4 재생 기술의 PDA 적응 기법)

  • Kim, Nam-Young;Kim, Sang-Wook
    • Journal of KIISE:Software and Applications
    • /
    • v.33 no.2
    • /
    • pp.220-230
    • /
    • 2006
  • As the computing technique and mobile devices get developed, the demand of multimedia contents for mobile environment has been increased. The multimedia contents provided on PDA has so far been limited to the materials such as video and audio. MPEG-4 is the international standard used for supporting to properly save, communicate multimedia in formation such as video, audio, image, text and two-dimensional object, which can present various, multimedia contents by using adaptation techniques. However, since most MPEG-4 contents are not used for PDA but desktop, it seems not to be played on PDA where needs low power consumption, limited memory capability and GUI, and so on. In this paper, we propose the adaptation techniques, which can present the MPEG-4 contents on PDA, using scene composition with MPEG-4. The proposed scheme consists of three subparts: physical adaptation, variation adaptation and resource adaptation. Physical adaptation adjusts the physical difference of between the authoring environment and playback environment. Event adaptation part transforms events used for desktop to the events used for playback on PDA. The resource adaptation enables efficiency of playback to promote by using the essential information table on BIFS parser. As the proposed scheme is applied to MPEG-4 player, we see that the MPEG-4 contents are efficiently played on PDA.

Linguistic Productivity and Chomskyan Grammar: A Critique (언어창조성과 춈스키 문법 비판)

  • Bong-rae Seok
    • Lingua Humanitatis
    • /
    • v.1 no.1
    • /
    • pp.235-251
    • /
    • 2001
  • According to Chomskyan grammar, humans can generate and understand an unbounded number of grammatical sentences. Against the background of pure and idealized linguistic competence, this linguistic productivity is argued and understood. In actual utterances, however, there are many limitations of productivity but they are said to come from the general constraints on performances such as capacity of short term memory or attention. In this paper I discuss a problem raised against idealized productivity. I argue that linguistic productivity idealizes our linguistic competence too much. By separating idealized competence from the various constraints of performance, Chomskyan theorists can argue for unlimited productivity. However, the absolute distinction between grammar (pure competence) and parser (actual psychological processes) makes little sense when we explain the low acceptability(intelligibility) of center embedded sentences. Usually, the problem of center embedded sentence is explained in terms of memory shortage or other performance constraints. To explain the low acceptability, however, we need to assume specialized memory structure because the low acceptability occurs only with a specific type of syntactic pattern. 1 argue that this special memory structure should not be considered as a general performance constraint. It is a domain specific (specifically linguistic) constraints and an intrinsic part of human language processing. Recent development of Chomskyan grammar, i.e., minimalist approach seems to close the gap between pure competence and this type of specialized constraints. Chomsky's earlier approach of generative grammar focuses on end result of the generative derivation. However, economy principle (of minimalist approach) focuses on actual derivational processes. By having less mathematical or less idealized grammar, we can come closer to the actual computational processes that build syntactic structure of a sentence. In this way, we can have a more concrete picture of our linguistic competence, competence that is not detached from actual computational processes.

  • PDF

A Study on the Web-based Map Algebraic Processor (웹 기반 지도대수 처리기에 관한 연구)

  • 박기호
    • Spatial Information Research
    • /
    • v.5 no.2
    • /
    • pp.147-160
    • /
    • 1997
  • "The "Map Algebra", beeing recognized as a viable theoretical framework for GIS (Geographica Infonnation System), models map layers as "operands" which are the basic unit of geo-processing, and a variety of GIS commands as "operators." In this paper, we attempt at lifting some limitations of map algebras proposed in GIS literature. First, we model map layer as "function" such that we may employ the notion of meta operator (or, higher-order funtion) available in the functional programming paradigm. This approach provides map algebraic language with "programmability" needed in GIS user language. Second, we extend the semantics of, and improve on the sytactic structure of map algebraic language. Mer the data model and language associated with map algebra are formalized, we proceed to design and implement a prototype of map algebraic processor. The parser of the language in our prototype plays the role of transforming the native and heterogeneous user language of current GISs into a canonical map algebraic language. The prototype, named "MapSee" is a proof-of-concept system for the ideas we propsed in this paper. We believe that the uniform interface based on the map algebraic language will make promising infrastructure to support "Internet GIS." This is because the uniform but powerful interface through the Web clients allow access to both geo-data and geo-processing resources distributed over the network.to both geo-data and geo-processing resources distributed over the network.

  • PDF

Sentence ion : Sentence Revision with Concept ion (문장추상화 : 개념추상화를 도입한 문장교열)

  • Kim, Gon;Yang, Jaegun;Bae, Jaehak;Lee, Jonghyuk
    • The KIPS Transactions:PartB
    • /
    • v.11B no.5
    • /
    • pp.563-572
    • /
    • 2004
  • Sentence ion is a simplification of a sentence preserving its communicative function. It accomplishes sentence revision and concept ion simultaneously. Sentence revision is a method that resolves the discrepancy between human's thoughts and its expressed semantic in sentences. Concept ion is an expression of general ideas acquired from the common elements of concepts. Sentence ion selects the main constituents of given sentences and describes the upper concepts of them with detecting their semantic information. This enables sen fence revision and concept ion simultaneously. In this paper, a syntactic parser LGPI+ and an ontology OfN are utilized for sentence ion. Sentence abstracter SABOT makes use of LGPI+ and OfN. SABOT processes the result of parsing and selects the candidate words for sentence ion. This paper computes the sentence recall of the main sentences and the topic hit ratio of the selected sentences with the text understanding system using sentence ion. The sources are 58 paragraphs in 23 stories. As a result of it, the sentence recall is about .54 ~ 72% and the topic hit ratio is about 76 ~ 86%. This paper verified that sentence ion enables sentence revision that can select the topic sentences of a given text efficiently and concept ion that can improve the depth of text understanding.

Automated-Database Tuning System With Knowledge-based Reasoning Engine (지식 기반 추론 엔진을 이용한 자동화된 데이터베이스 튜닝 시스템)

  • Gang, Seung-Seok;Lee, Dong-Joo;Jeong, Ok-Ran;Lee, Sang-Goo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06a
    • /
    • pp.17-18
    • /
    • 2007
  • 데이터베이스 튜닝은 일반적으로 데이터베이스 어플리케이션을 "좀 더 빠르게" 실행하게 하는 일련의 활동을 뜻한다[1]. 데이터베이스 관리자가 튜닝에 필요한 주먹구구식 룰(Rule of thumb)들을 모두 파악 하고 상황에 맞추어 적용하는 것은 비싼 비용과 오랜 시간을 요구한다. 그렇게 때문에 서로 다른 어플 리케이션들이 맞물려 있는 복잡한 서비스는 필수적으로 자동화된 데이터베이스 성능 관리와 튜닝을 필 요로 한다. 본 논문에서는 이를 해결하기 위하여 지식 도매인(Knowledge Domain)을 기초로 한 자동화 된 데이터베이스 튜닝 원칙(Tuning Principle)을 제시하는 시스템을 제안한다. 각각의 데이터베이스 튜닝 이론들은 지식 도매인의 지식으로 활용되며, 성능에 영향을 미치는 요소들을 개체(Object)와 콘셉트 (Concept)로 구성하고 추론 시스템을 통해 튜닝 원칙을 추론하여 쉽고 빠르게 현재 상황에 맞는 튜닝 방법론을 적용시킬 수 있다. 자동화된 데이터베이스 튜닝에 대해 여러 분야에 걸쳐 학문적인 연구가 이루어지고 있다. 그 예로써 Microsoft의 AutoAdmin Project[2], Oracle의 SQL 튜닝 아키텍처[3], COLT[4], DBA Companion[5], SQUASH[6] 등을 들 수 있다. 이러한 최적화 기법들을 각각의 기능적인 방법론에 따라 다시 분류하면 크게 Design Tuning, Logical Structure Tuning, Sentence Tuning, SQL Tuning, Server Tuning, System/Network Tuning으로 나누어 볼 수 있다. 이 중 SQL Tuning 등은 수치적으로 결정되어 이미 존재하는 정보를 이용하기 때문에 구조화된 모델로 표현하기 쉽고 사용자의 다양한 요구에 의해 변화하는 조건들을 수용하기 쉽기 때문에 이에 중점을 두고 성능 문제를 해결하는 데 초점을 맞추었다. 데이터베이스 시스템의 일련의 처리 과정에 따라 DBMS를 구성하는 개체들과 속성, 그리고 연관 관계들이 모델링된다. 데이터베이스 시스템은 Application / Query / DBMS Level의 3개 레벨에 따라 구조화되며, 본 논문에서는 개체, 속성, 연관 관계 및 데이터베이스 튜닝에 사용되는 Rule of thumb들을 분석하여 튜닝 원칙을 포함한 지식의 형태로 변환하였다. 튜닝 원칙은 데이터베이스 시스템에서 발생하는 문제를 해결할 수 있게 하는 일종의 황금률로써 지식 도매인의 바탕이 되는 사실(Fact)과 룰(Rule) 로써 표현된다. Fact는 모델링된 시스템을 지식 도매인의 하나의 지식 개체로 표현하는 방식이고, Rule 은 Fact에 기반을 두어 튜닝 원칙을 지식의 형태로 표현한 것이다. Rule은 다시 시스템 모델링을 통해 사전에 정의되는 Rule와 튜닝 원칙을 추론하기 위해 사용되는 Rule의 두 가지 타업으로 나뉘며, 대부분의 Rule은 입력되는 값에 따라 다른 솔루션을 취하게 하는 분기의 역할을 수행한다. 사용자는 제한적으로 자동 생성된 Fact와 Rule을 통해 튜닝 원칙을 추론하여 데이터베이스 시스템에 적용할 수 있으며, 요구나 필요에 따라 GUI를 통해 상황에 맞는 Fact와 Rule을 수동으로 추가할 수도 었다. 지식 도매인에서 튜닝 원칙을 추론하기 위해 JAVA 기반의 추론 엔진인 JESS가 사용된다. JESS는 스크립트 언어를 사용하는 전문가 시스템[7]으로 선언적 룰(Declarative Rule)을 이용하여 지식을 표현 하고 추론을 수행하는 추론 엔진의 한 종류이다. JESS의 지식 표현 방식은 튜닝 원칙을 쉽게 표현하고 수용할 수 있는 구조를 가지고 있으며 작은 크기와 빠른 추론 성능을 가지기 때문에 실시간으로 처리 되는 어플리케이션 튜닝에 적합하다. 지식 기반 모률의 가장 큰 역할은 주어진 데이터베이스 시스템의 모델을 통하여 필요한 새로운 지식을 생성하고 저장하는 것이다. 이를 위하여 Fact와 Rule은 지식 표현 의 기본 단위인 트리플(Triple)의 형태로 표현된다, 트리플은 Subject, Property, Object의 3가지 요소로 구성되며, 대부분의 Fact와 Rule들은 트리플의 기본 형태 또는 트리플의 조합으로 이루어진 C Condition과 Action의 두 부분의 결합으로 구성된다. 이와 같이 데이터베이스 시스템 모델의 개체들과 속성, 그리고 연관 관계들을 표현함으로써 지식들이 추론 엔진의 Fact와 Rule로 기능할 수 있다. 본 시스템에서는 이를 구현 및 실험하기 위하여 웹 기반 서버-클라이언트 시스템을 가정하였다. 서버는 Process Controller, Parser, Rule Database, JESS Reasoning Engine으로 구성 되 어 있으며, 클라이 언트는 Rule Manager Interface와 Result Viewer로 구성되어 었다. 실험을 통해 얻어지는 튜닝 원칙 적용 전후의 실행 시간 측정 등 데이터베이스 시스템 성능 척도를 비교함으로써 시스템의 효용을 판단하였으며, 실험 결과 적용 전에 비하여 튜닝 원칙을 적용한 경우 최대 1초 미만의 전처리에 따른 부하 시간 추가와 최소 약 1.5배에서 최대 약 3배까지의 처리 시간 개선을 확인하였다. 본 논문에서 제안하는 시스템은 튜닝 원칙을 자동으로 생성하고 지식 형태로 변형시킴으로써 새로운 튜닝 원칙을 파생하여 제공하고, 성능에 영향을 미치는 요소와 함께 직접 Fact과 Rule을 추가함으로써 커스터마이정된 튜닝을 수행할 수 있게 하는 장점을 가진다. 추후 쿼리 자체의 튜닝 및 인텍스 최적화 등의 프로세스 자동화와 Rule을 효율적으로 정의하고 추가하는 방법 그리고 시스템 모델링을 효과적으로 구성하는 방법에 대한 연구를 통해 본 연구를 더욱 개선시킬 수 있을 것이다.

  • PDF