• Title/Summary/Keyword: chunking

Search Result 70, Processing Time 0.035 seconds

Design and Implementation of An I/O System for Irregular Application under Parallel System Environments (병렬 시스템 환경하에서 비정형 응용 프로그램을 위한 입출력 시스템의 설계 및 구현)

  • No, Jae-Chun;Park, Seong-Sun;;Gwon, O-Yeong
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.26 no.11
    • /
    • pp.1318-1332
    • /
    • 1999
  • 본 논문에서는 입출력 응용을 위해 collective I/O 기법을 기반으로 한 실행시간 시스템의 설계, 구현 그리고 그 성능평가를 기술한다. 여기서는 모든 프로세서가 동시에 I/O 요구에 따라 스케쥴링하며 I/O를 수행하는 collective I/O 방안과 프로세서들이 여러 그룹으로 묶이어, 다음 그룹이 데이터를 재배열하는 통신을 수행하는 동안 오직 한 그룹만이 동시에 I/O를 수행하는 pipelined collective I/O 등의 두 가지 설계방안을 살펴본다. Pipelined collective I/O의 전체 과정은 I/O 노드 충돌을 동적으로 줄이기 위해 파이프라인된다. 이상의 설계 부분에서는 동적으로 충돌 관리를 위한 지원을 제공한다. 본 논문에서는 다른 노드의 메모리 영역에 이미 존재하는 데이터를 재 사용하여 I/O 비용을 줄이기 위해 collective I/O 방안에서의 소프트웨어 캐슁 방안과 두 가지 모형에서의 chunking과 온라인 압축방안을 기술한다. 그리고 이상에서 기술한 방안들이 입출력을 위해 높은 성능을 보임을 기술하는데, 이 성능결과는 Intel Paragon과 ASCI/Red teraflops 기계 상에서 실험한 것이다. 그 결과 응용 레벨에서의 bandwidth는 peak point가 55%까지 측정되었다.Abstract In this paper we present the design, implementation and evaluation of a runtime system based on collective I/O techniques for irregular applications. We present two designs, namely, "Collective I/O" and "Pipelined Collective I/O". In the first scheme, all processors participate in the I/O simultaneously, making scheduling of I/O requests simpler but creating a possibility of contention at the I/O nodes. In the second approach, processors are grouped into several groups, so that only one group performs I/O simultaneously, while the next group performs communication to rearrange data, and this entire process is pipelined to reduce I/O node contention dynamically. In other words, the design provides support for dynamic contention management. Then we present a software caching method using collective I/O to reduce I/O cost by reusing data already present in the memory of other nodes. Finally, chunking and on-line compression mechanisms are included in both models. We demonstrate that we can obtain significantly high-performance for I/O above what has been possible so far. The performance results are presented on an Intel Paragon and on the ASCI/Red teraflops machine. Application level I/O bandwidth up to 55% of the peak is observed.he peak is observed.

Consolidation of Subtasks for Target Task in Pipelined NLP Model

  • Son, Jeong-Woo;Yoon, Heegeun;Park, Seong-Bae;Cho, Keeseong;Ryu, Won
    • ETRI Journal
    • /
    • v.36 no.5
    • /
    • pp.704-713
    • /
    • 2014
  • Most natural language processing tasks depend on the outputs of some other tasks. Thus, they involve other tasks as subtasks. The main problem of this type of pipelined model is that the optimality of the subtasks that are trained with their own data is not guaranteed in the final target task, since the subtasks are not optimized with respect to the target task. As a solution to this problem, this paper proposes a consolidation of subtasks for a target task ($CST^2$). In $CST^2$, all parameters of a target task and its subtasks are optimized to fulfill the objective of the target task. $CST^2$ finds such optimized parameters through a backpropagation algorithm. In experiments in which text chunking is a target task and part-of-speech tagging is its subtask, $CST^2$ outperforms a traditional pipelined text chunker. The experimental results prove the effectiveness of optimizing subtasks with respect to the target task.

Effects of collocation-based vocabulary instruction on improving English reading ability for high school learners (연어 중심 어휘지도가 고등학생의 영어 독해력 향상에 미치는 영향)

  • Kim, Nahk-Bohk
    • English Language & Literature Teaching
    • /
    • v.13 no.3
    • /
    • pp.157-176
    • /
    • 2007
  • Based on the consensus that vocabulary plays an essential role in improving reading ability, the present study investigates the effects of two different methods of English vocabulary instruction - the traditional wordlist-based vocabulary instruction (G1) and the collocation-based vocabulary instruction (G2) - on improving English reading ability for high school learners. First, the results of the collocation test revealed that G1 and G2 groups attained similar mean scores on the pretests; however, G2 significantly outperformed G1 on the post-test administered at the end of the learning activity. The results proved that students who learned vocabulary in a collocation-oriented setting had better retention through the lexical-chunking achieved by the collection method. Second, in terms of reading comprehension achieved on nationwide academic trial tests, the result was, after considering more tests, that G2 gained a significantly higher mean score on the third and fourth than G1 did, although the two groups yielded a similar mean score on the first and second test. The implication of these results is that collocation-based vocabulary activities had a more significant influence on reading skills than wordlist-oriented ones.

  • PDF

Analysis on the Change of Niche Overlap of Elementary School Students' Photosynthesis Concepts through Instruction (초등학교 학생들의 수업 전후 광합성 관련 개념의 지위 중복 변화 분석)

  • Lim, Soo-Min;Kim, Young-Lan;Shin, Ae-Kyung;Kim, Youngshin
    • Journal of Korean Elementary Science Education
    • /
    • v.34 no.1
    • /
    • pp.72-85
    • /
    • 2015
  • Conception in learner's cognitive structure has a niche as species in ecosystems. The purpose of this study is to analyze the change of niche overlap of photosynthesis concept through instruction. The photosynthesis concepts were selected from literature review. Selected concepts were in 4 areas: Location of photosynthesis, reactants, products, and environmental factors. The subjects consisted 304 elementary students. The respondent marked the relevance between the presented concepts and each area on a scale of 1~30 points. The analysis of niche overlap in concepts was performed by changing in niche overlap graph, niche space size, and overlap index before and after instruction. The results are as follows. First, on the whole understanding level and relevance of the scientific concepts was increased through instruction as a result of learning. Second, elementary school students cognitive concepts in the form of chunking concepts through classification process. Based on the results, this study has the following suggestion. Students' conceptual ecologies and niche analyzed by this study will be used as material for development of instruction strategy.

The Effects of Mental Capacity and Size of Chunk of Problem Solver and Mental Demand of Problem on Science Problem Solving

  • Ahn, Soo-Young
    • Journal of The Korean Association For Science Education
    • /
    • v.22 no.5
    • /
    • pp.1030-1043
    • /
    • 2002
  • The development of cognitive psychology provides us a theoretical base from which we can obtain information about human problem solving. One purpose of this study was to investigate the effects of cognitive psychological factors on the problem solving of the two kinds of tasks (content free, content specific). And the other purpose was to find out the existence of critical situation in problem solving process. Even the items of tasks with the same logical structure and content knowledge could have different sizes of mental demand. The results were as follows. The mental demand of the problem, and the problem solver's mental capacity, might be the main factors in problem solving. Critical situation of both a group and an individual existed in the tasks that need content free knowledge (FIT 752 task). But the critical situation of a group was completely different from that of the individual in the tasks that need content specific knowledge (electric circuit task). According to the analysis of achievement for each individual in the task that need content specific knowledge, the critical situation of an individual existed in problem solving, but the critical situation of a group was not existed by were summed up the individual results.

A Method for Extracting Dependency Relations Using Chunking and Segmentation (구묶음과 구간분할을 이용한 의존 관계 추출 기법)

  • Park, Eui-Kyu;Cho, Min-Hee;Kim, Seong-Won;Ra, Dong-Yul
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.131-137
    • /
    • 2004
  • 본 논문에서는 구묶음과 구간분할에 기반하여 한국어 문장에서 명백한 의존관계를 파악 추출하는 기법에 대해 다룬다. 구묶음 기법은 문장에 나타나는 복합 명사, 본용언/보조용언. 의존명사 등을 묶어서 문장의 구조를 단순하게 만든다. 특히 문장에 다양한 형태로 나타나는 의존명사의 처리를 강화하여 구묶음을 효과적으로 할 수 있도록 하였다. 구간분할 기법은 긴 문장을 여러 개의 구간으로 나누어 각 구간을 구문분석 한다. 각 구간은 분할 이전보다는 단순화된 형태이기 때문에 긴 문장보다는 중의성이 줄어들어 견고한 구문분석을 할 수 있게 된다. 본 논문에서는 한국어 구문분석 시스템 개발의 1 단계 과정으로써 일단 중의성이 있는 상황이 아닌 명백한 의존관계를 수집하는 것을 목표로 한다. 본 논문에서는 실험을 통하여 구묶음과 구간분할 기법이 문장의 구조 중의성을 줄여 줌으로써 보다 많은 명백한 의존관계를 정확하게 추출할 수 있음을 보였다.

  • PDF

Chunking Using Automatic Constructed Syntactic Pattern Dictionary and Rule (자동 구축된 구문패턴사전과 규칙을 이용한 구묶음)

  • Im, Ji-Hui;Choe, Ho-Seop;Lee, Jung-Chul;Ock, Cheul-Young
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.35-39
    • /
    • 2004
  • 본 논문은 실용적인 구문분석기의 전단계로서, 자동 구축된 구문패턴사전과 규칙을 이용하여 구묶음하는 방법을 제안한다. 우선 규칙은 구문분석 말뭉치(30,875어절)를 대상으로 자동 추출된 고빈도의 규칙(Rewriting Rule)을 본 논문에 맞게 수동으로 구축하였다. 규칙은 조건부, 행위부로 이루어진 이진 규칙(binary rule)의 형태를 이루며, 명사구(NP), 수식어구(AP, DP), 인용구(X), 용언구(VP, VC)을 대상으로 15개를 구축하였다. 그리고 구문패턴은 중심어와 중심어 선행 요소의 특성뿐만 아니라 중심어 후행 요소도 고려하여 형식화시킨 것으로, 중심어의 복합용언 여부에 따라 일반용언패턴과 본+보조용언패턴으로 구분한다. 부분적인 언어 현상의 처리보다는 실세계에서 사용되는 수많은 문장들에 내재되어 있는 매우 광범위한 언어 현상의 처리를 하기 위해, 구문패턴은 형태소주석 말뭉치(460만 어절)을 대상으로 자동 구축하였다. 구축된 구문패턴사전과 규칙을 이용하여 구묶음을 수행한 결과 정확율 83.09%가 나타났다.

  • PDF

Korean Composed Noun Phrase Chunking Using CRF (CRF를 이용한 한국어 문장의 복합명사 상당어구 묶음)

  • Park, Byul;Seon, Choong-Nyoung;Seo, Jung-Yun
    • Annual Conference on Human and Language Technology
    • /
    • 2011.10a
    • /
    • pp.90-93
    • /
    • 2011
  • 구분분석은 문장을 분석하여 문장의 구문 구조를 밝히는 작업으로, 문장이 길어질수록 문장의 중의성이 높아져 구문분석 복잡도를 증사시키고 성능이 떨어진다. 구문분석의 복잡도를 감소시키기 위한 방법 중 하나로 구묶음을 하는데 본 논문에서는 하나의 명사처럼 쓰일 수 있는 둘 이상의 연속된 명사, 대명사, 수사, 숫자와 이를 수식하는 관형사, 접두사 및 접미사를 묶어서 복합명사 상당어구라고 정의하고 복합명사 상당어구 인식 시스템을 제안한다. 본 논문은 복합명사 상당어구 인식을 기계학습을 이용한 태그 부착 문제로 간주하였다. 문장 내 띄어쓰기, 어절의 어휘 정보, 어절 내 형태소들의 품사 정보와 품사-어휘 정보를 함께 자질로 사용하였다. 실험을 위하여 세종 구문분석 말뭉치 7만여 문장을 학습과 평가에 사용했으며, 실험결과는 95.97%의 정확률과 95.11%의 재현율, 95.54%의 $F_1$-평가치를 보였고, 구문분석의 전처리로써 사용하였을 때 구문분석의 성능과 속도가 향상됨을 보였다.

  • PDF

Performance Improvement of Chunking Using Cascaded Machine Learning Methods (다단계 기계학습 기법을 이용한 구묶음 성능향상)

  • Jeon, Kil-Ho;Seo, Hyeong-Won;Choi, Myung-Gil;Nam, Yoo-Rim;Kim, Jae-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2011.10a
    • /
    • pp.107-109
    • /
    • 2011
  • 기계학습은 학습말뭉치로부터 문제를 해결하기 위한 규칙을 학습하여 모델을 생성한다. 생성된 모델의 성능을 높이기 위해서는 문제에 적합한 자질들을 많이 이용해야 하지만 많은 자질들을 사용하면 모델의 생성시간은 느려지는 것이 사실이다. 이 문제를 해결하기 위해 본 논문에서는 다단계 기법을 적용한 기계학습으로 구묶음 시스템을 제작하여 학습모델의 생성시간을 단축하고 성능을 높이는 기법을 제안한다. 많은 종류의 자질들을 두 단계로 분리하여 학습하는 기법으로 1단계에서 구의 경계를 인식하고 2단계에서 구의태그를 결정한다. 1단계의 학습자질은 어휘 정보, 품사 정보, 띄어쓰기 정보, 중심어 정보를 사용하였으며, 2단계 학습자질은 어휘 정보와 품사 정보 외에 1단계 결과에서 추출한 구의 시작 품사 정보와 끝 품사 정보, 구 정보, 구 품사 정보를 자질로 사용하였다. 평가를 위해서 본 논문에서는 ETRI 구문구조 말뭉치를 사용하였다.

  • PDF

Cascaded Parsing Korean Sentences Using Grammatical Relations (문법관계 정보를 이용한 단계적 한국어 구문 분석)

  • Lee, Song-Wook
    • The KIPS Transactions:PartB
    • /
    • v.15B no.1
    • /
    • pp.69-72
    • /
    • 2008
  • This study aims to identify dependency structures in Korean sentences with the cascaded chunking. In the first stage of the cascade, we find chunks of NP and guess grammatical relations (GRs) using Support Vector Machine (SVM) classifiers for all possible modifier-head pairs of chunks in terms of GR categories as subject, object, complement, adverbial, etc. In the next stages, we filter out incorrect modifier-head relations in each cascade for its corresponding GR using the SVM classifiers and the characteristics of the Korean language such as distance between relations, no-crossing and case property. Through an experiment with a parsed and GR tagged corpus for training the proposed parser, we achieved an overall accuracy of 85.7%.