• 제목/요약/키워드: text

검색결과 13,458건 처리시간 0.035초

문장 중요도를 이용한 자동 문서 범주화 (Automatic Text Categorization using the Importance of Sentences)

  • 고영중;박진우;서정연
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권6호
    • /
    • pp.417-424
    • /
    • 2002
  • 자동 문서 범주화란 문서의 내용에 기반하여 미리 정의되어 있는 범주에 문서를 자동으로 분류하는 작업이다. 문서 분류를 위해서는 문서들을 가장 잘 표현할 수 있는 자질들을 정하고, 이러한 자질들을 통해 분류할 문서를 표현해야 한다. 기존의 연구들은 문장간의 구분 없이, 문서 전체에 나타난 각 자질의 빈도수를 이용하여 문서를 표현 한다. 그러나, 하나의 문서 내에서도 중요한 문장과 그렇지 못한 문장의 구분이 있으며, 이러한 문장 중요도의 차이는 각각의 문장에 나타나는 자질의 중요도에도 영향을 미친다. 본 논문에서는 문서 요약에서 사용되는 중요 문장 추출 기법을 문서 분류에 적용하여, 문서 내에 나타나는 각 문장들의 문장 중요도를 계산하고 문서의 내용을 잘 나타내는 문장들과 그렇지 못한 문장들을 구분하여 각 문장에서 출현하는 자질들의 가중치를 다르게 부여하여 문서를 표현한다. 이렇게 문장들의 중요도를 고려하여 문서를 표현한 기법의 성능을 평가하기 위해서 뉴스 그룹 데이타를 구축하고 실험하였으며 문장 중요도를 사용하지 않은 시스템 보다 향상된 성능을 얻을 수 있었다.

Extending TextAE for annotation of non-contiguous entities

  • Lever, Jake;Altman, Russ;Kim, Jin-Dong
    • Genomics & Informatics
    • /
    • 제18권2호
    • /
    • pp.15.1-15.6
    • /
    • 2020
  • Named entity recognition tools are used to identify mentions of biomedical entities in free text and are essential components of high-quality information retrieval and extraction systems. Without good entity recognition, methods will mislabel searched text and will miss important information or identify spurious text that will frustrate users. Most tools do not capture non-contiguous entities which are separate spans of text that together refer to an entity, e.g., the entity "type 1 diabetes" in the phrase "type 1 and type 2 diabetes." This type is commonly found in biomedical texts, especially in lists, where multiple biomedical entities are named in shortened form to avoid repeating words. Most text annotation systems, that enable users to view and edit entity annotations, do not support non-contiguous entities. Therefore, experts cannot even visualize non-contiguous entities, let alone annotate them to build valuable datasets for machine learning methods. To combat this problem and as part of the BLAH6 hackathon, we extended the TextAE platform to allow visualization and annotation of non-contiguous entities. This enables users to add new subspans to existing entities by selecting additional text. We integrate this new functionality with TextAE's existing editing functionality to allow easy changes to entity annotation and editing of relation annotations involving non-contiguous entities, with importing and exporting to the PubAnnotation format. Finally, we roughly quantify the problem across the entire accessible biomedical literature to highlight that there are a substantial number of non-contiguous entities that appear in lists that would be missed by most text mining systems.

중학교 가정교과서의 국제비교 연구 (An International Comparative Study on Home Economics Text Books of Middle School)

  • 차미경;윤인경
    • 한국가정과교육학회지
    • /
    • 제3권1호
    • /
    • pp.113-129
    • /
    • 1991
  • This study was conducted to compare the outward aspects, objectives, and the contents of Home Economics text books of middle schools of Korea, Japan, U.S.A. and England. The results were summarized as follows. 1. The outward aspects of tex books: The Korean text books were small in size and the quality of paper was inferior to those of foreign countries. The Japanese text books were written by many authors, contained many lab works and data. Text books of U.S.A. were big in size made with good quality paper and contained many colour pictures. Text books England contained many problems and lab works. 2. Objectives of the Home Economics and Unit objectives: The objective of the subjects of Home Economics was written only in Korean text books. The unit objectives were described most concretely and detailedly in Korean text books comparing with other countries. 3. Contents: Korean text books covered all six areas of foods, clothings, housing, home management, family and occupation and theoretical explanations prevailed. Japanese text books contained numerous lab works, lacked two areas of home management and occupation, thecontents included a few practical lab works two areas of home management and occupation, the contents included a few practical lab works. In the text books of U.S.A. contained all six areas of Home Economics were covered and special emphasis was placed on self discovory and self development, and vocational guidance was also stressed. The text book of England contained only three areas of Home Economics, clothing, foods and housing; the number of area was limited but the basic theories of covered area was intended to lead to self comprehension through questions and lab works.

  • PDF

Poly-Si에 첨가한 도펀트가 Titanium Silicides 형성에 미치는 영향 Ⅱ (Effects of Dopants Introduced into the Poly-Si on the Formation of Ti-Silicides)

  • 류연수;최진석;백수현
    • 대한전자공학회논문지
    • /
    • 제27권2호
    • /
    • pp.73-80
    • /
    • 1990
  • Si의 기판상태, 불순물의 종류와 양, 어닐링온도 등을 달리하여 Ti-silicides를 형성시켰을 때 면 저항과 두께측정, 불순물들의 분포와 미세구조 관찰을 통하여 Ti-silicides 형성반응을 조사하였다. 기판상태, 불순물의 농도, 어닐링온도가 Ti-silicides 형성에 직접적으로 영향을 미쳤다. Amorphous Si 기판상에서 Ti-silicides가 형성되었을 때 $TiSi_2/Si$ 계면편평도가 보다 향상되었다. Poly-Si내 불순물의 농도가 $1{\times}10^{16}ions/cm^2$ 이상일 때 $TiSi_2$ 형성이 크게 억제되었고 면저항이 증가하였다. 불순물의 out-diffusion에 영향을 미치는 인자 중의 하나는 이온주입에너지에 의해 결정되는 초기 불순물의 분포였다. 이온주입 공정보다 $POCI_3$ 공정에서 불순물의 out-diffusion이 적게 나타났다.

  • PDF

빈도 분석을 이용한 HTML 텍스트 추출 (HTML Text Extraction Using Frequency Analysis)

  • 김진환;김은경
    • 한국정보통신학회논문지
    • /
    • 제25권9호
    • /
    • pp.1135-1143
    • /
    • 2021
  • 최근 빅데이터 분석을 위해 웹 크롤러를 이용한 텍스트 수집이 빈번하게 이루어지고 있다. 하지만 수많은 태그와 텍스트로 복잡하게 구성된 웹 페이지에서 필요한 텍스트만을 수집하기 위해서는 웹 크롤러에 빅데이터 분석에 필요한 본문이 포함된 HTML태그와 스타일 속성을 명시해야 하는 번거로움이 있다. 본 논문에서는 HTML태그와 스타일 속성을 명시하지 않고 웹 페이지에서 출현하는 텍스트의 빈도를 이용하여 본문을 추출하는 방법을 제안하였다. 제안한 방법에서는 수집된 모든 웹 페이지의 DOM 트리에서 텍스트를 추출하여 텍스트의 출현 빈도를 분석한 후, 출현 빈도가 높은 텍스트를 제외시킴으로써 본문을 추출하였으며, 본 연구에서 제안한 방법과 기존 방법의 정확도 비교를 통해서 본 연구에서 제안한 방법의 우수성을 검증하였다.

Enzymatic Synthesis of β-Glucosylglycerol and Its Unnatural Glycosides Via β-Glycosidase and Amylosucrase

  • Jung, Dong-Hyun;Seo, Dong-Ho;Park, Ji-Hae;Kim, Myo-Jung;Baek, Nam-In;Park, Cheon-Seok
    • Journal of Microbiology and Biotechnology
    • /
    • 제29권4호
    • /
    • pp.562-570
    • /
    • 2019
  • ${\beta}$-Glucosylglycerol (${\beta}-GG$) and their derivatives have potential applications in food, cosmetics and the healthcare industry, including antitumor medications. In this study, ${\beta}-GG$ and its unnatural glycosides were synthesized through the transglycosylation of two enzymes, Sulfolobus shibatae ${\beta}$-glycosidase (SSG) and Deinococcus geothermalis amylosucrase (DGAS). SSG catalyzed a transglycosylation reaction with glycerol as an acceptor and cellobiose as a donor to produce 56% of ${\beta}-GGs$ [${\beta}$-$\text\tiny{D}$-glucopyranosyl-($1{\rightarrow}1/3$)-$\text\tiny{D}$-glycerol and ${\beta}$-$\text\tiny{D}$-glucopyranosyl-($1{\rightarrow}2$)-$\text\tiny{D}$-glycerol]. In the second transglycosylation reaction, ${\beta}$-$\text\tiny{D}$-glucopyranosyl-($1{\rightarrow}1/3$)-$\text\tiny{D}$-glycerol was used as acceptor molecules of the DGAS reaction. As a result, 61% of ${\alpha}$-$\text\tiny{D}$-glucopyranosyl-($1{\rightarrow}4$)-${\beta}$-$\text\tiny{D}$-glucopyranosyl-($1{\rightarrow}1/3$)-$\text\tiny{D}$-glycerol and 28% of ${\alpha}$-$\text\tiny{D}$-maltopyranosyl-($1{\rightarrow}4$)-${\beta}$-$\text\tiny{D}$-glucopyranosyl-($1{\rightarrow}1/3$)-$\text\tiny{D}$-glycerol were synthesized as unnatural glucosylglycerols. In conclusion, the combined enzymatic synthesis of the unnatural glycosides of ${\beta}-GG$ was established. The synthesis of these unnatural glycosides may provide an opportunity to discover new applications in the biotechnological industry.

자동문서분류를 위한 텐서공간모델 기반 심층 신경망 (A Tensor Space Model based Deep Neural Network for Automated Text Classification)

  • 임푸름;김한준
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.3-13
    • /
    • 2018
  • 자동문서분류(Text Classification)는 주어진 텍스트 문서를 이에 적합한 카테고리로 분류하는 텍스트 마이닝 기술 중의 하나로서 스팸메일 탐지, 뉴스분류, 자동응답, 감성분석, 쳇봇 등 다양한 분야에 활용되고 있다. 일반적으로 자동문서분류 시스템은 기계학습 알고리즘을 활용하며, 이 중에서 텍스트 데이터에 적합한 알고리즘인 나이브베이즈(Naive Bayes), 지지벡터머신(Support Vector Machine) 등이 합리적 수준의 성능을 보이는 것으로 알려져 있다. 최근 딥러닝 기술의 발전에 따라 자동문서분류 시스템의 성능을 개선하기 위해 순환신경망(Recurrent Neural Network)과 콘볼루션 신경망(Convolutional Neural Network)을 적용하는 연구가 소개되고 있다. 그러나 이러한 최신 기법들이 아직 완벽한 수준의 문서분류에는 미치지 못하고 있다. 본 논문은 그 이유가 텍스트 데이터가 단어 차원 중심의 벡터로 표현되어 텍스트에 내재한 의미 정보를 훼손하는데 주목하고, 선행 연구에서 그 효능이 검증된 시멘틱 텐서공간모델에 기반하여 심층 신경망 아키텍처를 제안하고 이를 활용한 문서분류기의 성능이 대폭 상승함을 보인다.

텍스트 데이터의 특성에 따른 성경 시각화 사례 분석 -텍스트의 내용적, 구조적 특성 및 인용 정보를 중심으로- (Case Analysis of Bible Visualization based on Text Data Traits -Focused on Content, Structure, Quotation of Text-)

  • 김효영;박진완
    • 한국콘텐츠학회논문지
    • /
    • 제13권8호
    • /
    • pp.83-92
    • /
    • 2013
  • 텍스트 시각화는 시각적 표현의 재료가 되는 텍스트 자체에 대한 이해에서 시작한다. 임의의 텍스트 데이터를 시각화하기 위해서는 해당 텍스트의 특성에 대한 충분한 이해가 선행되어야하며, 이렇게 도출된 텍스트가 갖는 고유한 특성에 따라 시각화의 목적과 표현적 접근 방법이 결정될 수 있다. 본 연구에서는 동일한 텍스트가 갖는 다양한 특성에 따라 도출된 대표적인 시각화 사례를 분석함으로써 텍스트 시각화에 대한 접근 방식에 대한 이론적 토대를 구축하고자 하였다. 이를 위해 동일 시각화의 대상 텍스트로서 전 세계적으로 가장 널리 알려져 있고, 그 디지털 데이터를 획득하기 용이하며 따라서 텍스트 시각화 사례가 다양하게 존재하는 '성경' 텍스트를 선정하여 사례 분석을 진행하였다. 사례 분석을 위한 기준으로서 텍스트가 갖는 고유한 특성-내용적, 구조적 특성 및 인용정보-를 도출하고, 각 기준에 부합하는 텍스트 시각화 사례들을 2-3가지 이상 선정하여 분석에 대한 타당성을 높였다. 분석결과 성경 텍스트가 갖는 독특한 특성에 따라 시각화의 목표와 표현적 접근법이 결정됨을 파악할 수 있었다. 본 연구를 토대로 향후 더욱 다양한 관점의 사례 분석을 통하여 텍스트 시각화를 위한 재료 선택 및 접근 방법에 대한 이론적 방법론 구축이 가능할 것으로 기대한다.

뇌텍스트(Brain Text) 및 뇌개념(Brain Concept)의 형성원리와 문학윤리학비평 (The Forming Mechanism of Brain Text and Brain Concept in the Theory of Ethical Literary Criticism)

  • 섭진교;윤석민
    • 대중서사연구
    • /
    • 제25권1호
    • /
    • pp.193-215
    • /
    • 2019
  • 문학윤리학비평이론은 모든 문학에 텍스트가 있다고 전제한다. 구비 문학의 원뜻은 말로 전승되는 문학의 한 형태이다. 구비문학의 텍스트는 구두로 표현되기 전에 이미 사람의 뇌에 저장되어 있기 때문에, 뇌텍스트(Brain Text)라고 일컫는다. 뇌텍스트는 인간의 대뇌에 기억되어 있는 텍스트로서, 인간이 문자와 정보 저장 방식을 발명하기 이전의 텍스트 형식이다. 문자가 탄생한 뒤에도 뇌텍스트는 여전히 존재한다. 뇌텍스트와 유사한 텍스트는 문자 텍스트와 전자 텍스트이다. 모든 뇌텍스트는 뇌개념(Brain Concept)으로 구성된다. 뇌개념은 물상(物象)개념과 추상(抽象)개념 두 유형으로 분류된다. 뇌개념은 사유에 필요한 도구이며, 사유는 뇌개념을 이해하고 운용함이다. 뇌개념을 운용하여 사유를 전개하면, 사상을 확보할 수 있게 되며, 이 사상은 뇌텍스트를 매개체로 한다. 뇌개념 조합 과정의 완성은 사유 과정의 끝맺음을 의미한다. 사유과정의 끝맺음에 사상이 생겨나고, 뇌텍스트를 형성하게 된다. 뇌텍스트는 인간의 사상과 행위를 결정하는 확정과정으로서, 정보의 교류와 확산에 작용할 뿐만 아니라 인간의 의식, 사유, 판단, 선택, 행동, 감정까지도 결정한다. 뇌텍스트는 인간의 생활방식과 도덕행위를 결정하고, 인간의 존재를 결정하며, 인간의 본질까지도 결정한다. 어떠한 뇌텍스트가 어떠한 사상과 행위를 결정하고, 어떠한 뇌텍스트가 어떠한 인간을 결정하는 것인가? 이 문제의식은 곧바로 문학윤리학비평이론과 연계된다.

Study of Analyzing Outcome of Building and Introducing System for Preserving Full-Text of e-Journal

  • Kim, Kwang-Young;Kim, Soon-Young;Kim, Hwan-Min
    • International Journal of Knowledge Content Development & Technology
    • /
    • 제2권2호
    • /
    • pp.5-16
    • /
    • 2012
  • Today, most researchers conduct their studies through the full-text of e-journals. Therefore, an important base for domestic development of science and technology is to obtain the full-text of quality e-journals by overseas researchers and to provide it to Korea's researchers. This study aims to build a system based on the National Archiving Center for the full-text of e-journals and to make a service system for providing them to the public by acquiring the full-text of quality overseas e-journals. To do this, an analysis was made of the outcome of introducing such a system for full-text of e-journals in comparison with the investment. As a result, 112 more institutions, that is, from 47 institutions to 159 institutions, have introduced the system as of 2012, and the number of downloaded full-texts increased at least 2.17 times.