• 제목/요약/키워드: 문단

검색결과 129건 처리시간 0.023초

문단 단위 가중치 함수와 문단 타입을 이용한 문서 범주화 (Automatic Text Categorization Using Passage-based Weight Function and Passage Type)

  • 주원균;김진숙;최기석
    • 정보처리학회논문지B
    • /
    • 제12B권6호
    • /
    • pp.703-714
    • /
    • 2005
  • 문서 범주화 분야에 대한 연구들은 전체 문서 단위에 한정되어 왔으나, 오늘날 대부분의 전문들이 주요 주제를을 표현하기 위해서 조직화 된 특정 구조로 기술되고 있어, 텍스트 범주화에 대한 새로운 인식이 필요하게 되었다. 이러한 구조는 부주제(Sub-topic)의 텍스트 블록이나 문단(Passage) 단위의 나열로서 표현되는데, 이러한 구조 문서에 대한 부주제 구조를 반영하기 위해서 문단 단위(Passage-based) 문서 범주화 모델을 제안한다. 제안한 모델에서는 문서를 문단들로 분리하여 각각의 문단에 범주(Category)를 할당하고, 각 문단의 범주를 전체 문서의 범주로 병합하는 방법을 사용한다. 전형적인 문서 범주화와 비교할 때, 두 가지 부가적인 절차가 필요한데, 문단 분리와 문단 병합이 그것이다. 로이터(Reuter)의 4가지 하위 집합과 수십에서 수백 KB에 이르는 전문 테스트 컬렉션(KISTl-Theses)을 이용하여 실험하였는데, 다양한 문단 타입들의 효과와 범주 병합 과정에서의 문단 위치의 중요성에 초점을 맞추었다 실험한 결과 산술적(Window) 문단이 모든 테스트 컬렉션에 대해서 가장 좋은 성능을 보였다. 또한 문단은 문서 안의 위치에 따라 주요 주제에 기여하는 바가 다른 것으로 나타났다.

텍스트 마이닝을 이용한 기사 내 부적합 문단 검출 시스템 (Detecting Improper Sentences in a News Article Using Text Mining)

  • 김규완;신현주;김선진;이현아
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.294-297
    • /
    • 2017
  • SNS와 스마트기기의 발전으로 온라인을 통한 뉴스 배포가 용이해지면서 악의적으로 조작된 뉴스가 급속도로 생성되어 확산되고 있다. 뉴스 조작은 다양한 형태로 이루어지는데, 이 중에서 정상적인 기사 내에 광고나 낚시성 내용을 포함시켜 독자가 의도하지 않은 정보에 노출되게 하는 형태는 독자가 해당 내용을 진짜 뉴스로 받아들이기 쉽다. 본 논문에서는 뉴스 기사 내에 포함된 문단 중에서 부적합한 문단이 포함되었는지를 판정하기 위한 방법을 제안한다. 제안하는 방식에서는 자연어 처리에 유용한 Convolutional Neural Network(CNN)모델 중 Word2Vec과 tf-idf 알고리즘, 로지스틱 회귀를 함께 이용하여 뉴스 부적합 문단을 검출한다. 본 시스템에서는 로지스틱 회귀를 이용하여 문단의 카테고리를 분류하여 본문의 카테고리 분포도를 계산하고 Word2Vec을 이용하여 문단간의 유사도를 계산한 결과에 가중치를 부여하여 부적합 문단을 검출한다.

  • PDF

텍스트 마이닝을 이용한 기사 내 부적합 문단 검출 시스템 (Detecting Improper Sentences in a News Article Using Text Mining)

  • 김규완;신현주;김선진;이현아
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.294-297
    • /
    • 2017
  • SNS와 스마트기기의 발전으로 온라인을 통한 뉴스 배포가 용이해지면서 악의적으로 조작된 뉴스가 급속도로 생성되어 확산되고 있다. 뉴스 조작은 다양한 형태로 이루어지는데, 이 중에서 정상적인 기사 내에 광고나 낚시성 내용을 포함시켜 독자가 의도하지 않은 정보에 노출되게 하는 형태는 독자가 해당 내용을 진짜 뉴스로 받아들이기 쉽다. 본 논문에서는 뉴스 기사 내에 포함된 문단 중에서 부적합한 문단이 포함 되었는지를 판정하기 위한 방법을 제안한다. 제안하는 방식에서는 자연어 처리에 유용한 Convolutional Neural Network(CNN)모델 중 Word2Vec과 tf-idf 알고리즘, 로지스틱 회귀를 함께 이용하여 뉴스 부적합 문단을 검출한다. 본 시스템에서는 로지스틱 회귀를 이용하여 문단의 카테고리를 분류하여 본문의 카테고리 분포도를 계산하고 Word2Vec을 이용하여 문단간의 유사도를 계산한 결과에 가중치를 부여하여 부적합 문단을 검출한다.

  • PDF

탈이념의 사회상황 반영한 90년대 대표적 논쟁들

  • 박천홍
    • 출판저널
    • /
    • 통권253호
    • /
    • pp.11-11
    • /
    • 1999
  • 80년대 문단이 문학의 사회성과 예술성을 둘러싼 리얼리즘과 모더니즘의 선명한 대립선상에서 파악될 수 있다면, 이념의 깃발이 내려진 90년대 문단을 지배한 것은 문학(비평)의 위기와 상업주의의 악마적 질주에 대한 문학적 대응이라고 할 수 있다. 선명한 진영은 해체되고 위기의 담론이 넘쳤으며 문단 상업주의는 더욱 노골화됐다. 따라서 90년대는 '중심'을 상실해간 시대에 진정성의 문학이 놓일 자리를 찾는 잡음과 소음의 연대로 기록될 것이다.

  • PDF

개연성 규칙과 문장추상화를 활용한 문서요약 (Text Summarization with Abductive Rules and Sentence Abstraction)

  • 김곤;배재학
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.359-362
    • /
    • 2002
  • 본 논문에서는 문장추상화와 문장간 개연적 연결상황을 활용한 문단 기준의 문서요약을 생각하였다. 구상한 문단기준 문서요약 방법론은 다음과 같은 절차로 구성되어 있다: (1) 문단의 문장들을 추상화시킨다, (2) 문장구성성분들의 문장간 개연적 연결상황을 확인한다, (3) 연결집중도가 상대적으로 높은 문장을 문단의 화제를 담고 있는 것으로 인정한다. 본 논문에서는 이 과정에서 문장추상화에 필요한 구문분석기와 온톨로지를 구체화하였고, 문장추상기로 설화문장 추상화를 하였다. 그 후 개연성 규칙을 적용하여 문단의 주제문을 선별하였다.

  • PDF

키워드 가중치 기반 문단 추출 알고리즘 (Keyword Weight based Paragraph Extraction Algorithm)

  • 이종원;주상웅;이현주;정회경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.504-505
    • /
    • 2017
  • 기존의 형태소 분석기는 문서 내에 사용된 단어들을 분류한다. 이를 기반으로 문장과 문단을 추출하는 시스템이 개발되고 있으나 해당 문서를 압축하여 주요 문단을 추출하는 시스템은 매우 미흡한 실정이다. 본 논문에서 제안하는 알고리즘은 문서 내에 사용된 키워드들의 가중치를 계산하고 키워드를 포함한 문단들을 추출한다. 이는 해당 문서를 모두 읽지 않고 키워드가 포함된 문단들을 읽음으로써 문서를 이해하는 시간을 줄일 수 있다. 또한 검색에 사용된 키워드의 개수에 따라 추출되는 문단의 수가 다름으로 사용자는 기존 시스템에 비해 다양한 패턴의 검색이 가능하다.

  • PDF

인지정보처리의 개인차와 문단의 이해: 구조모형 연구 (The Effect of the Individual differences in Cognitive Processes on Paragraph Comprehension: Structural Equation Modeling)

  • 이윤형;권유안
    • 인지과학
    • /
    • 제23권4호
    • /
    • pp.487-515
    • /
    • 2012
  • 본 연구의 목적은 다양한 방식으로 개개인의 인지능력을 측정하고 문단 이해 능력을 살펴보는 것을 통해 문단이해에 영향을 미치는 인지정보처리 기제를 살펴보는 것이다. 이를 위하여 본 연구에서는 어휘판단 과제와 형태비교 과제를 사용하여 하위 인지능력을 측정하였고 숫자폭 과제, 작업폭 과제와 읽기폭 과제를 통하여 작업기억의 개인차를 측정하였다. 또한 논리적으로 유효한 추론과 유효하지 않은 추론의 처리 속도와 정확도를 살펴보는 것을 통해 고차 인지능력을 측정하였다. 문단이해 능력을 측정하기 위해서는 목표 문장 앞에 원인 문장이 있는 경우와 그렇지 않은 경우에 실험참여자들의 문장의 읽기 속도와 정확도를 측정하였다. 구조 모형을 통해 문단이해에 영향을 미치는 요인들을 살펴본 결과 하위 인지처리의 속도는 고차 인지처리의 속도와 상관이 있고 하위 인지처리의 정확도는 고차인지 처리의 정확도와 상관이 있었으나 고차 인지처리와 하위 인지처리에서 모두 속도와 정확도간의 상관은 나타나지 않았다. 또한 작업기억은 고차 인지처리 및 하위 인지처리의 정확도와는 상관이 있었으나 인지처리의 속도와는 상관이 없었다. 보다 중요하게 문단이해의 속도에는 하위 인지처리의 속도만이 영향을 미쳤지만 문단이해의 정확도에는 작업기억과 고차인지처리 기제가 영향을 미치는 것으로 나타났다. 문단이해의 속도는 문단이해의 정확도에 영향을 미치지 않았다.

  • PDF

문서 분석 기반 주요 요소 추출 시스템 (Document Analysis based Main Requisite Extraction System)

  • 이종원;여일연;정회경
    • 한국정보통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.401-406
    • /
    • 2019
  • 본 논문에서는 XML 형태의 논문이나 보고서로 작성된 문서를 분석하는 시스템을 제안한다. 논문이나 보고서에서 지정한 키워드를 추출하고 이를 사용자에게 보여준 뒤 사용자가 해당 문서 내에서 검색을 원하는 키워드를 입력하면 각 키워드들을 포함하고 있는 문단들을 추출한다. 시스템은 사용자가 입력한 키워드들의 빈도수를 확인하고 가중치를 계산한 뒤 가중치가 가장 낮은 키워드만을 포함한 문단들을 제거한다. 또한, 정제된 문단들을 10개의 영역으로 나눈 뒤 영역별 문단들의 중요도를 계산하고 각 영역들의 중요도를 비교하여 가장 높은 중요도를 갖는 주요 영역을 사용자에게 알려준다. 이러한 특징들로 인해 제안하는 시스템을 활용할 경우 기존의 문서 분석 시스템을 활용하여 논문이나 보고서를 분석하는 것보다 압축률이 높은 형태로 주요 문단들을 제공받을 수 있다. 이로 인해 문서를 이해하는데 필요한 시간을 줄일 수 있을 것으로 사료된다.

문단 가중치 분석 기반 본문 영역 선정 알고리즘 (Keyword Weight based Paragraph Extraction Algorithm)

  • 이종원;유성종;김도안;정회경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 춘계학술대회
    • /
    • pp.462-463
    • /
    • 2018
  • 기존의 문서 분석 시스템들은 형태소 분석기나 TF-IDF 기법을 통해 단어 위주의 분석을 진행하였다. 이러한 시스템들은 키워드들의 가중치를 계산하여 주요 키워드를 도출할 수 있는 장점이 있다. 이에 반해 문서의 내용을 분석하기에는 구조적인 한계로 인해 부적합한 실정이다. 이를 해결하기 위해 본 논문에서 제안하는 알고리즘은 문서 내에 있는 문단들의 가중치를 계산한 뒤 문단들을 영역별로 분할한다. 그리고 분할된 영역별로 중요도를 계산하여 해당 문서 내에 가장 중요한 문단들이 있는 영역을 사용자에게 알려준다. 이를 통해 사용자는 기존의 문서 분석 시스템들을 사용할 때보다 문서를 분석하기에 적합한 서비스를 제공받을 것으로 사료된다.

  • PDF

과학텍스트의 읽기 및 이해에 대한 결속장치의 선택적 영향 (The Selective Effect of Cohesive Devices on Scientific Text Reading and Comprehension)

  • 김세영;한광희;조숙환
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.226-232
    • /
    • 2001
  • 본 연구는 결속장치(cohesive devices)가 과학텍스트의 읽기 속도와 내용 이해에 끼치는 영향에 대해 연구하였다. 연구의 목적을 위한 실험을 통해서 먼저, 텍스트의 문단별 읽기 시간을 측정하여 온라인 처리 과정을 검토하였고, 둘째, 회상과 재인 검사를 실시하여 오프라인 상태에서의 이해도를 조사하였다. 이 연구의 재료로 사용된 텍스트는 번개 생성과정에 대한 과학텍스트로서, 반복, 지시사, 정박(anchoring), 인과적 접속사 등의 결속장치를 이용하여 응집성(coherence)의 강도를 높고, 낮게 조작하였다. 실험 결과, 결속장치가 길속장치의 종류와 지엽적 응집성의 강도에 따라 과학텍스트 읽기와 이해에 선택적으로 영향을 끼친다는 것을 발견하였다. 첫째, 인과적 접속사는 읽기 시간에는 영향을 주지 않는 반면, 이해를 촉진했는데, 이 긍정적 효과는 과제의 종류에 따라 다르게 나타났다. 즉, 회상 검사 결과에서는 인과적 접속사가 쓰인 모든 문단에서 유의한 차이가 나타났으나, 재인 검사에서는 유의한 차이가 부분적으로만 나타났다. 둘째, 반복 결속장치는 다른 결속장치와 같이 발생할 경우에만 읽기 시간과 이해를 부분적으로 촉진하는 것으로 나타났다. 셋째. 정박 결속장치의 영향은 읽기와 이해 두 처리 과정에 모두 선택적으로 영향을 준 것으로 나타났다. 인과적 접속사와 함께 쓰인 문단의 경우에는 회상 검사에서만, 반복 결속장치가 함께 쓰인 문단에서는 회상, 재인 검사에서 모두 긍정적 영향을 준 것으로 관찰되었다.

  • PDF