• 제목/요약/키워드: sentence processing

검색결과 323건 처리시간 0.028초

지연된 자극 제시가 실어증 환자의 문장 이해에 미치는 영향: 반응정확도와 반응시간을 중심으로 (The Effects of Increased Processing Demands on the Sentence Comprehension of Korean-speaking Adults with Aphasia)

  • 최소영
    • 말소리와 음성과학
    • /
    • 제4권2호
    • /
    • pp.127-134
    • /
    • 2012
  • The purpose of this study is to present evidence for a particular processing approach based on the language-specific characteristics of Korean. To compare individuals' sentence-comprehension abilities, this study measured the accuracy and reaction times (RT) of 12 aphasic patients (AP) and 12 normal controls (NC) during a sentence-picture matching task. Four versions of a sentence were constructed with the two types of voice (active/passive) and two types of word order (agent-first/patient-first). To examine the effects of increased processing demand, picture stimuli were manipulated in such a way that they appeared immediately after the sentence was presented. As expected, the AP group showed higher error rates and longer RT for all conditions than the NC group. Furthermore, Korean speakers with aphasia performed above a chance level in sentence comprehension, even with passive sentences. Aphasics understood sentences more quickly and accurately when they were given in the active voice and with agent-first order. The patterns of the NC group were similar. These results confirm that Korean adults with aphasia do not completely lose their knowledge of sentence comprehension. When the processing demand was increased by delaying the picture stimulus onset, the effect of increased processing demands on RT was more pronounced in the AP than in the NC group. These findings fit well with the idea that the computational system for interpreting sentences is intact in aphasics, but its ability is compromised when processing demands increase.

SSF: Sentence Similar Function Based on word2vector Similar Elements

  • Yuan, Xinpan;Wang, Songlin;Wan, Lanjun;Zhang, Chengyuan
    • Journal of Information Processing Systems
    • /
    • 제15권6호
    • /
    • pp.1503-1516
    • /
    • 2019
  • In this paper, to improve the accuracy of long sentence similarity calculation, we proposed a sentence similarity calculation method based on a system similarity function. The algorithm uses word2vector as the system elements to calculate the sentence similarity. The higher accuracy of our algorithm is derived from two characteristics: one is the negative effect of penalty item, and the other is that sentence similar function (SSF) based on word2vector similar elements doesn't satisfy the exchange rule. In later studies, we found the time complexity of our algorithm depends on the process of calculating similar elements, so we build an index of potentially similar elements when training the word vector process. Finally, the experimental results show that our algorithm has higher accuracy than the word mover's distance (WMD), and has the least query time of three calculation methods of SSF.

Joint Hierarchical Semantic Clipping and Sentence Extraction for Document Summarization

  • Yan, Wanying;Guo, Junjun
    • Journal of Information Processing Systems
    • /
    • 제16권4호
    • /
    • pp.820-831
    • /
    • 2020
  • Extractive document summarization aims to select a few sentences while preserving its main information on a given document, but the current extractive methods do not consider the sentence-information repeat problem especially for news document summarization. In view of the importance and redundancy of news text information, in this paper, we propose a neural extractive summarization approach with joint sentence semantic clipping and selection, which can effectively solve the problem of news text summary sentence repetition. Specifically, a hierarchical selective encoding network is constructed for both sentence-level and document-level document representations, and data containing important information is extracted on news text; a sentence extractor strategy is then adopted for joint scoring and redundant information clipping. This way, our model strikes a balance between important information extraction and redundant information filtering. Experimental results on both CNN/Daily Mail dataset and Court Public Opinion News dataset we built are presented to show the effectiveness of our proposed approach in terms of ROUGE metrics, especially for redundant information filtering.

언어 정보가 반영된 문장 점수를 활용하는 삭제 기반 문장 압축 (Deletion-Based Sentence Compression Using Sentence Scoring Reflecting Linguistic Information)

  • 이준범;김소언;박성배
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권3호
    • /
    • pp.125-132
    • /
    • 2022
  • 문장 압축은 원본 문장의 중요한 의미는 유지하면서 길이가 축소된 압축 문장을 생성하는 자연어처리 태스크이다. 문법적으로 적절한 문장 압축을 위해, 초기 연구들은 사람이 정의한 언어 규칙을 활용하였다. 또한 시퀀스-투-시퀀스 모델이 기계 번역과 같은 다양한 자연어처리 태스크에서 좋은 성능을 보이면서, 이를 문장 압축에 활용하고자 하는 연구들도 존재했다. 하지만 언어 규칙을 활용하는 연구의 경우 모든 언어 규칙을 정의하는 데에 큰 비용이 들고, 시퀀스-투-시퀀스 모델 기반 연구의 경우 학습을 위해 대량의 데이터셋이 필요하다는 문제점이 존재한다. 이를 해결할 수 있는 방법으로 사전 학습된 언어 모델인 BERT를 활용하는 문장 압축 모델인 Deleter가 제안되었다. Deleter는 BERT를 통해 계산된 perplexity를 활용하여 문장을 압축하기 때문에 문장 압축 규칙과 모델 학습을 위한 데이터셋이 필요하지 않다는 장점이 있다. 하지만 Deleter는 perplexity만을 고려하여 문장을 압축하기 때문에, 문장에 속한 단어들의 언어 정보를 반영하여 문장을 압축하지 못한다. 또한, perplexity 측정을 위한 BERT의 사전 학습에 사용된 데이터가 압축 문장과 거리가 있어, 이를 통해 측정된 perplexity가 잘못된 문장 압축을 유도할 수 있다는 문제점이 있다. 이를 해결하기 위해 본 논문은 언어 정보의 중요도를 수치화하여 perplexity 기반의 문장 점수 계산에 반영하는 방법을 제안한다. 또한 고유명사가 자주 포함되어 있으며, 불필요한 수식어가 생략되는 경우가 많은 뉴스 기사 말뭉치로 BERT를 fine-tuning하여 문장 압축에 적절한 perplexity를 측정할 수 있도록 하였다. 영어 및 한국어 데이터에 대한 성능 평가를 위해 본 논문에서 제안하는 LI-Deleter와 비교 모델의 문장 압축 성능을 비교 실험을 진행하였고, 높은 문장 압축 성능을 보임을 확인하였다.

한국어 문장이해를 위한 가변패턴네트의 구성과 응용 (Construction of Variable Pattern Net for Korean Sentence Understanding and Its Application)

  • 한광록
    • 한국정보처리학회논문지
    • /
    • 제2권2호
    • /
    • pp.229-236
    • /
    • 1995
  • 문장의 개념세계는 체언과 용언으로서 이루어 진다. 문장의 의미적 중심은 용언 이고, 체언은 용언의 구속을 받으며, 이들은 다양하게 결합한다. 본 논문은 한국어의 문에서 체언과 용어의 결합관계를 분석하고, 형태소 해석의 결과로부터 도출한 구 단 위문을 가변패턴네트를 구성함으로써 구문 및 의미해석을 하여 절형식의 개념단위를 추출한다. 또한 종래의 제한된 혼절 이론을 일반문에 확장하고, 장문을 단문으로 자동 분리하여 논리적인 개념단위의 절 형식으로서 지식베이스를 구축하고 질문응답시스템 으로의 응용을 시도하였다.

  • PDF

다국어 정보처리를 위한 불어 전처리에 관한 연구 (Preprocessing of the French Sentence for Multilingual Information Processing)

  • 서래원;박세원;유성준
    • 한국정보처리학회논문지
    • /
    • 제7권4호
    • /
    • pp.1132-1140
    • /
    • 2000
  • The purpose of this paper was to present the method of progress efficiency of morphosyntaxical analyzer for French information processing in the view of multilingual information processing. This study indicated that he method prohibit the additional useless word type by decomposing word type by decomposing works which were created by morphological amalgamation. Findings also suggested the need of preprocessing in order to decrease the overload of morphosyntaxical analysis algorithm. In addition, general rules were proposed to divide word form and to decompose complex sentence.

  • PDF

An Innovative Approach of Bangla Text Summarization by Introducing Pronoun Replacement and Improved Sentence Ranking

  • Haque, Md. Majharul;Pervin, Suraiya;Begum, Zerina
    • Journal of Information Processing Systems
    • /
    • 제13권4호
    • /
    • pp.752-777
    • /
    • 2017
  • This paper proposes an automatic method to summarize Bangla news document. In the proposed approach, pronoun replacement is accomplished for the first time to minimize the dangling pronoun from summary. After replacing pronoun, sentences are ranked using term frequency, sentence frequency, numerical figures and title words. If two sentences have at least 60% cosine similarity, the frequency of the larger sentence is increased, and the smaller sentence is removed to eliminate redundancy. Moreover, the first sentence is included in summary always if it contains any title word. In Bangla text, numerical figures can be presented both in words and digits with a variety of forms. All these forms are identified to assess the importance of sentences. We have used the rule-based system in this approach with hidden Markov model and Markov chain model. To explore the rules, we have analyzed 3,000 Bangla news documents and studied some Bangla grammar books. A series of experiments are performed on 200 Bangla news documents and 600 summaries (3 summaries are for each document). The evaluation results demonstrate the effectiveness of the proposed technique over the four latest methods.

Self-Attention을 적용한 문장 임베딩으로부터 이미지 생성 연구 (A Study on Image Generation from Sentence Embedding Applying Self-Attention)

  • 유경호;노주현;홍택은;김형주;김판구
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.63-69
    • /
    • 2021
  • 사람이 어떤 문장을 보고 그 문장에 대해 이해하는 것은 문장 안에서 주요한 단어를 이미지로 연상시켜 그 문장에 대해 이해한다. 이러한 연상과정을 컴퓨터가 할 수 있도록 하는 것을 text-to-image라고 한다. 기존 딥 러닝 기반 text-to-image 모델은 Convolutional Neural Network(CNN)-Long Short Term Memory(LSTM), bi-directional LSTM을 사용하여 텍스트의 특징을 추출하고, GAN에 입력으로 하여 이미지를 생성한다. 기존 text-to-image 모델은 텍스트 특징 추출에서 기본적인 임베딩을 사용하였으며, 여러 모듈을 사용하여 이미지를 생성하므로 학습 시간이 오래 걸린다. 따라서 본 연구에서는 자연어 처리분야에서 성능 향상을 보인 어텐션 메커니즘(Attention Mechanism)을 문장 임베딩에 사용하여 특징을 추출하고, 추출된 특징을 GAN에 입력하여 이미지를 생성하는 방법을 제안한다. 실험 결과 기존 연구에서 사용되는 모델보다 inception score가 높았으며 육안으로 판단하였을 때 입력된 문장에서 특징을 잘 표현하는 이미지를 생성하였다. 또한, 긴 문장이 입력되었을 때에도 문장을 잘 표현하는 이미지를 생성하였다.

Sentence-BERT를 활용한 YouTube 가짜뉴스 탐지 시스템 연구 (A Study On YouTube Fake News Detection System Using Sentence-BERT)

  • 김범중;허지혜;이협건;김영운
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.667-668
    • /
    • 2023
  • IT 기술의 발달로 인해 뉴스를 제공하는 플랫폼들이 다양해 졌고 최근 해외 인터뷰 영상, 해외 뉴스를 Youtube Shorts형태로 제작하여 화자의 의도와는 다른 자막을 달며 가짜 뉴스가 생성되는 문제가 대두되고 있다. 이에 본 논문에서는 Sentence-BERT를 활용한 YouTube 가짜 뉴스 탐지 시스템을 제안한다. 제안하는 시스템은 Python 라이브러리를 사용해 유튜브 영상에서 음성과 영상 데이터를 분류하고 분류된 영상 데이터는 EasyOCR을 사용해 자막 데이터를 텍스트로 추출 후 Sentence-BERT를 활용해 문자 유사도를 분석한다. 분석결과 음성 데이터와 영상 자막 데이터가 일치한 경우 일치하지 않은 경우보다 약 62% 더 높은 문장 유사도를 보였다.

문장논리규칙의 컴퓨터프로세싱을 위한 연구 (A Study on the Computer­Aided Processing of Sentence­Logic Rule)

  • 금교영;김정미
    • 철학연구
    • /
    • 제139권
    • /
    • pp.1-21
    • /
    • 2016
  • 문장 서술의 일관성이나 진 위를 신속 정확히 파악하기 위해서 컴퓨터의 힘을 빌릴 수 있다. 따라서 문장논리의 컴퓨터프로세싱으로 문장 전체 서술의 일관성이나 진 위를 신속 정확히 파악하기 위한 연구가 있을 만하다. 이런 필요에 따라 본 연구에서는 컴퓨터프로세싱과정을 기획하고, 그 프로세싱에 필요한 테이블을 작성하고, 그리고 5개 논리규칙의 테이블을 우선 개발하여 활성화해본다. 그래서 차후 연구에서 10개의 기본추론규칙과 11개의 파생추론규칙 각각의 테이블을 개발하고, 그 다음 개발된 테이블들을 활성화하여 구축한 DB 위에 서버 프로그래밍 JSP와 클라이언트 프로그래밍 JAVA를 이용하여 문장논리규칙을 프로세싱하는 토대를 마련한다. 2장에서 프로세싱과정의 기획은 먼저 논리연산테이블을 탐색해서 논리규칙과 추론규칙을 공식으로 구분하고, 공식에 사용할 조합을 구분해서 순번으로 열거하는 작업을 하도록 하여, 변수 테이블, 논리기호 테이블, 입력처리 테이블을 작성한다. 그래서 차후 연구에서 주어부와 술어부를 활성화한 DB 위에 서버 프로그래밍 JSP와 클라이언트 프로그래밍 JAVA를 이용하여 문장의 참 거짓을 판명하도록 준비한다. 3장에서는 2장에서 작성 준비한 테이블을 참고해서 문장논리를 위해 명제적 계산, 문장논리 계산 혹은 진술논리 계산에 사용되는 5개의 논리규칙 즉, 이중부정규칙, 드모르간규칙, 교환규칙, 결합규칙 그리고 분배규칙 모두의 테이블을 개발하고, 마지막 4장에서는 개발한 테이블의 활성화로 DB 구축과 더불어 논리규칙 프로세싱하는 단계까지 이론적 구상을 해본다.