• 제목/요약/키워드: Text similarity

검색결과 277건 처리시간 0.028초

Does Cloned Template Text Compromise the Information Integrity of a Paper, and is it a New Form of Text Plagiarism?

  • Jaime A. Teixeira da Silva
    • International Journal of Knowledge Content Development & Technology
    • /
    • 제13권2호
    • /
    • pp.23-35
    • /
    • 2023
  • Word templates exist for select journals, and their primary objective is to facilitate submissions to those journals, thereby optimizing editors' and publishers' time and resources by ensuring that the desired style (e.g., of sections, references, etc.) is followed. However, if multiple unrelated authors use the exact same template, a risk exists that some text might be erroneously cloned if template-based papers are not carefully screened by authors, journal editors or proof copyeditors. Elsevier Procedia® was used as an example. Select cloned text, presumably derived from MS Word templates used for submissions to Elsevier Procedia® journals, was assessed using Science Direct. Typically, in academic publishing, identical text is screened using text similarity software during the submission process, and if detected, may be flagged as plagiarism. After searching for "heading should be left justified, bold, with the first letter capitalized", 44 Elsevier Procedia® papers were found to be positive for vestigial template text. The integrity of the information in these papers has been compromised, so these errors should be corrected with an erratum, or in the case of extensive errors and vast tracts (e.g., pages long) of template text, papers should be retracted and republished.

위치기반 유사도 검증을 이용한 도로표지 안내지명 자동인식 개선방안 연구 (A Study on the Improvement of Automatic Text Recognition of Road Signs Using Location-based Similarity Verification)

  • 정규수
    • 한국ITS학회 논문지
    • /
    • 제18권6호
    • /
    • pp.241-250
    • /
    • 2019
  • 도로표지는 도로 이용자를 위한 시설물로서 관리 및 유지보수의 편의성 증진을 위해 국토교통부에서는 관리시스템을 구축하여 운영 중에 있다. 향후 자율주행 시대에 도로표지의 역할은 감소하겠지만 그 필요성은 지속되고 있다. 이에 도로표지에 표기된 안내지명의 정확한 기계적 판독을 위해 도로표지 자동인식 장비를 개발하여 영상 기반의 문자 인식 기술을 적용하고 있지만 불규칙적인 규격과 수작업 제조, 조도, 빛반사, 강우 등 외부환경에 의해 오인식되는 경우가 다수 발생하고 있다. 본 연구에서는 영상 분석 등으로 극복할 수 없는 오인식 결과를 개선하기 위해 위치기반의 안내지명 후보를 도출하여 기준으로 하고, 오인식된 지명의 음소 분리를 통한 레벤슈타인 문자 유사도 검증 방법을 이용해 도로표지 안내지명 자동인식율을 개선하고자 하였다.

Route matching delivery recommendation system using text similarity

  • Song, Jeongeun;Song, Yoon-Ah
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.151-160
    • /
    • 2022
  • 본 연구에서는 급증하는 배송 서비스 수요에 맞춰 더 신속하고 최저 비용으로 근거리 배송을 가능하게 하는 알고리즘을 제안하고자 한다. 본 연구에서 제안하는 알고리즘에서는 배송원으로 지하철 승객을 물류 이동에 참여시킨다. 이때 승객은 이동 경로와 일치하는 배송 물류를 선택할 수 있다. 그리고 서비스 이용자의 입장에서는 현재 근처에 경로가 일치하는 배송원을 선택할 수 있다. 이때 배송원 추천은 TF-IDF&N-gram과 BERT를 결합한 텍스트 유사도 측정 방식으로 진행된다. 따라서 기존 택배 시스템과 달리 소비자-배송원 간의 man-to-man 방식으로 양방향 선택을 지원한다. 탑승 중인 승객을 물류 이동에 참여시킨다는 점에서 비용 최소화와 배송 기간 단축을 모두 보장할 수 있다. 더하여 운송 측면에서도 특별한 기술을 요하지 않으므로, 일자리 입지가 축소된 노동자들에게 경제 참여 기회를 제공할 수 있다는 점에서도 의의가 있다.

딥러닝을 위한 텍스트 전처리에 따른 단어벡터 분석의 차이 연구 (Study on Difference of Wordvectors Analysis Induced by Text Preprocessing for Deep Learning)

  • 고광호
    • 문화기술의 융합
    • /
    • 제8권5호
    • /
    • pp.489-495
    • /
    • 2022
  • 언어모델(Language Model)을 구축하기 위한 딥러닝 기법인 LSTM의 경우 학습에 사용되는 말뭉치의 전처리 방식에 따라 그 결과가 달라진다. 본 연구에서는 유명한 문학작품(기형도의 시집)을 말뭉치로 사용하여 LSTM 모델을 학습시켰다. 원문을 그대로 사용하는 경우와 조사/어미 등을 삭제한 경우에 따라 상이한 단어벡터 세트를 각각 얻을 수 있다. 이러한 전처리 방식에 따른 유사도/유추 연산 결과, 단어벡터의 평면상의 위치 및 언어모델의 텍스트생성 결과를 비교분석했다. 문학작품을 말뭉치로 사용하는 경우, 전처리 방식에 따라 연산된 단어는 달라지지만, 단어들의 유사도가 높고 유추관계의 상관도가 높다는 것을 알 수 있었다. 평면상의 단어 위치 역시 달라지지만 원래의 맥락과 어긋나지 않았고, 생성된 텍스트는 원래의 분위기와 비슷하면서도 이색적인 작품으로 감상할 수 있었다. 이러한 분석을 통해 문학작품을 객관적이고 다채롭게 향유할 수 있는 수단으로 딥러닝 기법의 언어모델을 활용할 수 있다고 판단된다.

A Tracking Method of Same Drug Sales Accounts through Similarity Analysis of Instagram Profiles and Posts

  • Eun-Young Park;Jiyeon Kim;Chang-Hoon Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권2호
    • /
    • pp.109-118
    • /
    • 2024
  • 전 세계 소셜 미디어 사용자가 증가하면서 다양한 범죄의 수단으로 소셜 미디어가 악용되는 사례가 증가하고 있다. 특히, 소셜 미디어를 통한 마약 유통은 마약 판매자와 소비자의 높은 접근성으로 인해 청소년들의 마약 호기심을 자극하고, 구매를 용이하게 한다는 점에서 심각한 사회문제로 대두되고 있다. 본 논문에서는 다양한 소셜 미디어 중, 국내 19세에서 24세 청소년이 가장 많이 사용하는 인스타그램을 대상으로 프로필 사진, 소개글, 게시물 사진과 게시글을 수집하고, 각 정보의 유사도 분석을 통해 수집한 다수의 계정을 활용하여 마약을 유통하는 마약사범 추적 기술을 개발한다. 4개 수집 정보 중, 이미지 형태의 프로필 사진 및 게시물 사진은 SSIM(Structural Similarity Index Measure) 기반으로 유사도를 분석하고, 텍스트 형태의 소개글 및 게시글은 자카드 유사도 및 코사인 유사도 기법을 사용하여 유사도를 분석한다. 이와 같은 유사도 분석을 통해, 각 수집 정보별 계정 간의 유사도를 측정할 수 있으며 유의수준 이상의 유사성을 갖는 계정들에 대해 동일 마약 유통 계정으로 판단할 수 있다. 또한, 수집한 4개 정보에 대해 로지스틱 회귀분석을 수행하여 게시물 사진을 제외한 프로필 사진, 소개글, 게시글이 동일 마약 판매 계정을 추적하는 데에 유효한 정보임을 확인하였다.

환자의 주관적 증상 텍스트에 대한 진료과목 분류 모델 구축 (Classification Modeling for Predicting Medical Subjects using Patients' Subjective Symptom Text)

  • 이서희;강주영
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.51-62
    • /
    • 2021
  • 의료 인공지능 분야에서 의사의 판단에 도움을 줄 수 있는 질환 예측 및 분류 알고리즘에 대해선 많은 연구가 이뤄져왔지만, 의료 소비자의 정보 획득과 판단에 도움을 줄 수 있는 인공지능에 대해선 상대적으로 관심이 적다. 네이버 지식인에 지난 1년 간 자신의 증상엔 어떤 병원을 가야할 지 질문하는 질문 건수만 해도 15만 건이 넘는다는 사실은 의료소비자들에게 적합한 의료정보의 제공이 필요하다는 반증이기도 하다. 따라서 본 연구에선 의료소비자들이 자신의 증상에 대한 진료과목을 선택하는데 도움을 줄 수 있도록 네이버 지식인에서 환자들이 직접 서술한 증상 텍스트를 수집하여 8개 진료과목을 분류하는 분류모델을 구축했다. 우선 환자의 주관이 개입된 데이터의 타당성과 객관성을 확보하기 위해 객관적 증상 텍스트(서울응급의료 정보센터에서 정리한 진료과목 별 주요 질환 증상)와 주관적 증상 텍스트(지식인 데이터) 간 유사도 측정을 수행하였다. 유사도 측정 결과, 두 텍스트가 동일한 진료과목의 증상일 경우 상이한 진료과목의 증상 텍스트에 비해 상대적으로 높은 유사성을 가진다는 것을 입증했다. 상기 절차를 따라 타당성을 확보한 주관적 증상 텍스트를 대상으로 릿지회귀모델을 사용하여 분류모델을 구축한 결과 0.73의 정확도를 확보할 수 있었다.

RawNet3를 통해 추출한 화자 특성 기반 원샷 다화자 음성합성 시스템 (One-shot multi-speaker text-to-speech using RawNet3 speaker representation)

  • 한소희;엄지섭;김회린
    • 말소리와 음성과학
    • /
    • 제16권1호
    • /
    • pp.67-76
    • /
    • 2024
  • 최근 음성합성(text-to-speech, TTS) 기술의 발전은 합성음의 음질을 크게 향상하였으며, 사람의 음성에 가까운 합성음을 생성할 수 있는 수준에 이르렀다. 특히, 다양한 음성 특성과 개인화된 음성을 제공하는 TTS 모델은 AI(artificial intelligence) 튜터, 광고, 비디오 더빙과 같은 분야에서 널리 활용되고 있다. 따라서 본 논문은 훈련 중 보지 않은 화자의 발화를 사용하여 음성을 합성함으로써 음향적 다양성을 보장하고 개인화된 음성을 제공하는 원샷 다화자 음성합성 시스템을 제안했다. 이 제안 모델은 FastSpeech2 음향 모델과 HiFi-GAN 보코더로 구성된 TTS 모델에 RawNet3 기반 화자 인코더를 결합한 구조이다. 화자 인코더는 목표 음성에서 화자의 음색이 담긴 임베딩을 추출하는 역할을 한다. 본 논문에서는 영어 원샷 다화자 음성합성 모델뿐만 아니라 한국어 원샷 다화자 음성합성 모델도 구현하였다. 제안한 모델로 합성한 음성의 자연성과 화자 유사도를 평가하기 위해 객관적인 평가 지표와 주관적인 평가 지표를 사용하였다. 주관적 평가에서, 제안한 한국어 원샷 다화자 음성합성 모델의 NMOS(naturalness mean opinion score)는 3.36점이고 SMOS(similarity MOS)는 3.16점이었다. 객관적 평가에서, 제안한 영어 원샷 다화자 음성합성 모델과 한국어 원샷 다화자 음성합성 모델의 P-MOS(prediction MOS)는 각각 2.54점과 3.74점이었다. 이러한 결과는 제안 모델이 화자 유사도와 자연성 두 측면 모두에서 비교 모델들보다 성능이 향상되었음을 의미한다.

주제 균형 지능형 텍스트 요약 기법 (Subject-Balanced Intelligent Text Summarization Scheme)

  • 윤여일;고은정;김남규
    • 지능정보연구
    • /
    • 제25권2호
    • /
    • pp.141-166
    • /
    • 2019
  • 최근 다양한 매체를 통해 생성되는 방대한 양의 텍스트 데이터를 효율적으로 관리 및 활용하기 위한 방안으로써 문서 요약에 대한 연구가 활발히 진행되고 있다. 특히 최근에는 기계 학습 및 인공 지능을 활용하여 객관적이고 효율적으로 요약문을 도출하기 위한 다양한 자동 요약 기법이(Automatic Summarization) 고안되고 있다. 하지만 현재까지 제안된 대부분의 텍스트 자동 요약 기법들은 원문에서 나타난 내용의 분포에 따라 요약문의 내용이 구성되는 방식을 따르며, 이와 같은 방식은 비중이 낮은 주제(Subject), 즉 원문 내에서 언급 빈도가 낮은 주제에 대한 내용이 요약문에 포함되기 어렵다는 한계를 갖고 있다. 본 논문에서는 이러한 한계를 극복하기 위해 저빈도 주제의 누락을 최소화하는 문서 자동 요약 기법을 제안한다. 구체적으로 본 연구에서는 (i) 원문에 포함된 다양한 주제를 식별하고 주제별 대표 용어를 선정한 뒤 워드 임베딩을 통해 주제별 용어 사전을 생성하고, (ii) 원문의 각 문장이 다양한 주제에 대응되는 정도를 파악하고, (iii) 문장을 주제별로 분할한 후 각 주제에 해당하는 문장들의 유사도를 계산한 뒤, (iv) 요약문 내 내용의 중복을 최소화하면서도 원문의 다양한 내용을 최대한 포함할 수 있는 자동적인 문서 요약 기법을 제시한다. 제안 방법론의 평가를 위해 TripAdvisor의 리뷰 50,000건으로부터 용어 사전을 구축하고, 리뷰 23,087건에 대한 요약 실험을 수행한 뒤 기존의 단순 빈도 기반의 요약문과 주제별 분포의 비교를 진행하였다. 실험 결과 제안 방법론에 따른 문서 자동 요약을 통해 원문 내각 주제의 균형을 유지하는 요약문을 도출할 수 있음을 확인하였다.

An Improved K-means Document Clustering using Concept Vectors

  • Shin, Yang-Kyu
    • Journal of the Korean Data and Information Science Society
    • /
    • 제14권4호
    • /
    • pp.853-861
    • /
    • 2003
  • An improved K-means document clustering method has been presented, where a concept vector is manipulated for each cluster on the basis of cosine similarity of text documents. The concept vectors are unit vectors that have been normalized on the n-dimensional sphere. Because the standard K-means method is sensitive to initial starting condition, our improvement focused on starting condition for estimating the modes of a distribution. The improved K-means clustering algorithm has been applied to a set of text documents, called Classic3, to test and prove efficiency and correctness of clustering result, and showed 7% improvements in its worst case.

  • PDF

강인한 정합과정을 이용한 텍스트 종속 화자인식에 관한 연구 (A study on the text-dependent speaker recognition system Using a robust matching process)

  • 이한구;이기성
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2002년도 합동 추계학술대회 논문집 정보 및 제어부문
    • /
    • pp.605-608
    • /
    • 2002
  • A text-dependent speaker recognition system using a robust matching process is studied. The feature histogram of LPC cepstral coefficients for matching is used. The matching process uses mixture network with penalty scores. Using probability and shape comparison of two feature histograms, similarity values are obtained. The experiment results will be shown to show the effectiveness of the proposed algorithm.

  • PDF