• 제목/요약/키워드: 다국어 문서

검색결과 25건 처리시간 0.024초

KoCheckGPT: 한국어 초거대언어모델 작성 글 판별기 (KoCheckGPT: Korean LLM written document detector)

  • 강명훈;이정섭;이승윤;홍성태;박정배;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.432-436
    • /
    • 2023
  • 초거대언어모델(LLM)의 도래에 따라 다양한 과업들이 도메인 관계 없이 제로샷으로 추론이 가능해짐에 따라서 LLM이 다양한 산업분야에 적용되고 있다. 대표적으로 ChatGPT와 GPT-4는 상용 API로 서비스를 제공하여 용이한 서비스 접근으로 다양한 이용층을 끌어들이고 있다. 그러나 현재 상용 API로 제공되고 있는 ChatGPT 및 GPT-4는 사용자의 대화 내역 데이터를 수집해 기업의 보안 문제를 야기할 수 있고 또한 생성된 결과물의 환각 문제로 인한 기업 문서의 신뢰성 저하를 초래할 수 있다. 특히 LLM 생성 글은 인간의 글과 유사한 수준으로 유창성을 확보한만큼 산업현장에서 LLM 작성 글이 판별되지 못할 경우 기업 활동에 큰 제약을 줄 수 있다. 그러나 현재 한국어 LLM 작성 글 탐지 서비스가 전무한 실정이다. 본 논문에서는 한국어 초거대언어모델 작성 글 판별기: KoCheckGPT 를 제안한다.KoCheckGPT는 산업현장에서 자주 사용되는 문어체, 개조식 글쓰기로 작성된 문서 도메인을 목표로 하여 글 전체와 문장 단위의 판별 정보를 결합하여 주어진 문서의 LLM 작성 여부를 효과적으로 판별한다. 다국어 LLM 작성 글 판별기 ZeroGPT와의 비교 실험 결과 KoCheckGPT는 우수한 한국어 LLM 작성 글 탐지 성능을 보였다.

  • PDF

Non-First Normal Form에 입각한 eBook Annotation 온톨로지의 설계와 구현 (Design and Implementation of eBook Annotation Ontology Based on Non-First Normal Form)

  • 신성욱;김종석;임순범;최윤철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.361-363
    • /
    • 2005
  • 본 연구에서는 온라인 다중 사용자 환경의 eBook 어노테이션 시스템 개발에서 데이터를 의미 기반으로 관리하고, 데이터에 대하여 상호 공통적인 이해를 표현하며, 그리고 데이터에 대한 무결성 검사 등을 지원하기 위해서 eBook 어노테이션 온톨로지를 구축하였다. eBook 어노테이션 테이터에 대한 상호 공통적인 이해의 표현을 위해서 한국 전자책 문서 표준인 EBKS(Electronic Book of Korea Standard)를 기반으로 구축 하였으며 구축된 온톨로지는 Conceptual Graph(CG)를 사용하여 표현하였다. 의미 기반의 처리를 위해서 본 온톨로지에서는 다국어(Multilingua) 관계를 고려하였으며 또한 오노테이션 데이터 생성 시 중요도를 표현하기 위해서 중요성 axiom을 고려했고, $NF^2$(Non-First Normal Form)에 입각하여 온톨로지를 설계함으로서 어노테이션 데이터의 검색에 활용도를 높였다. 제안된 온톨로지는 어노테이션 데이터의 재사용성을 높일 수 있고 의미 정보를 활용함으로써 eLearning, cyberclass과 같은 다중 사용자 환경에서 효과적인 협업을 가능하게 한다. 본 연구에서는 구현한 eBook annotation 시스템은 구축한 온톨로지를 사용함으로써 의미 기반의 데이터 관리가 가능하다. 또한 어노테이션 생성 시 온톨로지 구조를 모르더라도 어노테이션을 생성할 수 있는 인터페이스를 구현하였다.

  • PDF

RFID를 이용한 언어 학습기의 설계 및 구현 (Design and Implementation of Language Learning Device by Using RFID)

  • 최광원;김남형;박진웅;유영준;안정호;김진환;박찬영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.3-5
    • /
    • 2010
  • 최근 학습 패러다임은 문서 중심에서 지식 및 정보 기반으로 크게 변화하고 있다. 또한 유비쿼터스 사회로의 전환을 맞이하여 다양한 USN 기술 기반의 학습 연구가 활발히 진행 중이다. 그 중 RFID 기술 기반의 학습 연구에서는 대부분 유비쿼터스 학습 환경 구축에 관한 연구가 주를 이루고 있다. 따라서 실질적인 학습에 적용하는 연구의 결과는 미미하다. 본 논문에서는 RFID기술 기반의 다국어 학습기를 구현하였다. 태그를 인식하여 특정 사물을 사용자로 하여금 모국어뿐만 아니라 다국어로도 변역하여 여러 가지 언어들을 학습할 수 있게 지원하는 장치이다. 실험에서는 13.56Mhz의 RFID 및 PXA255A ARM보드 사용하여 학습기를 제작하여 효율성 테스트를 하였다.

과도한 지식을 요구하지 않는 공통기반축에 의한 용어 번역과 한영 교차정보검색에의 응용 (Knowledge-poor Term Translation using Common Base Axis with application to Korean-English Cross-Language Information Retrieval)

  • 최용석;최기선
    • 인지과학
    • /
    • 제14권1호
    • /
    • pp.29-40
    • /
    • 2003
  • 교차언어 정보검색은 다국어 정보검색의 일부분으로 질의어에서 사용하는 언어와 검색대상인 문서의 언어가 서로 다른 경우의 정보검색을 의미한다. 교차언어 정보검색의 성능 향상을 위해서는 양질의 언어자원이 대량으로 필요한 경우가 많기 때문에 이를 해결하기 쉽지 않다. 본 논문에서는 사전에 기반한 대역어 후보 선정 시, 가중치를 부여해 질의어를 변환하는 방식을 제안한다. 가중치 계산에 이용되는 의미거리는 영어 명사와 한국어 명사를 같은 벡터 공간에 표현하고, 두 벡터간의 관계를 이용해 거리를 계산한다. 서로 다른 두 언어의 명사를 한 공간에 표현하기 위해 "공통 기반축"의 개념을 제시하고, 구축 방법을 제안한다. 고급 자원인 온톨로지를 확보하지 않고, 제안하는 방법으로 우수한 정보검색 결과를 얻을 수 있다는 것을 실험을 통해 보여준다.을 통해 보여준다.

  • PDF

검색 재순위화를 위한 가중치 반영 딥러닝 학습 모델 (Search Re-ranking Through Weighted Deep Learning Model)

  • 안기택;최우석;박준용;박정민;이경순
    • 정보처리학회 논문지
    • /
    • 제13권5호
    • /
    • pp.221-226
    • /
    • 2024
  • 정보검색에서 질의는 다양한 유형이 존재한다. 추상적인 질의부터 구체적인 키워드를 포함하는 질의까지 다양한 형태로 구성되어 있어서 사용자의 요구에 정확한 결과 도출은 어려운 과제이다. 또한 검색시스템이 오타, 다국어, 코드와 같은 다양한 요소를 포함하는 질의를 다뤄야 하는 특징이 존재한다. 본 연구에서는 질의 유형을 분석하고, 이에 따라 딥러닝 기반 재순위화의 적용 여부를 결정하는 방법을 제안한다. 최근 연구에서 높은 성능을 보인 딥러닝 모델인 DeBERTa를 이용하여 질의에 대한 적합 문서의 학습을 통해 재순위화를 수행한다. 제안 방법의 유효성을 평가하기 위해 국제정보검색 평가대회인 TREC 2023의 상품 검색 트랙(Product Search Track) 테스트컬렉션을 이용하여 실험을 하였다. 실험 결과에 대한 정규화된 할인누적이득(NDCG) 성능측정 비교에서 제안 방법이 정보검색 기본 모델인 BM25 에 비해 질의 오류 처리를 통한 검색, 잠정적 적합성피드백을 통한 상품제목 기반 질의확장과 질의유형에 따른 재순위화에서 0.7810으로 BM25 대비 10.48% 향상을 보였다.