• 제목/요약/키워드: 자연어

검색결과 1,207건 처리시간 0.027초

Research on analysis of articleable advertisements and design of extraction method for articleable advertisements using deep learning

  • Seoksoo Kim;Jae-Young Jung
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권6호
    • /
    • pp.13-22
    • /
    • 2024
  • 기사성광고의 필요성과 긍정적인면도 존재하나, 일부 무분별한 '기사성 광고'로 인하여 과장되고 위장된 정보를 전달함에 따라 독자들은 일반기사와 기사성 광고의 구별이 어려움에 따라 많은 정보의 오인과 혼란을 하고 있다. 독자들은 앞으로도 계속 새로운 정보를 획득하고 이러한 정보를 적재적소에 적용하여 많은 가치를 가져와야 하기에, 정확한 일반기사와 기사성 광고를 식별하는 것이 더욱이 중요하다고 판단된다. 따라서 일반기사와 기사성 광고의 구별된 정보를 필요로 하기에, 이러한 일환으로, 인터넷신문에서 이러한 무분별한 기사성 광고로 인한 정확한 정보식별의 어려움이 많은 독자들을 위해, 본 논문에서는 IT기술과 AI기술을 접목한 시스템측면에서 해결할 수 있는 방법을 제시하고자 하였으며, 이러한 방법은 광고성 키워드를 찾아내어 정제해주는 지식기반 자연어처리 방법과 딥러닝기술을 이용한 기사성 광고를 추출하고자 설계 하였다.

Zero-shot Korean Sentiment Analysis with Large Language Models: Comparison with Pre-trained Language Models

  • Soon-Chan Kwon;Dong-Hee Lee;Beak-Cheol Jang
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권2호
    • /
    • pp.43-50
    • /
    • 2024
  • 본 논문은 GPT-3.5 및 GPT-4와 같은 대규모 언어 모델의 한국어 감성 분석 성능을 ChatGPT API를 활용한 zero-shot 방법으로 평가하고, 이를 KoBERT와 같은 사전 학습된 한국어 모델들과 비교한다. 실험을 통해 영화, 게임, 쇼핑 등 다양한 분야의 한국어 감성 분석 데이터셋을 사용하여 모델들의 효율성을 검증한다. 실험 결과, LMKor-ELECTRA 모델이 F1-score 기준으로 가장 높은 성능을 보여주었으며, GPT-4는 특히 영화 및 쇼핑 데이터셋에서 높은 정확도와 F1-score를 기록하였다. 이는 zero-shot 학습 방식의 대규모 언어 모델이 특정 데이터셋에 대한 사전 학습 없이도 한국어 감성 분석에서 높은 성능을 발휘할 수 있음을 시사한다. 그러나 일부 데이터셋에서의 상대적으로 낮은 성능은 zero-shot 기반 방법론의 한계점으로 지적될 수 있다. 본 연구는 대규모 언어 모델의 한국어 감성 분석 활용 가능성을 탐구하며, 이 분야의 향후 연구 방향에 중요한 시사점을 제공한다.

다양한 언어적 자질을 고려한 발화간 유사도 측정 방법 (A Method for Measuring Inter-Utterance Similarity Considering Various Linguistic Features)

  • 이연수;신중휘;홍금원;송영인;이도길;임해창
    • 한국음향학회지
    • /
    • 제28권1호
    • /
    • pp.61-69
    • /
    • 2009
  • 본 연구는 예제 기반 대화 시스템에서 응답을 결정하기 위한 핵심 요소 기술 중 하나인 발차간 유사도 측정 방법의 개선에 대해 논한다. 일반적인 문장간 유사도 측정과는 달리, 대화에서 발차간 유사도 측정은 단어 분포간 유사도 뿐만 아니라, 문형, 시제, 긍/부정, 양태등 대화 자연스러움을 결정하는 문장의 다양한 언어적 요소 역시 중요하게 고려되어야 한다. 그러나 기존 연구에서는 이에 대한 고려가 부족 했던 것이 사실이며, 따라서 본 연구에서는 개선 방안으로서 발화의 형태적 유사성 뿐 아니라 다양한 언어적 자질들을 분석하고 이를 유사도 측정에 반영하여 정확도를 향상시키는 새로운 유사도 측정 방법을 제안한다. 또한, 발차의 자질별 유사도를 고려함으로써, 한정된 수의 예제들의 활용도를 높일 수 있는 방법을 제안하였다. 실험 결과 제안하는 방법이 기존 방식에 비해 10%p 이상 정확도 성능 향상이 있었다.

LLM 사용자의 민감정보 유출 방지를 위한 지식그래프 기반 챗봇 (A Knowledge Graph-based Chatbot to Prevent the Leakage of LLM User's Sensitive Information)

  • 유기동
    • 지식경영연구
    • /
    • 제25권2호
    • /
    • pp.1-18
    • /
    • 2024
  • 거대언어모델(LLM)에 대한 수요와 활용 사례가 증가함에 따라 사용자의 민감정보가 LLM 사용 과정 중에 입력 및 유출되는 위험성 또한 증가하고 있다. 일반적으로 LLM 환각 문제의 해결을 위한 도구로 알려진 지식그래프는, LLM과는 별개로 구축되어 사용자의 민감정보를 별도로 보관 및 관리할 수 있으므로, 민감정보의 유출 가능성을 최소화하는 하나의 방법이 될 수 있다. 따라서 본 연구는 사용자로부터 입력된 자연어 기반의 질문을 LLM을 통해 지식그래프 유형에 맞는 쿼리문으로 변환하고 이를 이용하여 쿼리 실행과 결과 추출을 진행하는 지식그래프 기반 챗봇을 제시한다. 또한 본 연구에서 개발된 지식그래프 기반 챗봇의 기능적 유효성 판단을 위하여, 기존 지식그래프에 대한 이해도와 적응력, 새로운 개체 클라스 생성 능력, 그리고 지식그래프 콘텐츠에 대한 LLM의 접근 가능성 여부를 판단하는 성능 테스트를 수행한다.

자연어 처리 기술을 활용한 인구 고령화 관련 토픽 분석 (Analysis of Topics Related to Population Aging Using Natural Language Processing Techniques)

  • 박현정;이태민;임희석
    • 한국IT서비스학회지
    • /
    • 제23권1호
    • /
    • pp.55-79
    • /
    • 2024
  • Korea, which is expected to enter a super-aged society in 2025, is facing the most worrisome crisis worldwide. Efforts are urgently required to examine problems and countermeasures from various angles and to improve the shortcomings. In this regard, from a new viewpoint, we intend to derive useful implications by applying the recent natural language processing techniques to online articles. More specifically, we derive three research questions: First, what topics are being reported in the online media and what is the public's response to them? Second, what is the relationship between these aging-related topics and individual happiness factors? Third, what are the strategic directions and implications for benchmarking discussed to solve the problem of population aging? To find answers to these, we collect Naver portal articles related to population aging and their classification categories, comments, and number of comments, including other numerical data. From the data, we firstly derive 33 topics with a semi-supervised BERTopic by reflecting article classification information that was not used in previous studies, conducting sentiment analysis of comments on them with a current open-source large language model. We also examine the relationship between the derived topics and personal happiness factors extended to Alderfer's ERG dimension, carrying out additional 3~4-gram keyword frequency analysis, trend analysis, text network analysis based on 3~4-gram keywords, etc. Through this multifaceted approach, we present diverse fresh insights from practical and theoretical perspectives.

인공지능의 서사 지능 탐구 : 새로운 서사 생태계와 호모 나랜스의 진화 (Exploring Narrative Intelligence in AI: Implications for the Evolution of Homo narrans)

  • 권호창
    • 트랜스-
    • /
    • 제16권
    • /
    • pp.107-133
    • /
    • 2024
  • 내러티브는 인간의 인지와 사회 문화의 기본이며 개인과 사회가 의미를 구성하고 경험을 공유하며 문화적, 도덕적 가치를 전달하는 주요 수단으로 사용된다. 인간의 사고와 행동을 모방하려는 인공지능 분야에서는 오랫동안 스토리 생성과 스토리 이해에 관해서 연구해 왔으며, 오늘날 대규모 언어 모델은 발전된 자연어 처리 기술을 바탕으로 괄목할 만한 서사적 능력을 보여주고 있다. 이런 상황은 다양한 변화와 새로운 문제를 제기하지만 이에 대한 포괄적인 논의를 찾아보기는 어렵다. 본 논문은 인간과 AI의 서사 지능의 교차점과 상호작용을 살펴봄으로써 현재의 상태와 미래의 변화에 대한 전체적인 조망을 제공하는 것을 목표로 한다. 먼저 호모 나랜스라는 용어로 대변되는 인간과 내러티브의 본질적 관계에 관한 다학제적 연구를 살펴보고, 인공지능 분야에서 내러티브에 관한 연구가 어떻게 이루어져 왔는지를 역사적으로 살펴본다. 그리고 오늘날 대규모 언어 모델이 보여주는 서사 지능의 가능성과 한계를 살펴보고, 서사 지능을 갖춘 AI가 갖는 함의를 파악하기 위한 세 가지 철학적 과제를 제시한다.

고령화 사회를 위한 음성 인식 챗봇 시스템 : 기술 개발과 맞춤형 UI/UX 설계 (Voice Recognition Chatbot System for an Aging Society: Technology Development and Customized UI/UX Design)

  • 정윤지;유민성;오주영;황현석;허원회
    • 한국인터넷방송통신학회논문지
    • /
    • 제24권4호
    • /
    • pp.9-14
    • /
    • 2024
  • 본 연구는 고령화 사회의 노년층 우울증과 고독감 문제를 해결하기 위해 음성 인식 챗봇 시스템을 개발하였다. 이 시스템은 Whisper 모델, GPT 2.5, XTTS2를 활용하여 고성능 음성 인식과 자연어 처리, 텍스트-음성 변환 기능을 제공한다. 사용자는 이를 통해 감정과 상태를 표현하고 적절한 반응을 얻을 수 있으며, 지인의 목소리를 이용한 음성인식 기능으로 친숙함과 안정감을 느낄 수 있다. UX/UI는 스마트 시니어 세대의 인지 반응과 시력 저하, 운동 능력 제약 등을 고려하여 설계되었다. 명도와 선명도가 높은 색상, 가독성이 좋은 서체등을 활용하여 고령자의 사용 편의성을 높였다.이 연구는 음성 기반 인터페이스를 통해 노년층의 삶의 질 향상에 기여할 것으로 기대된다.

고객 리뷰를 통한 NLP 기반 데이터 기술 활용: 고객 인사이트 도출과 쿠션 제품 개선 방안 연구 (Utilizing NLP-based Data Techniques from Customer Reviews: Deriving Insights and Strategies for Cushion Product Improvement)

  • 임설아;조미연;조은비;우수한
    • 한국빅데이터학회지
    • /
    • 제9권1호
    • /
    • pp.49-60
    • /
    • 2024
  • 본 연구의 목적은 TV홈쇼핑 화장품 쿠션 상품 고객의 평가를 기초로 한 신상품 개발 제언을 도출하는 것이다. 분석 대상은 TV홈쇼핑을 통해 쿠션을 구매한 30~70대 여성 고객의 평가 20만 개를 파이썬 라이브러리인 셀레니움으로 크롤링하여 정제한 후 NLP, 텍스트 마이닝, 빈도, TF-IDF 분석으로 결과를 도출하였다. 연구의 주요 분석결과를 요약하면 다음과 같다. TV홈쇼핑의 타켓 연령대는 50-60대가 메인이며, 광채, 잡티, 주름커버, 밀착력에 큰 관심이 있었고, 쿠션 케이스가 예쁘고, 특히 모녀, 자매, 지인 등과 함께 사용하는 것을 선호하며, 선물용으로도 쿠션 제품을 고려한다는 것을 예측할 수 있다. 이에 함께 참고할 수 있는 제품의 성분이나 구성, 마케팅 전략 등에 대한 제언을 도출하였다. 제품 성분으로는 S.Acamella(스필란테스 아크멜라) 추출물이나 AHA(Alpha Hydroxy Acid) a- 또는 b- 성분을 활용하여 개발하는 것이 주요 제언이다. 다음으로, 고객들은 상품의 외관과 구성에 특별한 관심이 있었으며, 부모나 친구 등과 같은 주변 인물에게 선물로써 상품을 고려하고 있어 이를 중심으로 한 마케팅 전략 모색이 필요하다.

벡터 심볼릭 구조의 부호화 및 복호화 성능 평가에 관한 연구 (Study on the Performance Evaluation of Encoding and Decoding Schemes in Vector Symbolic Architectures)

  • 이영석
    • 한국정보전자통신기술학회논문지
    • /
    • 제17권4호
    • /
    • pp.229-235
    • /
    • 2024
  • 최근 몇 년 동안 인공지능과 기계 학습 분야에서 대량의 데이터를 효율적으로 처리하고 해석하는 방법에 대한 연구가 활발히 진행되고 있다. 이러한 데이터 처리 기술 중 하나인 벡터 기호 아키텍처(Vector Symbolic Architecture, VSA)는 고차원 벡터를 이용하여 복잡한 기호와 데이터를 표현하는 혁신적인 접근법을 제시한다. VSA는 특히 자연어 처리, 이미지 인식, 로봇 공학 등 다양한 응용 분야에서 주목받고 있다. 본 연구는 VSA 방법론들의 특성과 성능을 정량적으로 평가하기 MNIST 데이터셋에 5가지 VSA 방법론을 적용하여 인코딩 속도, 디코딩 속도, 메모리 사용량, 복원 정확도와 같은 주요 성능 지표를 벡터 길이별로 측정하였다. 인코딩 속도와 디코딩 속도에서 BSC와 VT가 상대적으로 빠른 성능을 보였으며, MAP과 HRR은 상대적으로 느렸다. 메모리 사용량에서는 BSC가 가장 효율적이었고, MAP이 가장 많은 메모리를 사용하였다. 복원 정확도는 MAP이 가장 높았으며, BSC가 가장 낮았으며 연구 결과는 적용 영역에 따라 적절한 VSA 방법론을 선택할 수 있는 기준을 제시할 수 있다.

고전언어에서의 어휘 의미망 구축을 위한 전문용어 추출 자동화 방안 (Automated Approaches for Extracting Specialized Terminology in Building Semantic Networks for Classical Languages)

  • 백영윤;박용범
    • Journal of Platform Technology
    • /
    • 제12권1호
    • /
    • pp.85-90
    • /
    • 2024
  • 지식이나 정보를 찾는 경우 아날로그적인 인쇄된 책이나 출판물 등등의 종이로 기록된 매체보다는 디지털적으로 구현되는 웹을 이용하는 방법이 증가하고 있다. 이러한 현상은 고전적인 종이 사전 보다 디지털 사전을 사용하는 것이 더 효과적이고 시간을 절약할 수 있다는 인식이 증가되고 있다. 따라서 이러한 어휘를 구성하는 어휘 의미망 구축은 언어학계와 전산언어학, 자연어 처리 전공자들에게 있어서 중요한 문제로 떠오르고 있다. 이를 위해 언어학자들은 어휘의 의미와 개념을 구조화하여 분류할 수 있는 방법을 찾기 위해 수많은 연구가 진행되었다. 이러한 연구에서 어휘 의미망을 구성하기 위한 전문용어는 일반어와 같이 중요한 요소이다. 하지만 이러한 과정에서 전문용어를 찾고 축적하는 과정에서 여전히 종이로 된 사전 문서나 디지털로 된 방대한 자료를 사람이 직접 확인하고 그 중에서 전문용어를 추출하고 정리하는 과정을 수작업으로 거치고 있다. 본 논문에서는 이러한 인적 작업의 오류를 보완하기 위해서 디지털로 된 자료에서 사용자가 원하는 전문용어를 추출할 수 있는 자동화된 프로그램을 제안한다.

  • PDF