DOI QR코드

DOI QR Code

Research on Core patent mining methods based on key components of Generative AI

생성형 인공지능 기술의 핵심 구성 요소 기반 주요 특허 발굴 방법에 관한 연구

  • Gayun Kim (Department of Healthcare IT Engineering, INJE University) ;
  • Beom-Seok Kim (Department of Medical IT, INJE University) ;
  • Jinhong Yang (Department of Medical IT, INJE University)
  • Received : 2023.09.30
  • Accepted : 2023.10.17
  • Published : 2023.10.31

Abstract

This paper proposes a patent discovery method and strategy for Generative AI-related patents by utilizing qualitative evaluation indicators established based on the core components of the technology. Currently, the evaluation of patent quality relies on quantitative indicators, but existing quantitative indicators cannot represent the characteristics of Generative AI technology, making it difficult to accurately evaluate. Therefore, there is a need for additional qualitative indicators that consider technical characteristics based on patent claims, which can reveal the actual strength of the patent. In this paper, we propose a new evaluation index considering the technical characteristics of Generative AI. Core patents were selected using the proposed evaluation index, and the appropriateness of the proposed index was verified through the existing quantitative evaluation method for the selected core patents.

본 논문에서는 생성형 인공지능 관련 특허에서, 기술의 핵심 구성 요소에 기반하여 수립된 정성적 평가 지표를 활용해 특허 발굴 방법과 전략을 제시한다. 현재 특허 품질에 대한 평가는 정량적 지표에 의존하고 있으나, 기존의 정량적 지표는 생성형 인공지능 기술의 특성을 대표할 수 없어 정확한 평가가 어렵다. 이에 실제 특허의 강약을 알 수 있는 특허 청구범위를 기준으로 하여, 기술적 특성을 고려한 정성적 지표가 추가로 필요하다. 본 논문에서는 생성형 인공지능의 기술적 특성을 고려하여 새로운 평가 지표를 제안한다. 제안한 평가 지표를 활용하여 핵심 특허를 선정하였으며, 선정된 핵심 특허에 대하여 기존의 정량적 평가 방법을 통해 제안한 지표가 적합한지 확인하였다.

Keywords

1. 서론

생성형 인공지능 기술은 급격한 발전을 이루며 다양한 산업 분야에 많은 영향을 미치고 있다. 자연어 처리, 이미지 생성, 음성 인식 및 다양한 인공지능 응용 프로그램에 적용되는 생성형 모델은 기술의 핵심 구성 요소로 자리 잡았으며, 이를 효과적으로 활용하는 것이 기업이 경쟁 우위를 차지하는 데 중요한 역할을 하고 있다[1]. 이에 최근 많은 기업은 생성형 인공지능 기술에 관한 연구 및 개발을 적극적으로 추진하며 새로운 기술 개발에 노력을 기울이고 있다[2]. 이러한 활발한 연구와 개발의 결과로, 생성형 모델과 이를 응용한 기술에 대한 특허 역시 활발히 출원되고 있다[3]. 이러한 상황에서 기업은 자사의 기술을 보호하고 경쟁 환경에서의 지위를 강화하기 위해 정확한 기준을 통해 선정된 핵심 특허를 기반으로 대응 전략을 수립하는 것은 필수적이다. 그러나 기존의 핵심 특허 선정하는 방법은 일반적으로 정량적 지표를 바탕으로 선정하는 방법을 사용한다. 이는 생성형 인공지능과 같이 빠르게 진화하는 분야에서 기술의 최신 동향과 특허 출원 및 공개 특성상 그 결과가 일치하지 않을 수 있다. 또한, 생성형 인공지능은 이미 다양한 분야에 활용되고 있어, 기술의 다양성이 고려되어야 하지만 정량적 지표를 바탕으로 핵심 특허를 선정할 경우 이러한 특성을 효과적으로 반영하기 어려운 점이 있다.

이에 본 논문에서는 생성형 인공지능 기술의 핵심 구성 요소를 기반으로 한 핵심 특허 평가 지표를 제안하였다. 그리고 제안한 평가 지표를 활용하여 핵심 특허를 선정하였으며, 선정된 핵심 특허에 대하여 기존의 정량적 평가 방법을 통해 제안한 지표가 적합한지 확인하였다. 이를 통해 효과적인 특허 발굴 방법과 전략을 수립할 수 있으며, 기업이 기술의 핵심부분을 지속해서 보호하고 발전시킬 수 있도록 도움을 줄 것이라 기대한다.

2. 기존 핵심 특허 평가 방법

2.1 기존 평가 시 사용되는 정량적 지표

기존 핵심 특허 발굴에 사용되는 대표적 정량적 지표는 크게 3가지로 기술혁신 활동의 집중도 분석 지표, 기술 수준 분석 지표, 협력관계 지표로 나눌 수 있다. 기술혁신 활동의 집중도 분석 지표로 현시 기술 우위 지수와 허핀달 지수가 있으며 이를 통해 특정 기술 분야의 특화 정도, 독과점 현황을 분석할 수 있다. 기술 수준 분석 지표는 특허당 피인용 수, 특허 영향지수, 현재 영향지수, 기술력 지수, 기술 순환 주기, 과학 연계 지수, 패밀리 규모로 구성되어 있으며, 기술의 원천성 및 진보성을 파악할 수 있다. 마지막으로 협력관계에서는 공동출원 및 발명 특허 수, 샐턴 지수, 연구 인력 유입률 및 유출률 지수가 포함되며 기술의 신뢰성, 유출률 그리고 국제화도를 파악할 수 있다[4].

그러나 생성형 인공지능의 기술은 최근 들어 활발한 연구 및 특허 출원 등이 이루어지고 있어, 기존의 정량적 지표분석을 활용하기에는 빠르게 변화하는 핵심 기술의 내용을 확인하기 어려운 한계를 가진다.

2.2 기존 특허 평가 시스템

기존의 특허 평가 방법 중의 대표적으로 활용되는 시스템인 SMART5, K-PEG, KPAS등이 있다.

특허 등급 평가 시스템인 SMART5는 한국발명진흥회에서 운영하는 온라인 특허 등급 평가 시스템이다. 특허의 특허 명세서, 서지정보, 행정 정보로부터 특허 정보를 추출하여 정량성, 객관성, 완전성을 기준으로 특허의 우수성을 등급으로 평가하는 방법이다[5].

K-PEG는 한국특허기술진흥원의 특허 평가 시스템이다. 딥러닝과 데이터마이닝 기법을 적용하여 특허 생존 지수 및 종합 평가 등급을 부여하며, 권리성, 기술성, 상업성의 정량적 지표를 통해 특허를 평가하는 방법이다[6].

KPAS는 기술보증기금에서 운영하는 특허 평가 시스템이다. 해당 시스템은 딥 뉴럴 네트워크를 기반으로 특허의 내·외재적 지표를 활용하여 특허를 평가하는 방법이다[7].

이러한 방법들은 주로 정량적 평가를 위한 지표 및 절차를 따르며, 특허의 양적 측면을 중점으로 삼고 있다. 피인용 수, 패밀리 수, 특허의 기술적 특징 등의 정량적 지표를 활용하여 특허의 가치나 중요성을 평가하는 것도 중요하지만, 특허의 품질과 혁신을 포함한 다양한 측면을 고려하지 못하여 실질적인 가치를 왜곡할 수 있다. 또한, 정량적 방법들은 특허의 새로운 아이디어나 혁신적인 개념과 같은 정성적 분석에는 취약하기 때문에 해당 가치를 정량적으로 측정하기 어려울 수 있어 새로운 기술 분야나 아이디어 평가에 한계가 있을 수 있다[8].

따라서 정량적 지표뿐만 아니라 정성적 측면을 강조하는 방법론이 필요하며, 정량적이며 정성적 지표가 모두 고려된 평가 방법을 통해 선별된 핵심 특허는 특허 전략을 수립하는 데 도움이 될 것으로 판단하였다.

3. 생성형 인공지능의 기술 특성에 기반한 핵심 특허 평가 방법

본 논문에서는 생성형 인공지능 기술 관련 핵심 특허를 평가하기 위해, 생성형 인공지능이 가진 기술적 특성을 기반으로 이를 효과적으로 평가하기 위한 정성적 평가 지표를 제안한다. 제안한 정성적 평가 지표는 생성형 인공지능 기술이 가진 공통, 필수 요소인 다음의 3가지 단계에 대한 청구항의 구성 요소를 그 대상으로 한다. 각각은 프롬프트 성능 기반 평가, 성능 지표 기반 평가, 사용 모델 및 목적 기반 평가로 구성된다.

3.1 사용자 프롬프트 유무

사용자 입력은 생성형 인공지능뿐만 아니라 전통적 인공지능에서도 필수 요소로 포함된다. 전통적 인공지능은 기존에 정의된 특정한 작업을 지능적으로 수행하는 데 중점을 두고 있으며, 해당 행위는 사전 정의된 규칙과 학습, 그리고 프로그래밍 된 전략에 기반해 수행된다. 이러한 방법에서 사용자 입력은 특정 규칙 집합을 바탕으로 구성되며, 이러한 특성으로 인해 정형화된 형태를 나타낸다[9].

한편, 생성형 인공지능은 특정한 작업의 해결에 집중한 전통적 인공지능과 달리 다양한 분야에서 광범위한 작업을 수행할 수 있는 범용 인공지능(Artificial General Intelligence)을 목표로 한다[10]. 이러한 특성으로 인해 생성형 인공지능에서 사용자 입력은 생성된 결과의 방향성을 결정하며, 콘텐츠를 생성하는 데 영향을 미치는 필수적인 요소이다. 생성형 인공지능은 일반적으로 언어모델을 기반으로 하고 학습 과정에서 언어적 연결성을 그 특징으로 가지기 때문이다[11]. 또한, 입력의 길이와 복잡성에 따라 인공지능이 이를 적응하고 이해하는 특징을 가진다. 입력은 해당 모델이 지원하는 입력 토큰의 크기에 따르며, 이에 기반해 모델의 context window가 결정된다. 또 다른 특징으로는 언어 스타일(공식적, 비공식적), 감정 표현(긍정적, 부정적, 중립적) 및 사용자의 의도와 목적을 포함할 수 있다. 실제로 생성형 인공지능을 활용한 도구 및 서비스는 프롬프트 기반의 사용자 입력을 수집하도록 구성되어 있다. 최근 이러한 서비스의 이용자 수가 증가하고, 기존 서비스에 생성형 인공지능 기능을 추가한 사례도 늘어남에 따라 효과적인 입력 프롬프트를 작성하는 방법에 관한 새로운 연구 분야로 프롬프트 엔지니어링(Prompt Engineering)이 주목받고 있다[12, 13]. 성능이 개선되거나 발전된 프롬프트는 더 높은 정확도와 신속한 응답, 더 낮은 리소스를 사용하며 다양한 응용분야에서 활용 가능하도록 한다. 이를 통해 더 나은 사용자 경험을 제공한다.

이에 따라 프롬프트 성능 기반 특허 평가 방법에서는 프롬프트 성능에 따른 사용자 편의성, 상호 작용의 효율성, 사용자 경험을 고려한다. 사용자 관점에서의 품질과 효과를 평가하므로 기술의 현실적인 적용 가능성을 파악할 수 있다.

3.2 모델에 대한 성능 지표 기반 평가

콘텐츠 생성에 있어 전통적 인공지능은 규칙 기반 접근을 사용하여 유사한 결과물을 생성한다. 이러한 방식은 명시적인 규칙과 로직을 따르기 때문에 주관적인 표현을 담는 데 한계가 있으며, 새로운 작업을 수행하기 위해서는 규칙을 수정해야 하는 번거로움이 있다. 반면에 생성형 인공지능은 입력된 데이터에서 패턴을 학습하고 이를 기반으로 다양한 콘텐츠를 생성한다. 이러한 모델은 학습과 적응 능력을 통해 데이터의 변화나 새로운 작업에 유연하게 대응할 수 있어 다양한 스타일, 목적 및 언어로 콘텐츠를 생성할 수 있다.

이러한 주관성을 허용하는 생성형 인공지능의 분야별 성능 평가를 위한 다양한 지표가 있으며 생성형 인공지능의 각 분야 중 대표적인 생성형 언어모델과 이미지 생성 모델에 대한 대표적인 평가 방법은 다음과 같다.

먼저 생성형 언어 모델의 성능을 평가하기 위한 지표 중 하나인 HuggingFace의 Open LLM Leaderboard[14]에서는 4개의 벤치마크를 활용한다. 이러한 벤치마크는 언어 모델의 과학적 추론과 질문 답변 능력, 언어 모델이 맞추기 힘든 테스트 문항, 다양한 도메인에서 주어진 문제를 처리하는 능력, 그리고 잘못된 답변 생성을 방지하는 능력을 평가한다.

이미지 생성 모델의 평가에는 이미지의 질과 다양성이 주요 평가 대상이며, 이를 평가하기 위해 딥러닝의 분류 모델과 PCA와 같은 방법을 사용하여 특징 벡터를 추출하고 차이를 계산한다. 평가 방법으로 크게 FID(Frechet Inception Distance), IS(Inception Score), Perceptual Metrics가 사용된다. FID는 이미지의 특징을 추출하고 두 이미지 세트 간의 차이를 측정하여 모델이 실제 데이터 분포에 얼마나 가까운 이미지를 생성하는지를 평가하는 지표이다. IS는 이미지의 품질과 다양성을 평가하는 지표로 사용되며, Perceptual Metrics는 사전 훈련된 컨볼루션 신경망을 활용하여 이미지의 특징을 추출하고 분석하여 이미지의 현실성을 평가하는 지표이다.

위와 같이 성능 평가 지표 기반 평가에서는 생성된 콘텐츠의 품질, 다양성, 정확성을 주요 항목으로 선정하여 평가를 진행한다. 생성형 인공지능의 각 분야에 적합한 성능 평가 지표를 활용하면 모델의 성능을 확인할 수 있으며 기술적 수준과 경쟁력을 분석할 수 있다. 이를 통해 기술 특성에 기반한 핵심 특허 발굴 프로세스의 정확도를 높일 수 있다.

3.3 지속적 모델 개선 여부 및 목적 기반 평가

생성형 인공지능은 학습된 데이터를 기반으로 다양한 종류의 데이터를 생성하고 변환하는 데 사용되는 인공지능 기술을 지칭하며 텍스트, 이미지, 비디오, 음성 등 다양한 데이터를 생성하는 능력을 갖춘 모델을 말한다. 이러한 기능의 성능을 유지하기 위해서는 모델이 초기 학습을 완료 한 후에도 환경의 변화와 새로운 데이터에 적응할 수 있는 자동화된 학습과 업데이트가 필요하다. 모델이 지속적으로 새로운 정보를 효과적으로 통합하고 성능을 개선하는 이러한 과정은 생성형 인공지능의 신뢰성과 효율성을 유지하는 데 필수적이다.

특히, 생성형 인공지능 모델은 다양한 응용 분야에서 활용되며, 데이터의 변화, 사용환경의 다양성, 사용자 요구의 변동이 빈번하게 발생한다 이에 대응하기 위해서는 연구 과정 중에서 모델을 개발하고 성능을 기록하는 모델 관리, 모델이 성공적으로 저장되었을 때 배포 환경에서 성공적으로 모델을 배포하는 모델 서빙(Model Serving), 서빙된 모델이 정상적으로 동작하고 있는지 관리하며 성능의 변화 여부를 판단하는 모델 모니터링(Model Monitoring), 그리고 변화하는 데이터에 대응할 수 있도록 자체적으로 학습하는 프로세스가 필요하다. 이러한 프로세스는 생성형 인공지능의 성능과 직결되므로, 핵심 특허 평가 시 이러한 프로세스가 특허 명세에 기술되어 있으며, 해당 특허에서 청구범위의 권리가 확보되어 있는지 확인하는 것이 중요하다. 이를 통해 해당 특허에서 제시하는 모델이 비용 효율적이고, 확장 가능하며, 튜닝 및 최적화를 통해 개선된 성능을 나타낼 수 있는지 확인할 수 있다.

기존의 정량적 지표와 함께 제안한 3가지의 정성적 지표를 활용한다면, 보다 정확한 생성형 인공지능에 대한 핵심 특허를 선별할 수 있을 것이다. 이는 향후 생성형 인공지능 특허 전략 수립 및 기술 개발방향 설정에 있어, 기존의 생성형 인공지능 관련 핵심 특허를 발굴하는 데 높은 정확성을 보일 것으로 기대된다.

4. 제안한 평가 지표 기반 핵심 특허 분석

4.1 특허 분석 대상 설정

본 논문에서 제안한 평가 지표를 기반으로 생성형 인공지능 기술에 대한 주요 특허를 발굴하기 위해, 한국(KIPO), 미국(USPTO), 유럽(EPO) 특허청의 공개·등록 특허를 대상으로 분석하였다. 주요 특허를 선정하기 위해 기술 분류 체계를 수립하였으며, 생성형 인공지능 기술을 이용해 생성할 수 있는 데이터의 유형에 따라 이미지/비디오 생성, 텍스트 생성, 기타 콘텐츠 생성(음성 생성, 코드 생성, 의료 피드백 생성)으로 분류하였다.

표 1. 기술별·국가별 특허 데이터 수

JBJTBH_2023_v16n5_292_t0001.png 이미지

Table 1. Number of Patents by Technical Categories, Nationality

표 2. 기술별·국가별 유효 특허 데이터 수

JBJTBH_2023_v16n5_292_t0002.png 이미지

Table 2. Number of Valid patents by Technical Categories, Nationality

기술별 특허 데이터는 이미지/비디오 생성 4,126건, 텍스트 생성 2,693건, 기타 콘텐츠 생성 2,812건으로 총 10,530건이었으며, 그중 유효 특허 데이터는 이미지/비디오 생성 938건(23%), 텍스트 생성 705건(26%), 기타 콘텐츠 생성 820건(29%)으로 총 2,463건(23%)을 확인할 수 있었다.

4.2 핵심 특허 선정 및 분석

유효 특허 데이터에 대하여 청구범위를 검토한 후, 제안한 정성적 지표에 가장 부합하는 특허를 기술 분류별로 3건씩 선정하여 총 9건을 도출했으며, 각 특허를 P1~P9로 구분하였다.

4.2.1 이미지/비디오 생성

• 핵심 특허 1(P1): S사가 2018년 12월 출원했으며, 카메라를 통해 이미지를 획득 후 이미지에서 원하는 객체를 제거하여 새로운 이미지를 생성하는 기술에 대한 특허이다[15].

• 핵심 특허 2(P2): S사가 2020년 7월 출원했으며, 음성 신호로부터 사용자의 아바타(avatar)에 대응하는 개인화된 3차원 헤드 모델 애니메이션을 생성하는 기술에 대한 특허이다[16].

• 핵심 특허 3(P3): A사가 2021년 1월 출원했으며, 물리적 환경에 대응하는 가상 3D 객체를 생성하는 기술에 대한 특허이다. 이때 물리적 환경에서 고정되어 있지 않은 객체(예: 사람, 동물 등)를 객체의 움직임에 따라 제외하도록 하는 것이 특징이다[17].

4.2.2 텍스트 생성

• 핵심 특허 1(P4): L사가 2019년 11월 출원했으며, 상담 녹취 텍스트를 주제별 문단으로 분리하여 각 문단으로부터 요약 문장을 생성 후 생성된 요약 문장을 보정하는 기술에 대한 특허이다[18].

• 핵심 특허 2(P5): S사가 2020년 7월 출원했으며, 다수의 사용자 간 대화를 인식하고, 대화에서 사용자별 문맥 데이터에 기반해 응답을 생성하는 대화 보조 기술에 대한 특허이다[19].

• 핵심 특허 3(P6): S사가 2020년 8월 출원했으며, 입력된 단어를 기반으로 문장을 생성해 사용자에게 제공하고, 문맥 정보를 추가로 고려하여 현재 문맥에 가장 적합한 문장을 제공하는 기술에 대한 특허이다[20].

4.2.3 기타 콘텐츠 생성

• 핵심 특허 1(P7): S사가 2019년 9월 출원했으며, 음성 보조 시스템을 제공하기 위한 기술에 대한 특허이다. 특정 캐릭터에 특화된 인공지능 모델을 이용해 응답을 제공하는 것이 특징이다[21].

• 핵심 특허 2(P8): O사가 2020년 9월 출원했으며, 복잡한 데이터 흐름을 선언적 방식으로 정의하여 시스템의 기능을 확장할 수 있는 프로그래밍 인터페이스를 제공하는 기술에 대한 특허이다[22].

• 핵심 특허 3(P9): V사가 2020년 9월 출원했으며, 의료 영상을 획득하여 병변 탐지 및 해부학적 분석을 수행한 후, 이에 기반하여 이상 소견탐지 및 판독문을 제공하는 기술에 대한 특허이다[23].

표 3은 선정된 핵심 특허에서, 제안하는 정성적 지표와 대응하는 청구범위의 구성 요소를 나타낸 것이다.

표 3. 제안한 정성적 지표에 대응하는 청구범위 구성 요소

JBJTBH_2023_v16n5_292_t0003.png 이미지

Table 3. Components of Claims for proposed Qualitative Metrics

4.3 선정된 핵심 특허와 정량적 정보의 상관성

표 4는 선정된 핵심 특허(P1~P9)에 대한 정량적 정보를 나타낸 것이다. 선정된 특허 모두 생성형 인공지능 분야 또는 해당 기술 분류에서 기술적 영향력이 높은 기업이 출원하였으며, 청구범위의 독립항 수가 3개 이상인 특허는 9건 중 7건(P1, P2, P3, P4, P7, P8, P9), 나머지 2건(P5, P6) 역시 독립항 수가 2개 이상인 것으로 나타났다. 또한, 선정된 모든 특허가 다수의 패밀리 문헌을 보유하고 있으며, 특히 P1, P6, P8의 경우 한국, 미국, 유럽, 일본, 중국, 스페인, 포르투갈, 인도, 러시아와 같은 다양한 국가에서 패밀리 문헌을 확보했다. 선정된 특허 중 다수가 기존의 정량적 방법을 이용한 핵심 특허 선정 지표에서도 높은 수치를 나타내는 것을 확인할 수 있다.

표 4. 핵심 특허의 정량적 지표

JBJTBH_2023_v16n5_292_t0004.png 이미지

Table 4. Quantitative metrics of core patents

5. 결론

기존의 핵심 특허 발굴 방법은 정량적 평가를 위한 지표 및 절차를 따르며 특허의 정량적 정보의 우수성을 중점으로 다루고 있다. 그러나 생성형 인공지능 분야의 기술은 빠르게 진보하며 다양한 형태로 변화하고 있으며, 이러한 다양성과 혁신을 정량적 지표만으로 완벽하게 평가하기에는 한계점이 있다. 이러한 이유로 생성형 인공지능의 핵심 특허 발굴 및 평가에서는 특허의 정량적 정보뿐만 아니라, 기술의 혁신성, 실질적 가치와 같은 기술의 다양한 측면을 반영하기 위한 정성적 지표가 필수적이다.

본 논문에서는 생성형 인공지능 기술의 핵심 특허 발굴을 위해, 생성형 인공지능의 기술적 특성을 기반으로 하여 성능 지표 기반 평가 방법, 사용 모델 및 목적 기반 평가 방법의 3가지 정성적 지표를 제안하였다. 제안한 정성적 지표는 특정 작업에 대한 규칙과 패턴을 따르는 전통적 인공지능과는 다르게, 사용자 입력을 기반으로 패턴을 학습해 새로운 콘텐츠를 생성하는 생성형 인공지능의 특성을 바탕으로 하였다. 제안한 정성적 지표를 활용하여, 생성형 인공지능 기술을 이미지/비디오 생성, 텍스트 생성, 기타 콘텐츠 생성(음성 생성, 코드 생성, 의료 피드백 생성)으로 분류해 기술별 핵심 특허를 선정하였다. 그 결과 다수의 특허가 청구범위의 독립항 수, 패밀리 수와 같은 정량적 지표에서도 우수한 수치를 보임을 확인할 수 있었다. 또한 해당 특허의 출원인들이 생성형 인공지능 분야에서 모두 기술적 영향력이 높은 기업임이 드러났다.

이에 본 논문에서 제안한 정성적 지표를 생성형 인공지능 기술의 핵심 특허 발굴 과정에 반영한다면 기존의 특허 발굴 및 분석 프로세스를 더욱 정확하고 효과적으로 수행할 수 있음을 확인하였다. 이를 통해 향후 생성형 인공지능 기술에 대한 특허 동향 파악 및 핵심 특허 대응 전략 수립 시 도움이 될 것으로 기대된다.

References

  1. T. K. Kim, "Artificial Intelligence to drive business performance", Policy & Research Institute, Monthly Software Software Oriented Society, vol. 95, May 2022.
  2. CHO Alliance, "Global Artificial Intelligence (AI) Technology Development Trends and Commercialization Strategies -AI Revolution, Super Big AI, and Generative AI based on ChatGPT-", February 2023.
  3. Korean Intellectual Property Office, "Core of ChatGPT, 'super-giant AI' technology race in full swing", February 2023.
  4. Korea Institute of Patent Information, "Metrics and techniques for analyzing patent information", Patent 21, (72), pp.2-19, March 2007.
  5. Korea Invention Promotion Association, "SMART 5", https://smart.kipa.org/main.do.
  6. Korea Institute of Intellectual Property Promotion, "K-PEG", https://kpeg.kipro.or.kr/index.action.
  7. Korea Technology Finance Corporation, "KPAS", https://tb.kibo.or.kr/ktms/techEvaluation/index.do?rbsIdx=400.
  8. H. J. Lee and H. Y. Yang, "Core Patent Navigation Method with Temporal PageRank Function", Korea Technology Innovation Society Conference, pp.275-281. November 2015.
  9. B. Marr, Forbes, "The Difference Between Generative AI And Traditional AI: An Easy Explanation For Anyone", July 2023.
  10. J. Bang and B. C. Cho, "Policy Proposals in Response to Changes in the Authoring and Distribution Environment of Contents by Generative Artificial Intelligence," JOURNAL OF BROADCAST ENGINEERING, vol. 28, no. 4, pp. 400-409, July 2023. https://doi.org/10.5909/JBE.2023.28.4.400
  11. S. J. Lee, "Generative AI Ecosystem Corporate strategy and the Role of Semiconductors", Telecommunications Technology Association, TTA Journal, vol. 207, pp.16-21, May 2023.
  12. L. Reynolds and K. McDonell, "Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm," Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems, February, 2021.
  13. J. White, Q. Fu, S. Hays, M. Sandborn, C. Olea, H. Gilbert, A. Elnashar, J. Spencer-Smith, D. C. Schmidt, "A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT", February, 2023.
  14. HuggingFaceH4, "Open LLM Leaderboard", https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard.
  15. Samsung Electornics Co. Ltd., "Bilderfassungsvorrichtung und verfahren zur steuerung davon", EP 3,682,415, November, 2023, https://patents.google.com/patent/EP3682415B1.
  16. Samsung Electronics Co., Ltd., "Method for generating a head model animation from a speech signal and electronic device implementing the same", KR 2021-0070169, July 2020, https://patents.google.com/patent/KR20210070169A.
  17. Apple Inc., "Excluding objects during 3D model generation", US 11,640,692, January 2021, https://patents.google.com/patent/US11640692B1.
  18. LG Uplus Corp., "System and method for providing voice assistant service", KR2332268, November 2019, https://doi.org/10.8080/1020190142748.
  19. Samsung Electronics Co., Ltd., "System and method for providing assistance in a live conversation", US 11,430,439, July 2020, https://patents.google.com/patent/US11430439B2.
  20. Samsung Electronics Co., Ltd., "Apparatus and method for providing sentence based on user input", US 11,475,218, August 2020, https://patents.google.com/patent/US11475218B2.
  21. Samsung Electronics Co., Ltd., "System and method for providing voice assistant service", US 2020/0090652, September 2019, https://patents.google.com/patent/US20200090652A1.
  22. Oracle International Corp., "System and method for metadata-driven external interface generation of application programming interfaces", US 11,437,371, September 2020, https://patents.google.com/patent/US11537371B2.
  23. VUNO Inc., "Method for detecting abnormal findings and generating interpretation text of medical image", KR 2375786, September 2020, https://doi.org/10.8080/1020200117511.