• 제목/요약/키워드: Pre-trained Model

검색결과 286건 처리시간 0.019초

심층 주제, 지역, 장르를 모두 분류할 수 있는 다면적 뉴스 기사 자동 분류 모델 연구 (Research on Multi-facted News Article Classification Models Classifying Subjects, Geographies and Genres)

  • 이효진;최성필
    • 한국문헌정보학회지
    • /
    • 제58권3호
    • /
    • pp.65-89
    • /
    • 2024
  • 본 연구는 한국어 사전학습 모델을 활용하여 뉴스 기사를 주제, 장르, 지역별로 각각 분류하는 모델을 구축하였다. 이를 위해 국내 언론사의 분류체계를 참고하여 새로운 뉴스 기사 분류체계를 설계하였다. 주제 및 장르 분류 모델은 대분류와 중분류 모델을 연결한 계층적 구조의 분류 모델로 구현하여 카테고리 통합 모델의 성능과 비교하였다. 평가 결과, 계층적 구조의 분류 모델은 모호하거나 중복된 카테고리에서 카테고리 통합 모델보다 더 명확한 분류를 수행할 수 있다는 이점이 있었다. 뉴스 기사의 지역적 분류를 위해서는 18개의 카테고리에 대하여 분류를 수행하는 모델을 구축하였으며 지역 관련 뉴스 기사의 경우, 지역적 특성이 본문에 명확히 드러나 높은 성능을 기록할 수 있었다. 본 연구는 주제, 장르, 지역의 다각적인 측면에서 뉴스 기사를 효과적으로 분류할 수 있음을 보여주었으며, 이를 통해 사용자 요구에 부합하는 다차원적 뉴스 기사 분류 서비스의 가능성을 제시한 점에서 의의가 있다.

Intelligent optimal grey evolutionary algorithm for structural control and analysis

  • Z.Y. Chen;Yahui Meng;Ruei-Yuan Wang;Timothy Chen
    • Smart Structures and Systems
    • /
    • 제33권5호
    • /
    • pp.365-374
    • /
    • 2024
  • This paper adopts a new approach in which nonlinear vibrations can be controlled using fuzzy controllers by optimal grey evolutionary algorithm. If the fuzzy controller cannot stabilize the systems, then the high frequency is injected into the system to assist the controller, and the system is asymptotically stabilized by adjusting the parameters. This paper uses the GM (grey model) and the neural network prediction model. The structure of the neural network is improved from a single factor, and multiple data inputs are extended to various factors and numerous data inputs. The improved model expands the applicable range of uncontrolled elements and improves the accuracy of controlled prediction, using the model that has been trained and stabilized by multiple learning. The simulation results show that the improved gray neural network model has higher prediction accuracy and reliability than the traditional GM model, improving controlled management and pre-control ability. In the combined prediction, the time series parameters and the predicted values obtained from the GM (1,1) (Grey Model of first order and one variable) are simultaneously used as the input terms of the neural network, considering the influence of the non-equal spacing of the data, which makes the results of the combined gray neural network model more rationalized. By adjusting the model structure and system parameters to simulate and analyze the controlled elements, the corresponding risk change trend graphs and prediction numerical calculation results are obtained, which also realize the effective prediction of controlled elements. According to the controlled warning principle and objective, the fuzzy evaluation method establishes the corresponding early warning response method. The goals of this paper are towards access to adequate, safe and affordable housing and basic services, promotion of inclusive and sustainable urbanization and participation, implementation of sustainable and disaster-resilient buildings, sustainable human settlement planning and manage.

합성곱 신경망의 비지니스 응용: 런웨이 이미지를 사용한 의류 분류를 중심으로 (Business Application of Convolutional Neural Networks for Apparel Classification Using Runway Image)

  • 서이안;신경식
    • 지능정보연구
    • /
    • 제24권3호
    • /
    • pp.1-19
    • /
    • 2018
  • 최근 딥러닝은 오디오, 텍스트 및 이미지 데이터와 같은 비 체계적인 데이터를 대상으로 다양한 추정, 분류 및 예측 문제에 사용 및 적용되고 있다. 특히, 의류산업에 적용될 경우 딥러닝 기법을 활용한 의류 인식, 의류 검색, 자동 제품 추천 등의 심층 학습을 기반으로 한 응용이 가능하다. 이 때의 핵심모형은 합성곱 신경망을 사용한 이미지 분류이다. 합성곱 신경망은 입력이 전달되고 출력에 도달하는 과정에서 가중치와 같은 매개 변수를 학습하는 뉴런으로 구성되고, 영상 분류에 가장 적합한 방법론으로 사용된다. 기존의 의류 이미지 분류 작업에서 대부분의 분류 모형은 의류 이미지 자체 또는 전문모델 착용 의류와 같이 통제된 상황에서 촬영되는 온라인 제품 이미지를 사용하여 학습을 수행한다. 하지만 본 연구에서는 통제되지 않은 상황에서 촬영되고 사람들의 움직임과 다양한 포즈가 포함된 스트릿 패션 이미지 또는 런웨이 이미지를 분류하려는 상황을 고려하여 분류 모형을 훈련시키는 효과적인 방법을 제안한다. 이동성을 포착하는 런웨이 의류 이미지로 모형을 학습시킴으로써 분류 모형의 다양한 쿼리 이미지에 대한 적응력을 높일 수 있다. 모형 학습 시 먼저 ImageNet 데이터셋을 사용하여 pre-training 과정을 거치고 본 연구를 위해 수집된 32 개 주요 패션 브랜드의 2426개 런웨이 이미지로 구성된 데이터셋을 사용하여 fine-tuning을 수행한다. 학습 과정의 일반화를 고려해 10번의 실험을 수행하고 제안된 모형은 최종 테스트에서 67.2 %의 정확도를 기록했다. 본 연구 모형은 쿼리 이미지가 런웨이 이미지, 제품 이미지 또는 스트릿 패션 이미지가 될 수 있는 다양한 분류 환경에 적용될 수 있다. 구체적으로는 패션 위크에서 모바일 어플리케이션 서비스를 통해 브랜드 검색을 용이하게 하는 서비스를 제공하거나, 패션 잡지사의 편집 작업에 사용되어 브랜드나 스타일을 분류하고 라벨을 붙일 수 있으며, 온라인 쇼핑몰에서 아이템 정보를 제공하거나 유사한 아이템을 추천하는 등의 다양한 목적에 적용될 수 있다.

EPC 프로젝트의 위험 관리를 위한 ITB 문서 조항 분류 모델 연구: 딥러닝 기반 PLM 앙상블 기법 활용 (Research on ITB Contract Terms Classification Model for Risk Management in EPC Projects: Deep Learning-Based PLM Ensemble Techniques)

  • 이현상;이원석;조보근;이희준;오상진;유상우;남마루;이현식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권11호
    • /
    • pp.471-480
    • /
    • 2023
  • 국내 건설수주 규모는 2013년 91.3조원에서 2021년 총 212조원으로 특히 민간부문에서 크게 성장하였다. 국내외 시장 규모가 성장하면서, EPC(Engineering, Procurement, Construction) 프로젝트의 규모와 복잡성이 더욱 증가되고, 이에 프로젝트 관리 및 ITB(Invitation to Bid) 문서의 위험 관리가 중요한 이슈가 되고 있다. EPC 프로젝트 발주 이후 입찰 절차에서 실제 건설 회사에게 부여되는 대응 시간은 한정적일 뿐만 아니라, 인력 및 비용의 문제로 ITB 문서 계약 조항의 모든 리스크를 검토하는데 매우 어려움이 있다. 기존 연구에서는 이와 같은 문제를 해결하고자 EPC 계약 문서의 위험 조항을 범주화하고, 이를 AI 기반으로 탐지하려는 시도가 있었으나, 이는 레이블링 데이터 활용의 한계와 클래스 불균형과 같은 데이터 측면의 문제로 실무에서 활용할 수 있는 수준의 지원 시스템으로 활용하기 어려운 상황이다. 따라서 본 연구는 기존 연구와 같이 위험 조항 자체를 정의하고 분류하는 것이 아니라, FIDIC Yellow 2017(국제 컨설팅엔지니어링 연맹 표준 계약 조건) 기준 계약 조항을 세부적으로 분류할 수 있는 AI 모델을 개발하고자 한다. 프로젝트의 규모, 유형에 따라서 세부적으로 검토해야 하는 계약 조항이 다를 수 있기 때문에 이와 같은 다중 텍스트 분류 기능이 필요하다. 본 연구는 다중 텍스트 분류 모델의 성능 고도화를 위해서 최근 텍스트 데이터의 컨텍스트를 효율적으로 학습할 수 있는 ELECTRA PLM(Pre-trained Language Model)을 사전학습 단계부터 개발하고, 해당 모델의 성능을 검증하기 위해서 총 4단계 실험을 진행했다. 실험 결과, 자체 개발한 ITB-ELECTRA 모델 및 Legal-BERT의 앙상블 버전이 57개 계약 조항 분류에서 가중 평균 F1-Score 기준 76%로 가장 우수한 성능을 달성했다.

생성 모델과 검색 모델을 이용한 한국어 멀티턴 응답 생성 연구 (A study on Korean multi-turn response generation using generative and retrieval model)

  • 이호동;이종민;서재형;장윤나;임희석
    • 한국융합학회논문지
    • /
    • 제13권1호
    • /
    • pp.13-21
    • /
    • 2022
  • 최근 딥러닝 기반의 자연어처리 연구는 사전 훈련된 언어 모델을 통해 대부분의 자연어처리 분야에서 우수한 성능을 보인다. 특히 오토인코더 (auto-encoder) 기반의 언어 모델은 다양한 한국어 이해 분야에서 뛰어난 성능과 쓰임을 증명하고 있다. 그러나 여전히 디코더 (decoder) 기반의 한국어 생성 모델은 간단한 문장 생성 과제에도 어려움을 겪고 있으며, 생성 모델이 가장 일반적으로 쓰이는 대화 분야에서의 세부 연구와 학습 가능한 데이터가 부족한 상황이다. 따라서 본 논문은 한국어 생성 모델을 위한 멀티턴 대화 데이터를 구축하고 전이 학습을 통해 생성 모델의 대화 능력을 개선하여 성능을 비교 분석한다. 또한, 검색 모델을 통해 외부 지식 정보에서 추천 응답 후보군을 추출하여 모델의 부족한 대화 생성 능력을 보완하는 방법을 제안한다.

사전학습 언어모델을 활용한 범죄수사 도메인 개체명 인식 (A Named Entity Recognition Model in Criminal Investigation Domain using Pretrained Language Model)

  • 김희두;임희석
    • 한국융합학회논문지
    • /
    • 제13권2호
    • /
    • pp.13-20
    • /
    • 2022
  • 본 연구는 딥러닝 기법을 활용하여 범죄 수사 도메인에 특화된 개체명 인식 모델을 개발하는 연구이다. 본 연구를 통해 비정형의 형사 판결문·수사 문서와 같은 텍스트 기반의 데이터에서 자동으로 범죄 수법과 범죄 관련 정보를 추출하고 유형화하여, 향후 데이터 분석기법을 활용한 범죄 예방 분석과 수사에 기여할 수 있는 시스템을 제안한다. 본 연구에서는 범죄 수사 도메인 텍스트를 수집하고 범죄 분석의 관점에서 필요한 개체명 분류를 새로 정의하였다. 또한 최근 자연어 처리에서 높은 성능을 보이고 있는 사전학습 언어모델인 KoELECTRA를 적용한 제안 모델은 본 연구에서 정의한 범죄 도메인 개체명 실험 데이터의 9종의 메인 카테고리 분류에서 micro average(이하 micro avg) F1-score 99%, macro average(이하 macro avg) F1-score 96%의 성능을 보이고, 56종의 서브 카테고리 분류에서 micro avg F1-score 98%, macro avg F1-score 62%의 성능을 보인다. 제안한 모델을 통해 향후 개선 가능성과 활용 가능성의 관점에서 분석한다.

Research on Developing a Conversational AI Callbot Solution for Medical Counselling

  • Won Ro LEE;Jeong Hyon CHOI;Min Soo KANG
    • 한국인공지능학회지
    • /
    • 제11권4호
    • /
    • pp.9-13
    • /
    • 2023
  • In this study, we explored the potential of integrating interactive AI callbot technology into the medical consultation domain as part of a broader service development initiative. Aimed at enhancing patient satisfaction, the AI callbot was designed to efficiently address queries from hospitals' primary users, especially the elderly and those using phone services. By incorporating an AI-driven callbot into the hospital's customer service center, routine tasks such as appointment modifications and cancellations were efficiently managed by the AI Callbot Agent. On the other hand, tasks requiring more detailed attention or specialization were addressed by Human Agents, ensuring a balanced and collaborative approach. The deep learning model for voice recognition for this study was based on the Transformer model and fine-tuned to fit the medical field using a pre-trained model. Existing recording files were converted into learning data to perform SSL(self-supervised learning) Model was implemented. The ANN (Artificial neural network) neural network model was used to analyze voice signals and interpret them as text, and after actual application, the intent was enriched through reinforcement learning to continuously improve accuracy. In the case of TTS(Text To Speech), the Transformer model was applied to Text Analysis, Acoustic model, and Vocoder, and Google's Natural Language API was applied to recognize intent. As the research progresses, there are challenges to solve, such as interconnection issues between various EMR providers, problems with doctor's time slots, problems with two or more hospital appointments, and problems with patient use. However, there are specialized problems that are easy to make reservations. Implementation of the callbot service in hospitals appears to be applicable immediately.

최신 대화형 에이전트 기반 상용화 교육 플랫폼 오류 분석 (Error Analysis of Recent Conversational Agent-based Commercialization Education Platform)

  • 이승준;박찬준;서재형;임희석
    • 한국융합학회논문지
    • /
    • 제13권3호
    • /
    • pp.11-22
    • /
    • 2022
  • 최근 교육 분야에서 다양한 인공지능 기술을 활용한 연구와 개발이 이뤄지고 있다. 인공지능을 활용한 교육 중 특히 대화형 에이전트는 시간과 공간의 제약을 받지 않고 음성인식, 번역과 같은 다양한 인공지능 기술과 결합해 더 효과적인 언어 학습을 가능하게 한다. 본 논문은 상용화된 교육용 플랫폼 중 이용자 수가 많고 영어 학습을 위한 대화형 에이전트가 활용된 플랫폼에 대한 동향 분석을 진행하였다. 동향 분석을 통해 현재 상용화된 교육용 플랫폼의 대화형 에이전트는 여러 한계점과 문제점이 존재했다. 구체적인 문제점과 한계점 분석을 위해 사전 학습된 최신 대용량 대화 모델과 비교 실험을 진행하였고, 실험 방법으로 대화형 에이전트의 대답이 사람과 비슷한지를 평가하는 Sensibleness and Specificity Average (SSA) 휴먼 평가를 진행하였다. 실험 내용을 바탕으로, 효과적인 학습을 위해 개선방안으로 대용량 파라미터로 학습된 대화 모델, 교육 데이터, 정보 검색 기능의 필요성을 제안했다.

오픈 소스 기반의 거대 언어 모델 연구 동향: 서베이 (A Survey on Open Source based Large Language Models)

  • 주하영;오현택;양진홍
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.193-202
    • /
    • 2023
  • 최근 대규모 데이터 세트로 학습된 거대 언어 모델들의 뛰어난 성능이 공개되면서 큰 화제가 되고 있다. 하지만 거대 언어 모델을 학습하고 활용하기 위해서는 초대용량의 컴퓨팅 및 메모리 자원이 필요하므로, 대부분의 연구는 빅테크 기업들을 중심으로 폐쇄적인 환경에서 진행되고 있었다. 하지만, Meta의 거대 언어 모델 LLaMA가 공개되면서 거대 언어 모델 연구들은 기존의 폐쇄적인 환경에서 벗어나 오픈 소스화되었고, 관련 생태계가 급격히 확장되어 가고 있다. 이러한 배경하에 사전 학습된 거대 언어 모델을 추가 학습시켜 특정 작업에 특화되거나 가벼우면서도 성능이 뛰어난 모델들이 활발히 공유되고 있다. 한편, 사전 학습된 거대 언어 모델의 학습데이터는 영어가 큰 비중을 차지하기 때문에 한국어의 성능이 비교적 떨어지며, 이러한 한계를 극복하기 위해 한국어 데이터로 추가 학습을 시키는 한국어 특화 언어 모델 연구들이 이루어지고 있다. 본 논문에서는 오픈 소스 기반의 거대 언어 모델의 생태계 동향을 파악하고 영어 및 한국어 특화 거대 언어 모델에 관한 연구를 소개하며, 거대 언어 모델의 활용 방안과 한계점을 파악한다.

Improving the Classification of Population and Housing Census with AI: An Industry and Job Code Study

  • Byung-Il Yun;Dahye Kim;Young-Jin Kim;Medard Edmund Mswahili;Young-Seob Jeong
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권4호
    • /
    • pp.21-29
    • /
    • 2023
  • 본 논문에서는 인구 조사에서 산업 및 직업 코드를 자동 분류하기 위한 인공지능 기반 시스템을 제안한다. 산업 및 직업 코드의 정확한 분류는 정책 결정, 자원 할당 및 연구를 위해 매우 중요하지만, 기존의 방식은 사람이 작성한 사례 사전에 의존하는 규칙 기반 방식으로 규칙 생성에 필요한 시간과 자원이 많이 소요되며 오류 발생 가능성이 높다. 우리는 본 논문에서 통계 기관에서 사용하는 기존의 규칙 기반 시스템을 대체하기 위해 사용자가 입력한 데이터를 이용하는 인공지능 기반 시스템을 제안하였다. 이 논문에서는 여러 모델을 학습하고 평가하여 산업에서 86.76%의 일치율, 직업에서 81.84%의 일치율을 달성한 앙상블 모델을 개발하였다. 또한, 분류 확률 결과를 기반으로 프로세스 개선 작업도 제안하였다. 우리가 제안한 방법은 전이 학습 기술을 활용하여 사전 학습된 모델과 결합하는 앙상블 모델을 사용하였으며, 개별 모델과 비교하여 앙상블 모델의 성능이 더 높아짐을 보였다. 본 논문에서는 인공지능 기반 시스템이 인구 조사 데이터 분류의 정확성과 효율성을 향상시키는 잠재력을 보여주며, 인공지능으로 이러한 프로세스를 자동화함으로써 더 정확하고 일관된 결과를 달성하며 기관 직원의 작업 부담을 줄일 수 있다는 점을 보여준다.