• 제목/요약/키워드: model transformer

검색결과 588건 처리시간 0.023초

Optimization of attention map based model for improving the usability of style transfer techniques

  • Junghye Min
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권8호
    • /
    • pp.31-38
    • /
    • 2023
  • 딥러닝 기반 영상 처리 기술 중 최근 활발히 연구되어 많은 성능 향상을 이룬 기술 중 하나는 스타일 전이 (Style Transfer) 기술이다. 스타일 전이 기술은 콘텐츠 영상과 스타일 영상을 입력받아 콘텐츠 영상의 스타일을 변환한 결과 영상을 생성하는 기술로 디지털 콘텐츠의 다양성을 확보하는데 활용할 수 있어 중요성이 커지고 있다. 이런 스타일 전이 기술의 사용성을 향상하기 위해서는 안정적인 성능의 확보가 중요하다. 최근 자연어 처리 분야에서 트랜스포머 (Transformer) 개념이 적극적으로 활용됨에 트랜스포머의 기반이 되는 어텐션 맵이 스타일 전이 기술 개발에도 활발하게 적용되어 연구되고 있다. 본 논문에서는 그중 대표가 되는 SANet과 AdaAttN 기술을 분석하고 향상된 스타일 전이 결과를 생성 할 수 있는 새로운 어텐션 맵 기반 구조를 제안한다. 결과 영상은 제안하는 기술이 콘텐츠 영상의 구조를 보존하면서도 스타일 영상의 특징을 효과적으로 적용하고 있음을 보여준다.

Updated Primer on Generative Artificial Intelligence and Large Language Models in Medical Imaging for Medical Professionals

  • Kiduk Kim;Kyungjin Cho;Ryoungwoo Jang;Sunggu Kyung;Soyoung Lee;Sungwon Ham;Edward Choi;Gil-Sun Hong;Namkug Kim
    • Korean Journal of Radiology
    • /
    • 제25권3호
    • /
    • pp.224-242
    • /
    • 2024
  • The emergence of Chat Generative Pre-trained Transformer (ChatGPT), a chatbot developed by OpenAI, has garnered interest in the application of generative artificial intelligence (AI) models in the medical field. This review summarizes different generative AI models and their potential applications in the field of medicine and explores the evolving landscape of Generative Adversarial Networks and diffusion models since the introduction of generative AI models. These models have made valuable contributions to the field of radiology. Furthermore, this review also explores the significance of synthetic data in addressing privacy concerns and augmenting data diversity and quality within the medical domain, in addition to emphasizing the role of inversion in the investigation of generative models and outlining an approach to replicate this process. We provide an overview of Large Language Models, such as GPTs and bidirectional encoder representations (BERTs), that focus on prominent representatives and discuss recent initiatives involving language-vision models in radiology, including innovative large language and vision assistant for biomedicine (LLaVa-Med), to illustrate their practical application. This comprehensive review offers insights into the wide-ranging applications of generative AI models in clinical research and emphasizes their transformative potential.

Construction of Text Summarization Corpus in Economics Domain and Baseline Models

  • Sawittree Jumpathong;Akkharawoot Takhom;Prachya Boonkwan;Vipas Sutantayawalee;Peerachet Porkaew;Sitthaa Phaholphinyo;Charun Phrombut;Khemarath Choke-mangmi;Saran Yamasathien;Nattachai Tretasayuth;Kasidis Kanwatchara;Atiwat Aiemleuk;Thepchai Supnithi
    • Journal of information and communication convergence engineering
    • /
    • 제22권1호
    • /
    • pp.33-43
    • /
    • 2024
  • Automated text summarization (ATS) systems rely on language resources as datasets. However, creating these datasets is a complex and labor-intensive task requiring linguists to extensively annotate the data. Consequently, certain public datasets for ATS, particularly in languages such as Thai, are not as readily available as those for the more popular languages. The primary objective of the ATS approach is to condense large volumes of text into shorter summaries, thereby reducing the time required to extract information from extensive textual data. Owing to the challenges involved in preparing language resources, publicly accessible datasets for Thai ATS are relatively scarce compared to those for widely used languages. The goal is to produce concise summaries and accelerate the information extraction process using vast amounts of textual input. This study introduced ThEconSum, an ATS architecture specifically designed for Thai language, using economy-related data. An evaluation of this research revealed the significant remaining tasks and limitations of the Thai language.

동적모델을 이용한 대규모 전력계통의 등가 리액턴스와 저항 비율(X/R) 계산 (Dynamic Model Based Ratio Calculation of Equivalent Reactance and Resistance of the Bulk Power Systems)

  • 국경수;노대석
    • 한국산학기술학회논문지
    • /
    • 제12권6호
    • /
    • pp.2739-2746
    • /
    • 2011
  • 본 논문은 발전기, 변압기, 선로 및 부하로 구성 되는 복합 전력계통의 등가 리액턴스와 저항의 비율인 X/R 값을 더욱 효과적으로 계산하는 방법을 제안하고 이를 통해 실제 전력계통의 X/R 값을 계산하고 그 특성을 분석한다. 전력계통에서 X/R값은 전력계통의 차단기 정격을 결정하기 위해 사용되는 매우 중요한 값으로 주요 선로의 특징에 따라 X/R 값이 매우 커 전력계통의 해석에서는 등가저항(R)값을 고려하지 않는 것으로 인식되어 왔으나 이는 복합 전력계통에서 선로측만을 고려하였을 경우이고 전력계통의 모든 구성요소룰 고려할 경우 등가저항(R)의 값도 무시해서는 안 될 수준이 된다. 본 논문에서는 전력계통 해석에 널리 사용하고 있는 동적모델을 이용하여 전력계통의 X/R 값을 계산하는 방법을 제안하고 이를 시험계통에 적용하여 그 유용성을 검증 한 후 실제 대규모 복합 전력계통에서의 X/R 값을 분석한다. 또한 본 논문에서는 전력시장에서 사용되어 온 한계손실계수를 이용하여 X/R값이 계산위치의 발전기 근접도에 따라 달라지는 특성을 분석한다.

새로운 금속막대 커패시터를 적용한 감쇄모드 도파관 대역통과 여파기 (Evanescent-mode Waveguide Band-pass Filter Applied by Novel Metal Post Capacitor)

  • 김병문;윤리호;이상민;홍재표
    • 한국전자통신학회논문지
    • /
    • 제17권5호
    • /
    • pp.775-782
    • /
    • 2022
  • 본 논문에서는 보다 편리한 튜닝을 위해 Evanescent-Mode Rectangle Waveguide(EMRWG)에 삽입된 새로운 작은 직경의 원통형 포스트 커패시터를 제안하였다. EMRWG급전을 위한 제안된 구조는 입력 및 출력 끝에서 도파관과 동일한 너비와 높이를 갖는 단일 리지 직사각형 도파관을 사용하였다. 삽입된 포스트 커패시터는 EMRWG의 넓은 벽체 하부 중앙에 형성된 원형 홈과 상부에 삽입된 동심원기둥 포스트로 구성된다. 먼저 제안된 구조에 대한 등가회로 모델을 제시하였고, EMRWG와 단일 리지 도파관이 결합될 때 이상적인 변압기의 접합 서셉턴스와 권선비는 각각 HFSS(3d fullwave 시뮬레이터, Ansoft Co.)를 사용하여 두 가지 경우에 대해 시뮬레이션하였다. 얻어진 매개변수와 EMRWG의 특성을 이용하여 삽입된 기둥의 서셉턴스 및 공진 특성을 분석하였다. 중심주파수 4.5GHz, 대역폭 170MHz의 2포스트 필터는 WR-90 도파관을 이용하여 설계하였으며, 등가회로 모델에 대한 계산과 HFSS와 CST를 이용한 시뮬레이션 결과가 서로 일치하였다.

딥러닝과 Landsat 8 영상을 이용한 캘리포니아 산불 피해지 탐지 (Detection of Wildfire Burned Areas in California Using Deep Learning and Landsat 8 Images)

  • 서영민;윤유정;김서연;강종구;정예민;최소연;임윤교;이양원
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1413-1425
    • /
    • 2023
  • 기후변화로 인한 대형 산불의 빈도가 증가함에 따라 극심한 인명 및 재산상의 피해를 초래하고 있다. 이로 인해 많은 식생이 소실되며, 그 강도와 발생 형태에 따라 생태계 변화에 영향을 끼친다. 생태계 변화는 다시 산불 발생을 유발하여 2차 피해를 야기한다. 따라서 산불 피해지에 대한 정확한 탐지 및 면적 산정의 중요성이 지속적으로 제기되고 있다. 효율적인 산불 피해지 모니터링을 위해 산불 발생 후 실시간 지형 및 기상정보는 물론 피해지역의 영상을 대규모로 취득할 수 있는 위성영상이 주로 활용되고 있다. 최근, 합성곱 신경망(convolution neural network, CNN) 기반 모델부터 고성능 트랜스포머(Transformer) 기반 모델에 이르기까지 딥러닝 알고리즘이 빠르게 발전하면서 산림원격탐사에서 이를 적용한 연구가 활발히 이루어지고 있다. 하지만 현재까지 적용된 딥러닝 모델은 제한적이며 현업에서의 합리적인 활용을 위한 정량적 성능평가에 대한 보고가 부족한 상황이다. 따라서 본 연구에서는 모델에 따른 성능향상과 데이터 설계에 따른 성능향상을 중점적으로 비교 분석하였다. 미국 캘리포니아 지역을 대상으로 CNN 기반 모델의 U-Net, High Resolution Network-Object Contextual Representation (HRNet-OCR)을 활용하여 산불 피해지 모델을 구축하였다. 또한, 기본 파장대역과 함께 식생활력도 및 지표의 수분함량 정도를 고려하고자 normalized difference vegetation index (NDVI), normalized burn ratio (NBR)와 같은 산불 관련 분광지수를 산출하여 입력 이미지로 사용하였다. U-Net의 mean intersection over union (mIoU)이 0.831, HRNet-OCR이 0.848을 기록하여 두 모델 모두 우수한 영상분할 성능을 보였다. 또한, 밴드 반사도뿐 아니라 분광지수를 추가한 결과 모든 조합에서 평가지표 값이 상승하여 분광지수를 활용한 입력 데이터 확장이 픽셀 세분화에 기여함을 확인하였다. 이와 같은 딥러닝 방법론을 발전시킨다면 우리나라의 산불 피해지에 대한 신속한 파악 및 복구 계획 수립의 기초자료로 활용될 수 있을 것으로 기대된다.

한국어 자연어생성에 적합한 사전훈련 언어모델 특성 연구 (A Study of Pre-trained Language Models for Korean Language Generation)

  • 송민채;신경식
    • 지능정보연구
    • /
    • 제28권4호
    • /
    • pp.309-328
    • /
    • 2022
  • 본 연구는 자연어처리의 분석목적과 추론데이터 성격에 적합한 한국어 사전훈련 언어모델의 특성을 실증분석했다. 이를 위해 자연어생성이 가능한 대표적 사전훈련 언어모델인 BART와 GPT 모델을 실험에 사용했다. 구체적으로 한국어 텍스트를 BART와 GPT 모델에 학습한 사전훈련 언어모델을 사용해 문서요약 생성 성능을 비교했다. 다음으로 추론데이터의 특성에 따라 언어모델의 성능이 어떻게 달라지는지 확인하기 위해 6가지 정보전달성과 4가지 창작물 유형의 한국어 텍스트 문서에 적용했다. 그 결과, 모든 문서유형에서 인코더와 디코더가 모두 있는 BART의 구조가 디코더만 있는 GPT 모델보다 더 높은 성능을 보였다. 추론데이터의 특성이 사전훈련 언어모델의 성능에 미치는 영향을 살펴본 결과, KoGPT는 데이터의 길이에 성능이 비례한 것으로 나타났다. 그러나 길이가 가장 긴 문서에 대해서도 KoGPT보다 KoBART의 성능이 높아 다운스트림 태스크 목적에 맞는 사전훈련 모델의 구조가 자연어생성 성능에 가장 크게 영향을 미치는 요소인 것으로 나타났다. 추가적으로 본 연구에서는 정보전달성과 창작물로 문서의 특징을 구분한 것 외에 품사의 비중으로 문서의 특징을 파악해 사전훈련 언어모델의 성능을 비교했다. 그 결과, KoBART는 어미와 형용사/부사, 동사의 비중이 높을수록 성능이 떨어진 반면 명사의 비중이 클수록 성능이 좋았다. 반면 KoGPT는 KoBART에 비해 품사의 비중과 상관도가 낮았다. 이는 동일한 사전훈련 언어모델이라도 추론데이터의 특성에 따라 자연어생성 성능이 달라지기 때문에 다운스트림 태스크에 사전훈련 언어모델 적용 시 미세조정 외에 추론데이터의 특성에 대한 고려가 중요함을 의미한다. 향후 어순 등 분석을 통해 추론데이터의 특성을 파악하고, 이것이 한국어 생성에 미치는 영향을 분석한다면 한국어 특성에 적합한 언어모델이나 자연어생성 성능 지표 개발이 가능할 것이다.

스미스 차트를 이용한 구리 인터커텍트의 비파괴적 부식도 평가 (Nondestructive Quantification of Corrosion in Cu Interconnects Using Smith Charts)

  • 강민규;김남경;남현우;강태엽
    • 마이크로전자및패키징학회지
    • /
    • 제31권2호
    • /
    • pp.28-35
    • /
    • 2024
  • 전자패키지 내부의 부식이 시스템 성능 및 신뢰성에 큰 영향을 미치고 있어, 시스템 건전성 관리를 위해 부식에 대한 비파괴적 진단 기법의 필요성이 커지고 있다. 본 연구에서는 복소 임피던스의 크기와 위상을 통합적으로 시각화하는 도구인 스미스 차트를 활용하여, 구리 인터커넥트의 부식을 비파괴적으로 평가하는 방법을 제시하고자 한다. 실험을 위해 구리 전송선을 모사한 시편을 제작하고, MIL-STD-810G 기준 온습도 사이클에 노출시켜 시편에 부식을 인가하였다. R 채널 기반 색변화로 시편의 부식도를 정량적으로 평가하고 레이블링 하였다. 부식의 성장에 따라 시편의 S-파라미터와 스미스 차트를 측정한 결과, 5 단계의 부식도에 따라 유의미한 패턴의 변화가 관찰되어, 스미스 차트가 부식도 평가에 효과적인 도구임을 확인하였다. 더 나아가 데이터 증강을 통해 다양한 부식도를 갖는 4,444개의 스미스 차트를 확보하여, 스미스 차트를 입력 받아 구리 인터커넥트의 부식 단계를 출력하는 인공지능 모델을 학습시켰다. 이미지 분류에 특화된 CNN 및 Transfomrer 모델을 적용한 결과, ConvNeXt 모델이 정확도 89.4%로 가장 높은 부식 진단 성능을 보였다. 스미스 차트를 이용하여 전자패키지 내부 부식을 진단할 경우, 전자신호를 이용하는 비파괴적 평가를 수행할 수 있다. 또한. 신호 크기와 위상 정보를 통합적으로 시각화 하여 직관적이며 노이즈에 강건한 진단이 가능할 것으로 기대한다.