• 제목/요약/키워드: Transformer

검색결과 4,329건 처리시간 0.034초

MLOps workflow language and platform for time series data anomaly detection

  • Sohn, Jung-Mo;Kim, Su-Min
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권11호
    • /
    • pp.19-27
    • /
    • 2022
  • 본 연구에서는 시계열 데이터 이상 탐지 수행을 위한 MLOps(Machine Learning Operations) 워크플로를 기술하고 관리할 수 있는 언어와 플랫폼을 제안한다. 시계열 데이터는 IoT 센서, 시스템 성능 지표, 사용자 접속량 등 많은 분야에서 수집되고 있다. 또한, 시스템 모니터링 및 이상 탐지 등 많은 응용 분야에 활용 중이다. 시계열 데이터의 예측 및 이상 탐지를 수행하기 위해서는 분석된 모델을 빠르고 유연하게 운영 환경에 적용할 수 있는 MLOps 플랫폼이 필요하다. 이에, 최근 데이터 분석에 많이 활용되고 있는 Python 기반의 AMML(AI/ML Modeling Language)을 개발하여 손쉽게 MLOps 워크플로를 구성하고 실행할 수 있도록 제안한다. 제안하는 AI MLOps 플랫폼은 AMML을 이용하여 다양한 데이터 소스(R-DB, NoSql DB, Log File 등)에서 시계열 데이터를 추출, 전처리 및 예측을 수행할 수 있다. AMML의 적용 가능성을 검증하기 위해, 변압기 오일 온도 예측 딥러닝 모델을 생성하는 워크플로를 AMML로 구성하고 학습이 정상적으로 수행됨을 확인하였다.

딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동분류 (Automatic Classification of Academic Articles Using BERT Model Based on Deep Learning)

  • 김인후;김성희
    • 정보관리학회지
    • /
    • 제39권3호
    • /
    • pp.293-310
    • /
    • 2022
  • 본 연구에서는 한국어 데이터로 학습된 BERT 모델을 기반으로 문헌정보학 분야의 문서를 자동으로 분류하여 성능을 분석하였다. 이를 위해 문헌정보학 분야의 7개 학술지의 5,357개 논문의 초록 데이터를 학습된 데이터의 크기에 따라서 자동분류의 성능에 어떠한 차이가 있는지를 분석, 평가하였다. 성능 평가척도는 정확률(Precision), 재현율(Recall), F 척도를 사용하였다. 평가결과 데이터의 양이 많고 품질이 높은 주제 분야들은 F 척도가 90% 이상으로 높은 수준의 성능을 보였다. 반면에 데이터 품질이 낮고 내용적으로 다른 주제 분야들과 유사도가 높고 주제적으로 확실히 구별되는 자질이 적을 경우 유의미한 높은 수준의 성능 평가가 도출되지 못하였다. 이러한 연구는 미래 학술 문헌에서 지속적으로 활용할 수 있는 사전학습모델의 활용 가능성을 제시하기 위한 기초자료로 활용될 수 있을 것으로 기대한다.

선박 회전축의 무선 센서 시스템의 전원 공급을 위한 회전식 정전용량-무선 전력 전송 시스템 (A Rotary Capacitive-Wireless Power Transfer System for Power Supply of a Wireless Sensor System on Marine Rotating Shaft)

  • 호앙 반 아이;이영철
    • 한국항행학회논문지
    • /
    • 제27권1호
    • /
    • pp.63-70
    • /
    • 2023
  • 본 연구는 선박 추진 축계의 무선 센서 시스템(WSS) 응용을 위한 용량성 무선 전력 전송(C-WPT) 시스템을 제시한다. 커플링 커패시터 양쪽의 단일 Q 팩터 및 회로에서 무효 전력제거를 위해 양면 LCLC 컨버터 및 변압기 토폴로지가샤프트에서 WSS용 회전식 C-WPT 시스템을 구동하도록 설계되었습니다. 170pF의 용량을 갖는 병렬 연결된 평행판 회전 커패시터가 설회전축의 C-WPT 시스템용으로 설계 및 구현된다. 실험 결과 C-WPT 시스템은 3mm 거리 및 1 MHz 작동 주파수에서 7.8 W 출력 전력으로 66.67 %의 전송 효율을 달성했다. 따라서 제작된 C-WPT 시스템은 회전축의 WSS에 전원을 공급할 수 있음을 증명하였다.

Twin models for high-resolution visual inspections

  • Seyedomid Sajedi;Kareem A. Eltouny;Xiao Liang
    • Smart Structures and Systems
    • /
    • 제31권4호
    • /
    • pp.351-363
    • /
    • 2023
  • Visual structural inspections are an inseparable part of post-earthquake damage assessments. With unmanned aerial vehicles (UAVs) establishing a new frontier in visual inspections, there are major computational challenges in processing the collected massive amounts of high-resolution visual data. We propose twin deep learning models that can provide accurate high-resolution structural components and damage segmentation masks efficiently. The traditional approach to cope with high memory computational demands is to either uniformly downsample the raw images at the price of losing fine local details or cropping smaller parts of the images leading to a loss of global contextual information. Therefore, our twin models comprising Trainable Resizing for high-resolution Segmentation Network (TRS-Net) and DmgFormer approaches the global and local semantics from different perspectives. TRS-Net is a compound, high-resolution segmentation architecture equipped with learnable downsampler and upsampler modules to minimize information loss for optimal performance and efficiency. DmgFormer utilizes a transformer backbone and a convolutional decoder head with skip connections on a grid of crops aiming for high precision learning without downsizing. An augmented inference technique is used to boost performance further and reduce the possible loss of context due to grid cropping. Comprehensive experiments have been performed on the 3D physics-based graphics models (PBGMs) synthetic environments in the QuakeCity dataset. The proposed framework is evaluated using several metrics on three segmentation tasks: component type, component damage state, and global damage (crack, rebar, spalling). The models were developed as part of the 2nd International Competition for Structural Health Monitoring.

Optimization of attention map based model for improving the usability of style transfer techniques

  • Junghye Min
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권8호
    • /
    • pp.31-38
    • /
    • 2023
  • 딥러닝 기반 영상 처리 기술 중 최근 활발히 연구되어 많은 성능 향상을 이룬 기술 중 하나는 스타일 전이 (Style Transfer) 기술이다. 스타일 전이 기술은 콘텐츠 영상과 스타일 영상을 입력받아 콘텐츠 영상의 스타일을 변환한 결과 영상을 생성하는 기술로 디지털 콘텐츠의 다양성을 확보하는데 활용할 수 있어 중요성이 커지고 있다. 이런 스타일 전이 기술의 사용성을 향상하기 위해서는 안정적인 성능의 확보가 중요하다. 최근 자연어 처리 분야에서 트랜스포머 (Transformer) 개념이 적극적으로 활용됨에 트랜스포머의 기반이 되는 어텐션 맵이 스타일 전이 기술 개발에도 활발하게 적용되어 연구되고 있다. 본 논문에서는 그중 대표가 되는 SANet과 AdaAttN 기술을 분석하고 향상된 스타일 전이 결과를 생성 할 수 있는 새로운 어텐션 맵 기반 구조를 제안한다. 결과 영상은 제안하는 기술이 콘텐츠 영상의 구조를 보존하면서도 스타일 영상의 특징을 효과적으로 적용하고 있음을 보여준다.

자율주행을 위한 Self-Attention 기반 비지도 단안 카메라 영상 깊이 추정 (Unsupervised Monocular Depth Estimation Using Self-Attention for Autonomous Driving)

  • 황승준;박성준;백중환
    • 한국항행학회논문지
    • /
    • 제27권2호
    • /
    • pp.182-189
    • /
    • 2023
  • 깊이 추정은 차량, 로봇, 드론의 자율주행을 위한 3차원 지도 생성의 핵심 기술이다. 기존의 센서 기반 깊이 추정 방식은 정확도는 높지만 가격이 비싸고 해상도가 낮다. 반면 카메라 기반 깊이 추정 방식은 해상도가 높고 가격이 저렴하지만 정확도가 낮다. 본 연구에서는 무인항공기 카메라의 깊이 추정 성능 향상을 위해 Self-Attention 기반의 비지도 단안 카메라 영상 깊이 추정을 제안한다. 네트워크에 Self-Attention 연산을 적용하여 전역 특징 추출 성능을 향상시킨다. 또한 카메라 파라미터를 학습하는 네트워크를 추가하여 카메라 칼리브레이션이 안되어있는 이미지 데이터에서도 사용 가능하게 한다. 공간 데이터 생성을 위해 추정된 깊이와 카메라 포즈는 카메라 파라미터를 이용하여 포인트 클라우드로 변환되고, 포인트 클라우드는 Octree 구조의 점유 그리드를 사용하여 3D 맵으로 매핑된다. 제안된 네트워크는 합성 이미지와 Mid-Air 데이터 세트의 깊이 시퀀스를 사용하여 평가된다. 제안하는 네트워크는 이전 연구에 비해 7.69% 더 낮은 오류 값을 보여주었다.

PCBs 함유 액상폐기물의 신속분석방법 고찰 (Rapid analytical method of the polychlorinated biphenyls in PCBs containing liquid wastes)

  • 신선경;전태완;윤정기;김태승;오길종;김영식;김경수
    • 분석과학
    • /
    • 제21권3호
    • /
    • pp.174-182
    • /
    • 2008
  • 본 연구에서는 PCBs 함유 폐기물의 적정관리방안을 마련하기 위하여 우리나라의 폐기물공정시험방법에서 제시하고 있는 액상폐기물 중 PCBs 분석방법을 토대로 시간 및 비용을 효과적으로 보다 신속하게 분석하는 방법을 제시하고자, 추출 및 전처리방법, 칼럼정제방법, 분석용 칼럼 조건, 기기분석 조건 및 정량방법을 개발하였다. 분석방법을 검토한 결과 분석시간을 폐기물공정시험방법의 분석시간의 2/3정도로 단축시켰고, 검출한계는 0.5 mg/L이었다. 또한, 제안된 신속분석방법을 PCBs 함유 절연유에 적용하였을 경우 규제기준(2.0 mg/L) 부근인 2.35 mg/L에서 과소평가되는 경향이 나타났으며, 이 시험법을 사용하였을 때 PCBs 함유 폐기물의 부적정하게 평가되는 것을 막기 위해 적용 농도범위를 소수첫째자리에서 반올림하여 최소자리수를 일의자리 즉 1 mg/L 이하인 경우(0.5~1.4 mg/L)로 제한하는 것이 바람직한 것으로 나타났다.

계층적 어탠션 구조와 트랜스포머를 활용한 알츠하이머 진단과 생성 기반 챗봇 (Alzheimer's Diagnosis and Generation-Based Chatbot Using Hierarchical Attention and Transformer)

  • 박준영;최창환;신수종;이정재;최상일
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.333-335
    • /
    • 2022
  • 본 논문에서는 기존에 두 가지 모델이 필요했던 작업을 하나의 모델로 처리할 수 있는 자연어 처리 아키텍처를 제안한다. 단일 모델로 알츠하이머 환자의 언어패턴과 대화맥락을 분석하고 두 가지 결과인 환자분류와 챗봇의 대답을 도출한다. 일상생활에서 챗봇으로 환자의 언어특징을 파악한다면 의사는 조기진단을 위해 더 정밀한 진단과 치료를 계획할 수 있다. 제안된 모델은 전문가가 필요했던 질문지법을 대체하는 챗봇 개발에 활용된다. 모델이 수행하는 자연어 처리 작업은 두 가지이다. 첫 번째는 환자가 병을 가졌는지 여부를 확률로 표시하는 '자연어 분류'이고 두 번째는 환자의 대답에 대한 챗봇의 다음 '대답을 생성'하는 것이다. 전반부에서는 셀프어탠션 신경망을 통해 환자 발화 특징인 맥락벡터(context vector)를 추출한다. 이 맥락벡터와 챗봇(전문가, 진행자)의 질문을 함께 인코더에 입력해 질문자와 환자 사이 상호작용 특징을 담은 행렬을 얻는다. 벡터화된 행렬은 환자분류를 위한 확률값이 된다. 행렬을 챗봇(진행자)의 다음 대답과 함께 디코더에 입력해 다음 발화를 생성한다. 이 구조를 DementiaBank의 쿠키도둑묘사 말뭉치로 학습한 결과 인코더와 디코더의 손실함수 값이 유의미하게 줄어들며 수렴하는 양상을 확인할 수 있었다. 이는 알츠하이머병 환자의 발화 언어패턴을 포착하는 것이 향후 해당 병의 조기진단과 종단연구에 기여할 수 있음을 보여준다.

  • PDF

마이크로리터 부피의 에탄올 수용액 농도 검출을 위한 고감도 마이크로스트립 패치 센서 안테나 (High-Sensitivity Microstrip Patch Sensor Antenna for Detecting Concentration of Ethanol-Water Solution in Microliter Volume)

  • 여준호;이종익
    • 한국항행학회논문지
    • /
    • 제26권6호
    • /
    • pp.510-515
    • /
    • 2022
  • 본 논문에서는 마이크로리터 부피의 에탄올 수용액 농도를 검출하기 위한 마이크로스트립 패치 센서 안테나를 제안하였다. 비유전율 변화에 대한 감도를 높이기 위해 패치의 방사 모서리에 직사각형 슬롯을 추가하였다. 높은 비유전율과 높은 손실 탄젠트를 가지는 극성 액체인 에탄올 수용액을 패치에 놓으면 발생하는 낮은 입력 저항을 개선하기 위해 1/4 파장 임피던스 변환기를 50 오옴 급전선과 패치 사이에 추가하여 0.76 mm 두께의 RF-35 기판에 안테나를 제작하였다. 원통형 용기를 아크릴로 제작하여 15 마이크로리터 부피의 에탄올 수용액을 에탄올 농도 0% ~ 100%까지 20% 농도 간격으로 만들어 실험하였다. 실험 결과, 에탄올 수용액의 에탄올 농도가 0%에서 100%로 증가할 때 공진 주파수가 1.947 GHz에서 2.509 GHz로 증가하여 농도검출 센서로서의 성능을 입증하였다.

W밴드 radial 전력 결합기용 TE10-TEM 모드 변환기 설계 (Design of TE10 to TEM mode convertor for W-band radial power combiner)

  • 김영곤;용명훈;류한춘;권세훈;우선걸
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권6호
    • /
    • pp.41-46
    • /
    • 2023
  • 본 논문에서는 W밴드 radial 전력 결합기용 TE10-TEM 모드 변환기에 대한 설계 방법을 제안하였다. 제안한 구조는 일반적으로 이용 가능한 핀을 이용하여 TEM 모드를 구현하도록 하였으며 2단의 임피던스 변환부 및 back-short 구조를 이용하여 TE10 모드에서 TEM 모드로 자연스럽게 변환되도록 설게 하였다. 제안한 모드 변환기의 핀 구조가 하우징에 접합되어 진동 및 충격의 환경이 성능에 영향 없도록 하였다. 제안한 구조의 back-to-back 특성은 92.5~97.7 GHz 대역에서 삽입손실 1.55 dB 이하 및 10 dB 이상의 반사손실을 가짐을 확인하였다. 제안한 모드 변환기를 이용하여 높은 출력 및 안정적인 환경조건을 요구하는 초소형 레이다 및 다양한 응용 분야에 적용이 가능하리라 판단된다.