• 제목/요약/키워드: Preprocessing Process

검색결과 427건 처리시간 0.024초

Development of AI-based Smart Agriculture Early Warning System

  • Hyun Sim;Hyunwook Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권12호
    • /
    • pp.67-77
    • /
    • 2023
  • 본 연구는 스마트팜 환경에서 진행된 혁신적인 연구로, 딥러닝을 기반으로 한 질병 및 해충 탐지 모델을 개발하고, 이를 지능형 사물인터넷(IoT) 플랫폼에 적용하여 디지털 농업 환경 구현의 새로운 가능성을 탐색하였다. 연구의 핵심은 Pseudo-Labeling, RegNet, EfficientNet 등 최신 ImageNet 모델과 전처리 방식을 통합하여, 복잡한 농업 환경에서 다양한 질병과 해충을 높은 정확도로 탐지하는 것이었다. 이를 위해 앙상블 학습 기법을 적용하여 모델의 정확도와 안정성을 극대화했으며, 평균 정밀도(mAP), 정밀도, 재현율, 정확도, 박스 손실 등의 다양한 성능 지표를 통해 모델을 평가하였다. 또한, SHAP 프레임워크를 활용하여 모델의 예측 기준에 대한 깊은 이해를 도모하였고, 이를 통해 모델의 결정 과정을 보다 투명하게 만들었다. 이러한 분석은 모델이 어떻게 다양한 변수들을 고려하여 질병 및 해충을 탐지하는지에 대한 중요한 통찰력을 제공하였다.

Efficient Semi-automatic Annotation System based on Deep Learning

  • Hyunseok Lee;Hwa Hui Shin;Soohoon Maeng;Dae Gwan Kim;Hyojeong Moon
    • 대한임베디드공학회논문지
    • /
    • 제18권6호
    • /
    • pp.267-275
    • /
    • 2023
  • This paper presents the development of specialized software for annotating volume-of-interest on 18F-FDG PET/CT images with the goal of facilitating the studies and diagnosis of head and neck cancer (HNC). To achieve an efficient annotation process, we employed the SE-Norm-Residual Layer-based U-Net model. This model exhibited outstanding proficiency to segment cancerous regions within 18F-FDG PET/CT scans of HNC cases. Manual annotation function was also integrated, allowing researchers and clinicians to validate and refine annotations based on dataset characteristics. Workspace has a display with fusion of both PET and CT images, providing enhance user convenience through simultaneous visualization. The performance of deeplearning model was validated using a Hecktor 2021 dataset, and subsequently developed semi-automatic annotation functionalities. We began by performing image preprocessing including resampling, normalization, and co-registration, followed by an evaluation of the deep learning model performance. This model was integrated into the software, serving as an initial automatic segmentation step. Users can manually refine pre-segmented regions to correct false positives and false negatives. Annotation images are subsequently saved along with their corresponding 18F-FDG PET/CT fusion images, enabling their application across various domains. In this study, we developed a semi-automatic annotation software designed for efficiently generating annotated lesion images, with applications in HNC research and diagnosis. The findings indicated that this software surpasses conventional tools, particularly in the context of HNC-specific annotation with 18F-FDG PET/CT data. Consequently, developed software offers a robust solution for producing annotated datasets, driving advances in the studies and diagnosis of HNC.

금융권에 적용 가능한 금융특화언어모델 구축방안에 관한 연구 (A Study on the Construction of Financial-Specific Language Model Applicable to the Financial Institutions)

  • 배재권
    • 한국산업정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.79-87
    • /
    • 2024
  • 최근 텍스트분류, 감성분석, 질의응답 등의 자연어 처리를 위해서 사전학습언어모델(Pre-trained Language Model, PLM)의 중요성은 날로 강조되고 있다. 한국어 PLM은 범용적인 도메인의 자연어 처리에서 높은 성능을 보이나 금융, 제조, 법률, 의료 등의 특화된 도메인에서는 성능이 미약하다. 본 연구는 금융도메인 뿐만 아니라 범용도메인에서도 우수한 성능을 보이는 금융특화 언어모델의 구축을 위해 언어모델의 학습과정과 미세조정 방법을 제안하는 것이 주요 목표이다. 금융도메인 특화언어모델을 구축하는 과정은 (1) 금융데이터 수집 및 전처리, (2) PLM 또는 파운데이션 모델 등 모델 아키텍처 선정, (3) 도메인 데이터 학습과 인스트럭션 튜닝, (4) 모델 검증 및 평가, (5) 모델 배포 및 활용 등으로 구성된다. 이를 통해 금융도메인의 특성을 살린 사전학습 데이터 구축방안과 효율적인 LLM 훈련방법인 적응학습과 인스트럭션 튜닝기법을 제안하였다.

자연어 처리의 개체명 인식을 통한 기록집합체의 메타데이터 추출 방안 (A method for metadata extraction from a collection of records using Named Entity Recognition in Natural Language Processing)

  • 송치호
    • 한국기록관리학회지
    • /
    • 제24권2호
    • /
    • pp.65-88
    • /
    • 2024
  • 본 연구는 인공지능의 하위분야인 자연어 처리(NLP)의 개체명 인식(NER)을 통하여 기록에 내재된 메타데이터 값과 기술 정보를 추출하는 방안에 대한 시험적 연구이다. 연구 대상은 1960~1970년대에 생산된 구로공단 수기 기록물(약 1,200 쪽, 8만여 단어)을 대상으로 하였다. 디지털화를 포함하는 전처리 과정과 함께 기록 텍스트에 대해서 구글의 BERT 언어모델에 기반하여 구현되어 공개된 언어 API를 사용하여 개체명을 인식하였다. 그 결과로 구로공단의 과거 기록에 포함된 173개의 인명과 314개의 조직 및 기관 개체명을 추출할 수 있었고, 이는 기록의 내용에 대한 직접적인 검색어로 사용될 수 있다고 기대된다. 그리고 자연어 처리의 이론적 방법론을 반·비정형의 텍스트로 이루어진 실제 기록물에 적용할 때 발생하는 문제점을 파악하여 해결 방안과 고려해야 할 시사점을 제시했다.

Convolutional neural network of age-related trends digital radiographs of medial clavicle in a Thai population: a preliminary study

  • Phisamon Kengkard;Jirachaya Choovuthayakorn;Chollada Mahakkanukrauh;Nadee Chitapanarux;Pittayarat Intasuwan;Yanumart Malatong;Apichat Sinthubua;Patison Palee;Sakarat Na Lampang;Pasuk Mahakkanukrauh
    • Anatomy and Cell Biology
    • /
    • 제56권1호
    • /
    • pp.86-93
    • /
    • 2023
  • Age at death estimation has always been a crucial yet challenging part of identification process in forensic field. The use of human skeletons have long been explored using the principle of macro and micro-architecture change in correlation with increasing age. The clavicle is recommended as the best candidate for accurate age estimation because of its accessibility, time to maturation and minimal effect from weight. Our study applies pre-trained convolutional neural network in order to achieve the most accurate and cost effective age estimation model using clavicular bone. The total of 988 clavicles of Thai population with known age and sex were radiographed using Kodak 9000 Extra-oral Imaging System. The radiographs then went through preprocessing protocol which include region of interest selection and quality assessment. Additional samples were generated using generative adversarial network. The total clavicular images used in this study were 3,999 which were then separated into training and test set, and the test set were subsequently categorized into 7 age groups. GoogLeNet was modified at two layers and fine tuned the parameters. The highest validation accuracy was 89.02% but the test set achieved only 30% accuracy. Our results show that the use of medial clavicular radiographs has a potential in the field of age at death estimation, thus, further study is recommended.

위성영상의 방사적 특성을 고려한 구름 탐지 방법 개발 (Development of Cloud Detection Method Considering Radiometric Characteristics of Satellite Imagery)

  • 서원우;강홍기;윤완상;임평채;이수암;김태정
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1211-1224
    • /
    • 2023
  • 구름은 광학위성을 이용한 국토 관측 및 재난 대응, 변화 탐지 등 지표의 현상을 관측하는데 있어 많은 어려운 문제를 야기한다. 구름의 존재는 영상 처리 단계 뿐만 아니라 최종적으로는 데이터의 품질에 영향을 미치므로 이를 반드시 식별하고 제거하는 과정이 필요하다. 따라서 본 연구에서는 위성영상 내 구름의 분광패턴에 가장 근접한 화소를 탐색 및 추출해 최적의 임계값을 선정하고 임계값을 바탕으로 구름 산출물을 제작하는 일련의 과정을 자동으로 수행하는 새로운 구름 탐지 기법을 개발하고자 하였다. 구름 탐지 기법은 크게 세 단계로 구성된다. 첫 번째 단계에서는 Digital Number (DN) 단위 영상을 대기상층 반사율 단위로 변환하는 과정을 수행한다. 두 번째 단계에서는 대기상층 반사율 영상을 이용하여 Hue-Value-Saturation (HSV) 변환 및 삼각형 임계 처리, 최대우도 분류 등의 전처리를 적용하고 각 영상별로 초기 구름 마스크 생성을 위한 임계값을 결정한다. 세번째 후처리 단계에서는 생성된 초기 구름 마스크에 포함된 노이즈를 제거하고 구름 경계 및 내부를 개선한다. 구름 탐지를 위한 실험 자료로 구름의 공간적, 계절적 분포의 다양성을 보여주는 4~11월 시기에 한반도 지역에서 촬영된 국토위성 L2G 영상을 사용하였다. 제안 방법의 성능을 검증하기 위해 단일 임계화 방법으로 생성된 결과를 비교하였다. 실험 결과, 제안 방법은 기존 방법과 비교하여 전처리 과정을 통해 각 영상의 방사학적 특성을 고려할 수 있어 보다 정확하게 구름을 검출할 수 있었다. 또한, 구름 개체를 제외한 나머지 밝은 물체(판넬식 지붕, 콘크리트 도로, 모래 등)의 영향을 최소화하는 결과를 보여주었다. 제안 방법은 기존 방법 대비 F1-score 기준으로 30% 이상의 개선된 결과를 보여주었으나 눈이 포함된 특정 영상에서 한계점이 있었다.

HCM 클러스터링에 의한 다중 퍼지-뉴럴 네트워크 동정과 유전자 알고리즘을 이용한 이의 최적화 (Multi-FNN Identification by Means of HCM Clustering and ITs Optimization Using Genetic Algorithms)

  • 오성권;박호성
    • 한국지능시스템학회논문지
    • /
    • 제10권5호
    • /
    • pp.487-496
    • /
    • 2000
  • 본 논문에서는, HCM 클러스러팅 방법과 유전자 알고리즘을 이용하여 다중 FNN 모델을 동정하고 최적화 한다. 제안된 다중 FNN은 Yamakawa의 FNN을 기본으로 하며, 퍼지 추론 방법으로 간략 추론을, 학습으로는 오류 역전파 알고리즘을 사용한다. 다중 FNN 모델의 구조와 파라미터를 동정하기 위해 HCM 클러스터링과 유전자 알고리즘을 사용한다. 여기서, 시스템 모델링을 위해 데이터 전처리 기능을 수행하는 HCM클러스터링 방법은 I/O 프로세서 공정 데이터를 이용하여 입출력 공간분할에 의한 다중 FNN 구조를 결정하기 위해 사용된다. 또한 유전자 알고리즘을 사용하여 멤버쉽함수의 정점, 학습율, 모멘텀 계수와 같은 다중 FNN 모델의 파라미터들을 동조한다. 모델의 근사화와 일반화 능력 사이에 합히적 균형을 얻기 위해 하중계수를 가진 합성 성능지수를 사용한다. 이 합성 성능지수는 근사화 및 예측 능력사이의 상호 균형과 의존성을 고려한 하중계수를 가진 합성 목적함수를 의미한다. 데이터 개수, 비선형성의 정도에 의존하는 이 합성 목적함수의 하중계수의 선택, 조절을 통하여 최적의 다중 FNN 모델을 설계하는 것이 유용하고 효과적임을 보인다. 제안된 모델의 성능 평가를 위하여 가스로 공정의 시계열 데이터와 비선형 함수의 수치 데이터를 사용한다.

  • PDF

페로몬 트랩 영상에서 해충 검출을 위한 객체 분할 (Object Segmentation for Detection of Moths in the Pheromone Trap Images)

  • 김태우;조태경
    • 한국산학기술학회논문지
    • /
    • 제18권12호
    • /
    • pp.157-163
    • /
    • 2017
  • 객체 분할 방식은 객체를 먼저 분할한 후, 검출된 객체에 대해 해충 검출 알고리즘을 적용하므로 해충 개체를 검출하는 데 필요한 처리 비용이 줄어드는 장점이 있다. 본 논문에서는 페로몬 트랩 영상에서 해충 검출을 위한 객체 분할 방법을 제안한다. 제안한 방법은 전처리, 문턱치 처리, 형태학적 필터링, 레이블링 처리로 구성된다. 이들 과정 중 문턱치 처리는 객체 분할의 성능을 좌우하는 매우 중요한 처리 과정이다. 제안한 방법은 문턱치 처리 과정에서 해충 영상의 국소적 특성을 반영하므로 매우 정교한 문턱치 처리를 할 수 있다. 과수원에 설치된 페로몬 트랩에서 수집된 복숭아심식나방 영상에 대해 Otsu의 방법의 전역적 방식과 국소적 방식, 그리고 제안한 방법으로 처리한 결과, 제안한 방법이 조명과 배경의 특성을 잘 반영함을 알 수 있었다. 페로몬 트랩에 수집된 복숭아심식나방 영상에 대해 객체 분할과 개체 분류를 수행하였다. 개체 분류는 SVM 분류기로 학습하여 사용하였다. 실험에서 제안한 방법으로 10개의 해충 영상에 대해 복숭아심식나방 검출 결과 95%의 평균 검출율을 보임으로써 과수원의 복숭아심식나방의 개체 모니터링 방법으로서 효과적임을 보였다.

인버스 모델링을 이용한 지표면 이산화탄소 플럭스 추정 향상을 위한 항공기 관측 이산화탄소 자료동화 체계 개발 (Development of the Aircraft CO2 Measurement Data Assimilation System to Improve the Estimation of Surface CO2 Fluxes Using an Inverse Modeling System)

  • 김현정;김현미;조민광;박준;김대휘
    • 대기
    • /
    • 제28권2호
    • /
    • pp.113-121
    • /
    • 2018
  • In order to monitor greenhouse gases including $CO_2$, various types of surface-, aircraft-, and satellite-based measurement projects have been conducted. These data help understand the variations of greenhouse gases and are used in atmospheric inverse modeling systems to simulate surface fluxes for greenhouse gases. CarbonTracker is a system for estimating surface $CO_2$ flux, using an atmospheric inverse modeling method, based on only surface observation data. Because of the insufficient surface observation data available for accurate estimation of the surface $CO_2$ flux, additional observations would be required. In this study, a system that assimilates aircraft $CO_2$ measurement data in CarbonTracker (CT2013B) is developed, and the estimated results from this data assimilation system are evaluated. The aircraft $CO_2$ measurement data used are obtained from the Comprehensive Observation Network for Trace gases by the Airliner (CONTRAIL) project. The developed system includes the preprocessor of the raw observation data, the observation operator, and the ensemble Kalman filter (EnKF) data assimilation process. After preprocessing the raw data, the modeled value corresponding spatially and temporally to each observation is calculated using the observation operator. These modeled values and observations are then averaged in space and time, and used in the EnKF data assimilation process. The modeled values are much closer to the observations and show smaller biases and root-mean-square errors, after the assimilation of the aircraft $CO_2$ measurement data. This system could also be used to assimilate other aircraft $CO_2$ measurement data in CarbonTracker.

한국어 TTS 시스템에서 딥러닝 기반 최첨단 보코더 기술 성능 비교 (Performance Comparison of State-of-the-Art Vocoder Technology Based on Deep Learning in a Korean TTS System)

  • 권철홍
    • 문화기술의 융합
    • /
    • 제6권2호
    • /
    • pp.509-514
    • /
    • 2020
  • 기존의 TTS 시스템은 텍스트 전처리, 구문 분석, 발음표기 변환, 경계 분석, 운율 조절, 음향 모델에 의한 음향 특징 생성, 합성음 생성 등 여러 모듈로 구성되어 있다. 그러나 딥러닝 기반 TTS 시스템은 텍스트에서 스펙트로그램을 생성하는 Text2Mel 과정과 스펙트로그램에서 음성신호을 합성하는 보코더로 구성된다. 본 논문에서는 최적의 한국어 TTS 시스템 구성을 위해 Tex2Mel 과정에는 Tacotron2를 적용하고, 보코더로는 WaveNet, WaveRNN, WaveGlow를 소개하고 이를 구현하여 성능을 비교 검증한다. 실험 결과, WaveNet은 MOS가 가장 높으며 학습 모델 크기가 수백 MB이고 합성시간이 실시간의 50배 정도라는 결과가 나왔다. WaveRNN은 WaveNet과 유사한 MOS 성능을 보여주며 모델 크기가 수십 MB 단위이고 실시간 처리는 어렵다는 결과가 도출됐다. WaveGlow는 실시간 처리가 가능한 방법이며 모델 크기가 수 GB이고 MOS가 세 방식 중에서 가장 떨어진다는 결과를 보여주었다. 본 논문에서는 이러한 연구 결과로부터 TTS 시스템을 적용하는 분야의 하드웨어 환경에 맞춰 적합한 방식을 선정할 수 있는 참고 기준을 제시한다.