• 제목/요약/키워드: neural network learning

검색결과 4,098건 처리시간 0.037초

텍스트 요약 품질 향상을 위한 의미적 사전학습 방법론 (Semantic Pre-training Methodology for Improving Text Summarization Quality)

  • 전민규;김남규
    • 스마트미디어저널
    • /
    • 제12권5호
    • /
    • pp.17-27
    • /
    • 2023
  • 최근 사용자에게 의미있는 정보만을 자동으로 간추리는 텍스트 자동 요약이 꾸준히 연구되고 있으며, 특히 인공신경망 모델인 트랜스포머를 활용한 텍스트 요약 연구가 주로 수행되고 있다. 다양한 연구 중 특히 문장 단위 마스킹을 통해 모델을 학습시키는 GSG 방식이 가장 주목을 받고 있지만, 전통적인 GSG는 문장의 의미가 아닌 토큰의 중복 정도에 기반을 두어 마스킹 대상 문장을 선정한다는 한계를 갖는다. 따라서 본 연구에서는 텍스트 요약의 품질을 향상시키기 위해, 문장의 의미를 고려하여 GSG의 마스킹 대상 문장을 선정하는 SbGSG(Semantic-based GSG) 방법론을 제안한다. 뉴스기사 370,000건과 요약문 및 레포트 21,600건을 사용하여 실험을 수행한 결과, ROUGE와 BERT Score 측면에서 제안 방법론인 SbGSG가 전통적인 GSG에 비해 우수한 성능을 보임을 확인하였다.

딥러닝 분석을 통한 침투도랑 내 유입수 성상 예측분석 (Predicting the influent properties in an infiltration trench through deep learning analysis)

  • 전민수;최혜선;케빈;하이디;나쉬;김이형
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.363-363
    • /
    • 2022
  • LID 시설에 대한 모니터링은 인력을 활용한 실강우 모니터링을 진행하고 있으나 LID 시설은 소규모 분산형시설로서 인력을 동원한 식생고사, 강우시 모니터링, 현장답사 등 꾸준한 시설확인에 한계가 있으며, LID 시설을 조성한 이후 적정한 유지관리 방법(주기, 빈도, 항목 등)을 인지하지 못하여 막힘현상, 효율저하, 식물고사 등의 문제가 발생한다. 따라서 본연구에서는 딥러닝 분석을 활용하여 강우시 강우모니터링 자료와 LID 시설 내 센서를 통해 측정된 자료를 통해 침투도랑 내 유입수 성상에 대한 예측분석을 수행하였다. 심지 내 LID 시설에 유입되는 오염물질을 예측을 위한 딥러닝 분석을 위해 과거 실강우시 모니터링 자료(TSS, COD, TN, TP)와 대기센서(대기습도, 대기온도, 강수량, 미세먼지) 데이터를 활용하여 딥러닝 모델에 대한 적용가능성 평가를 수행하였다. 측정항목에 대한 상관성 분석을 수행하였으며, 딥러닝 모델은 Tenser Flow를 이용하여 DNN(Deep Neural Network)모델을 활용하여 분석하였다. DNN 모델에 대한 MSE값은 0.31로 분석되었으며, TSS에 대한 평균 50.6mg/L로 분석되었으며, COD 평균 98.7 mg/L로 나타났다. TN의 평균 2.21 mg/L로 분석되었으며, TP 평균 0.67 mg/L로 나타났다. 상관계수분석결과 TSS는 0.53로 분석되었으며, TN과 TP의 상관계수는 0.10, 0.56으로 나타났다. COD의 상관계수는 0.63으로 TSS와 COD, TP에 대한 예측이 된 것으로 분석되었다. 딥러닝을 통한 LID 시설 내 농도변화 예측시 강우시 센서데이터 값은 조밀해야하며 오염물질 농도와 상관성이 높은 항목들에 대해 계측과 실강우 모니터링 자료를 축적하여 미래에 대한 활용성을 높여야 한다.

  • PDF

다중 클래스 이상치 탐지를 위한 계층 CNN의 효과적인 클래스 분할 방법 (Effective Classification Method of Hierarchical CNN for Multi-Class Outlier Detection)

  • 김지현;이세영;김예림;안서영;박새롬
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.81-84
    • /
    • 2022
  • 제조 산업에서의 이상치 검출은 생산품의 품질과 운영비용을 절감하기 위한 중요한 요소로 최근 딥러닝을 사용하여 자동화되고 있다. 이상치 검출을 위한 딥러닝 기법에는 CNN이 있으며, CNN을 계층적으로 구성할 경우 단일 CNN 모델에 비해 상대적으로 성능의 향상을 보일 수 있다는 것이 많은 선행 연구에서 나타났다. 이에 MVTec-AD 데이터셋을 이용하여 계층 CNN이 다중 클래스 이상치 판별 문제에 대해 효과적인지를 탐구하고자 하였다. 실험 결과 단일 CNN의 정확도는 0.7715, 계층 CNN의 정확도는 0.7838로 다중 클래스 이상치 판별 문제에 있어 계층 CNN 방식 접근이 다중 클래스 이상치 탐지 문제에서 알고리즘의 성능을 향상할 수 있음을 확인할 수 있었다. 계층 CNN은 모델과 파라미터의 개수와 리소스의 사용이 단일 CNN에 비하여 기하급수적으로 증가한다는 단점이 존재한다. 이에 계층 CNN의 장점을 유지하며 사용 리소스를 절약하고자 하였고 K-means, GMM, 계층적 클러스터링 알고리즘을 통해 제작한 새로운 클래스를 이용해 계층 CNN을 구성하여 각각 정확도 0.7930, 0.7891, 0.7936의 결과를 얻을 수 있었다. 이를 통해 Clustering 알고리즘을 사용하여 적절히 물체를 분류할 경우 물체에 따른 개별 상태 판단 모델을 제작하는 것과 비슷하거나 더 좋은 성능을 내며 리소스 사용을 줄일 수 있음을 확인할 수 있었다.

  • PDF

영상 콘텐츠의 오디오 분석을 통한 메타데이터 자동 생성 방법 (Method of Automatically Generating Metadata through Audio Analysis of Video Content)

  • 용성중;박효경;유연휘;문일영
    • 한국항행학회논문지
    • /
    • 제25권6호
    • /
    • pp.557-561
    • /
    • 2021
  • 영상 콘텐츠를 사용자에게 추천하기 위해서는 메타데이터가 필수적인 요소로 자리 잡고 있다. 하지만 이러한 메타데이터는 영상 콘텐츠 제공자에 의해 수동적으로 생성되고 있다. 본 논문에서는 기존 수동으로 직접 메타데이터를 입력하는 방식에서 자동으로 메타데이터를 생성하는 방법을 연구하였다. 기존 연구에서 감정 태그를 추출하는 방법에 추가로 영화 오디오를 통한 장르와 제작국가에 대한 메타데이터 자동 생성 방법에 대해 연구를 진행하였다. 전이학습 모델인 ResNet34 인공 신경망 모델을 이용하여 오디오의 스펙트로그램으로부터 장르를 추출하고, 영화 속 화자의 음성을 음성인식을 통해 언어를 감지하였다. 이를 통해 메타데이터를 생성 인공지능을 통해 자동 생성 가능성을 확인할 수 있었다.

PredFeed Net: 먹이 배급의 자동화를 위한 GRU 기반 먹이 배급량 예측 모델 (PredFeed Net: GRU-based feed ration prediction model for automation of feed rationing)

  • 심규정;손수락;정이나
    • 인터넷정보학회논문지
    • /
    • 제25권2호
    • /
    • pp.49-55
    • /
    • 2024
  • 본 논문은 물고기 양식 전문가의 먹이 배급을 모방하는 신경망 모델인 PredFeed Net을 제안한다. PredFeed Net은 기존의 먹이 배급 자동화 시스템과 달리, 전문가의 먹이 배급 패턴을 학습하는 방식으로 먹이 배급량을 예측한다. 이는 실제 수조에서 환경에 따른 먹이 배급 변수를 바꾸며 실험할 필요 없이, 기존의 환경 데이터와 먹이 배급 전문가의 먹이 배급 기록만으로 학습이 가능하다는 이점이 있다. 학습이 완료된 PredFeed Net은 현재 환경이나 어류의 상태를 통해 다음 먹이 배급량을 예측한다. 먹이 배급량 예측은 먹이 배급 자동화에 필요한 요소이며, 먹이 배급 자동화는 스마트 양식업이나 아쿠아포닉스 시스템 같은 최신 양식어업에 발전에 기여한다.

문서 요약 기법이 가짜 뉴스 탐지 모형에 미치는 영향에 관한 연구 (A Study on the Effect of the Document Summarization Technique on the Fake News Detection Model)

  • 심재승;원하람;안현철
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.201-220
    • /
    • 2019
  • 가짜뉴스가 전세계적 이슈로 부상한 최근 수년간 가짜뉴스 문제 해결을 위한 논의와 연구가 지속되고 있다. 특히 인공지능과 텍스트 분석을 이용한 자동화 가짜 뉴스 탐지에 대한 연구가 주목을 받고 있는데, 대부분 문서 분류 기법을 이용한 연구들이 주를 이루고 있는 가운데 문서 요약 기법은 지금까지 거의 활용되지 않았다. 그러나 최근 가짜뉴스 탐지 연구에 생성 요약 기법을 적용하여 성능 개선을 이끌어낸 사례가 해외에서 보고된 바 있으며, 추출 요약 기법 기반의 뉴스 자동 요약 서비스가 대중화된 현재, 요약된 뉴스 정보가 국내 가짜뉴스 탐지 모형의 성능 제고에 긍정적인 영향을 미치는지 확인해 볼 필요가 있다. 이에 본 연구에서는 국내 가짜뉴스에 요약 기법을 적용했을 때 정보 손실이 일어나는지, 혹은 정보가 그대로 보전되거나 혹은 잡음 제거를 통한 정보 획득 효과가 발생하는지 알아보기 위해 국내 뉴스 데이터에 추출 요약 기법을 적용하여 '본문 기반 가짜뉴스 탐지 모형'과 '요약문 기반 가짜뉴스 탐지 모형'을 구축하고, 다수의 기계학습 알고리즘을 적용하여 두 모형의 성능을 비교하는 실험을 수행하였다. 그 결과 BPN(Back Propagation Neural Network)과 SVM(Support Vector Machine)의 경우 큰 성능 차이가 발생하지 않았지만 DT(Decision Tree)의 경우 본문 기반 모델이, LR(Logistic Regression)의 경우 요약문 기반 모델이 다소 우세한 성능을 보였음을 확인하였다. 결과를 검증하는 과정에서 통계적으로 유의미한 수준으로는 요약문 기반 모델과 본문 기반 모델간의 차이가 확인되지는 않았지만, 요약을 적용하였을 경우 가짜뉴스 판별에 도움이 되는 핵심 정보는 최소한 보전되며 LR의 경우 성능 향상의 가능성이 있음을 확인하였다. 본 연구는 추출요약 기법을 국내 가짜뉴스 탐지 연구에 처음으로 적용해 본 도전적인 연구라는 점에서 의의가 있다. 하지만 한계점으로는 비교적 적은 데이터로 실험이 수행되었다는 점과 한 가지 문서요약기법만 사용되었다는 점을 제시할 수 있다. 향후 대규모의 데이터에서도 같은 맥락의 실험결과가 도출되는지 검증하고, 보다 다양한 문서요약기법을 적용해 봄으로써 요약 기법 간 차이를 규명하는 확장된 연구가 추후 수행되어야 할 것이다.

환경요인을 이용한 다층 퍼셉트론 기반 온실 내 기온 및 상대습도 예측 (Prediction of Air Temperature and Relative Humidity in Greenhouse via a Multilayer Perceptron Using Environmental Factors)

  • 최하영;문태원;정대호;손정익
    • 생물환경조절학회지
    • /
    • 제28권2호
    • /
    • pp.95-103
    • /
    • 2019
  • 온도와 상대습도는 작물 재배에 있어서 중요한 요소로써, 수량과 품질의 증대를 위해서는 적절히 제어 되어야 한다. 그리고 정확한 환경 제어를 위해서는 환경이 어떻게 변화할지 예측할 필요가 있다. 본 연구의 목적은 현시점의 환경 데이터를 이용한 다층 퍼셉트론(multilayer perceptrons, MLP)을 기반으로 미래 시점의 기온 및 상대습도를 예측하는 것이다. MLP 학습에 필요한 데이터는 어윈 망고(Mangifera indica cv. Irwin)을 재배하는 8연동 온실($1,032m^2$)에서 2016년 10월 1일부터 2018년 2월 28일까지 10분 간격으로 수집되었다. MLP는 온실내부 환경 데이터, 온실 외 기상 데이터, 온실 내 장치의 설정 및 작동 값을 사용하여 10~120분 후 기온 및 상대습도를 예측하기 위한 학습을 진행하였다. 사계절이 뚜렷한 우리나라의 계절에 따른 예측 정확도를 분석하기 위해서 테스트 데이터로 계절별로 3일간의 데이터를 사용했다. MLP는 기온의 경우 은닉층이 4개, 노드 수가 128개일 때($R^2=0.988$), 상대습도는 은닉층 4개, 노드 수 64개에서 가장 높은 정확도를 보였다($R^2=0.990$). MLP 특성상 예측 시점이 멀어질수록 정확도는 감소하였지만, 계절에 따른 환경 변화에 무관하게 기온과 상대습도를 적절히 예측하였다. 그러나 온실 내 환경 제어 요소 중 분무 관수처럼 특이적인 데이터의 경우, 학습 데이터 수가 적기 때문에 예측 정확도가 낮았다. 본 연구에서는 MLP의 최적화를 통해서 기온 및 상대습도를 적절히 예측하였지만 실험에 사용된 온실에만 국한되었다. 따라서 보다 일반화를 위해서 다양한 장소의 온실 데이터 이용과 이에 따른 신경망 구조의 변형이 필요하다.

기계학습을 활용한 특허수명 예측 및 영향요인 분석 (Prediction of patent lifespan and analysis of influencing factors using machine learning)

  • 김용우;김민구;김영민
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.147-170
    • /
    • 2022
  • 특허의 사적 가치(private value)를 나타내는 특허수명 추정은 오래전부터 연구되었으나 추정과정에서 선형모델에 의존하는 경우가 대부분이었고, 기계학습 방법을 사용하더라도 변수 간 관계에 대한 해석이나 설명이 부족하였다. 본 연구에서는 특허의 생존 기간이 특허의 가치를 대리한다는 기존 연구결과를 바탕으로 특허 등록 이후의 생존 기간(연장횟수) 예측을 통해 특허의 가치를 추정한다. 이를 위해 1996~2017년까지 미국 특허청(USPTO)에 출원하여 등록된 특허 4,033,414개를 수집하였다. 특허수명을 예측하기 위해 기존 연구에서 특허수명에 영향을 미친다고 밝혀진 특허의 특성, 특허의 소유자 특성, 특허의 발명가 특성을 반영할 수 있는 다양한 변수가 사용되었다. 서로 다른 4개의 모델(Ridge Regression, Random Forest, Feed-forward Neural Network, Gradient Boosting Models)을 생성하고, 모델 학습 과정에서는 5-fold Cross Validation으로 초매개변수 조정이 이루어졌다. 이후 생성된 모델의 성능을 평가하고 특허수명을 추정할 수 있는 예측변수의 상대적 중요도를 제시하였다. 또한, 성능이 우수했던 Gradient Boosting Model을 기반으로 Accumulated Local Effects Plot을 제시하여 예측변수와 특허수명 간 관계를 시각적으로 나타내었다. 마지막으로 모델에 의해서 평가된 개별 특허의 평가 근거를 제시하기 위하여 Kernal SHAP(SHapley Additive exPlanations)을 적용하고 특허평가 시스템에의 적용 가능성을 제시한다. 본 연구는 기존에 특허수명을 추정하는 연구에 누적적으로 기여한다는 점 그리고 선형성을 바탕으로 진행된 기존 특허수명 추정 연구들의 한계를 보완하고 복잡한 비선형 관계를 설명가능한 방식으로 제시하였다는 점에서 학문적 의의가 있다. 또한, 개별 특허의 평가 근거를 도출하는 방법을 소개하고 특허평가 시스템에의 적용 가능성을 제시하였다는 점에서 실무적 의의가 있다.

실시간 이미지 획득을 통한 pRBFNNs 기반 얼굴인식 시스템 설계 (A Design on Face Recognition System Based on pRBFNNs by Obtaining Real Time Image)

  • 오성권;석진욱;김기상;김현기
    • 제어로봇시스템학회논문지
    • /
    • 제16권12호
    • /
    • pp.1150-1158
    • /
    • 2010
  • In this study, the Polynomial-based Radial Basis Function Neural Networks is proposed as one of the recognition part of overall face recognition system that consists of two parts such as the preprocessing part and recognition part. The design methodology and procedure of the proposed pRBFNNs are presented to obtain the solution to high-dimensional pattern recognition problem. First, in preprocessing part, we use a CCD camera to obtain a picture frame in real-time. By using histogram equalization method, we can partially enhance the distorted image influenced by natural as well as artificial illumination. We use an AdaBoost algorithm proposed by Viola and Jones, which is exploited for the detection of facial image area between face and non-facial image area. As the feature extraction algorithm, PCA method is used. In this study, the PCA method, which is a feature extraction algorithm, is used to carry out the dimension reduction of facial image area formed by high-dimensional information. Secondly, we use pRBFNNs to identify the ID by recognizing unique pattern of each person. The proposed pRBFNNs architecture consists of three functional modules such as the condition part, the conclusion part, and the inference part as fuzzy rules formed in 'If-then' format. In the condition part of fuzzy rules, input space is partitioned with Fuzzy C-Means clustering. In the conclusion part of rules, the connection weight of pRBFNNs is represented as three kinds of polynomials such as constant, linear, and quadratic. Coefficients of connection weight identified with back-propagation using gradient descent method. The output of pRBFNNs model is obtained by fuzzy inference method in the inference part of fuzzy rules. The essential design parameters (including learning rate, momentum coefficient and fuzzification coefficient) of the networks are optimized by means of the Particle Swarm Optimization. The proposed pRBFNNs are applied to real-time face recognition system and then demonstrated from the viewpoint of output performance and recognition rate.

저노출 카메라와 웨이블릿 기반 랜덤 포레스트를 이용한 야간 자동차 전조등 및 후미등 인식 (Vehicle Headlight and Taillight Recognition in Nighttime using Low-Exposure Camera and Wavelet-based Random Forest)

  • 허두영;김상준;곽충섭;남재열;고병철
    • 방송공학회논문지
    • /
    • 제22권3호
    • /
    • pp.282-294
    • /
    • 2017
  • 본 논문에서는 차량이 움직일 때 발생하는 카메라의 움직임, 도로상의 광원에 강건한 지능형 전조등 제어 시스템을 제안한다. 후보광원을 검출할 때 카메라의 원근 범위 추정 모델을 기반으로 한 ROI (Region of Interest)를 사용하며 이는 FROI (Front ROI)와 BROI (Back ROI)로 나뉘어 사용된다. ROI내에서 차량의 전조등과 후미등, 반사광 및 주변 도로의 조명들은 2개의 적응적 임계값에 의해 세그먼트화 된다. 세그먼트화 된 광원 후보군들로부터 후미등은 적색도(redness)와 Haar-like특징에 기반한 랜덤포레스트 분류기에 의해 검출된다. 전조등과 후미등 분류 과정에서 빠른 학습과 실시간 처리를 위해 SVM(Support Vector Machine) 또는 CNN(Convolutional Neural Network)을 사용하지 않고 랜덤포레스트 분류기를 사용했다. 마지막으로 페어링(Pairing) 단계에서는 수직좌표 유사성, 광원들간의 연관성 검사와 같은 사전 정의된 규칙을 적용한다. 제안된 알고리즘은 다양한 야간 운전환경을 포함하는 데이터에 적용한 결과, 최근의 관련연구 보다 향상된 검출 성능을 보여주었다.