• Title/Summary/Keyword: Cross Entropy

검색결과 119건 처리시간 0.024초

TextRank 알고리즘을 이용한 문서 범주화 (Text Categorization Using TextRank Algorithm)

  • 배원식;차정원
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권1호
    • /
    • pp.110-114
    • /
    • 2010
  • 본 논문에서는 TextRank 알고리즘을 이용한 문서 범주화 방법에 대해 기술한다. TextRank 알고리즘은 그래프 기반의 순위화 알고리즘이다. 문서에서 나타나는 각각의 단어를 노드로, 단어들 사이의 동시출현성을 이용하여 간선을 만들면 문서로부터 그래프를 생성할 수 있다. TextRank 알고리즘을 이용하여 생성된 그래프로부터 중요도가 높은 단어를 선택하고, 그 단어와 인접한 단어를 묶어 하나의 자질로 사용하여 문서 분류를 수행하였다. 동시출현 자질(인접한 단어 쌍)은 단어 하나가 갖는 의미를 보다 명확하게 만들어주므로 문서 분류에 좋은 자질로 사용될 수 있을 것이라 가정하였다. 문서 분류기로는 지지 벡터 기계, 베이지언 분류기, 최대 엔트로피 모델, k-NN 분류기 등을 사용하였다. 20 Newsgroups 문서 집합을 사용한 실험에서 모든 분류기에서 제안된 방법을 사용했을 때, 문서 분류 성능이 향상된 결과를 확인할 수 있었다.

순차적 크리깅모델의 평균-분산 정확도 검증기법 (Mean-Variance-Validation Technique for Sequential Kriging Metamodels)

  • 이태희;김호성
    • 대한기계학회논문집A
    • /
    • 제34권5호
    • /
    • pp.541-547
    • /
    • 2010
  • 메타모델의 정확도를 엄밀하게 검증하는 것은 메타모델링에서 중요한 연구주제이다. k 점 선택교차검증기법이 많은 계산시간을 요구하면서도 메타모델의 정확도를 정략적으로 측정하지 못한다. 최근들어, 평균 $_0$ 기준이 메타모델의 정확도를 정량적으로 제공하기 위하여 제안되었다. 그러나 평균 $_0$ 검증 기준은 크리깅 메타모델이 부정확함에도 불구하고 일찍 수렴하는 경향이 있다. 따라서 본 연구에서는 최대엔트로피를 이용한 순차적 실험계획에서 크리깅모델의 평균과 분산을 이용한 정확도 평가기법을 제안한다. 이 제안한 기법은 평균 및 분산을 계산할 때 수치해석으로 구하는 것이 아니라 크리깅메타모델을 직접 적분하여 구하기 때문에 k 점 선택교차검증기법보다 효율적이며 정확하다. 제안한 기준은 실제 응답의 평균제곱오차의 경향과 매우 유사하여 순차적 실험계획의 수렴기준으로 사용할 수 있다.

엔트로피 개념에 의한 부정류 유량 산정에 관한 연구 (A Study on the Estimation of Discharge in Unsteady Condition by Using the Entropy Concept)

  • 추태호;채수권
    • 한국산학기술학회논문지
    • /
    • 제13권12호
    • /
    • pp.6159-6166
    • /
    • 2012
  • 수자원에서 특히 중요한 홍수기에 대한 유량 측정은 어려움이 있고 모든 하천에 대한 지속적인 유량측정은 현재 시스템상에서는 불가능하다. 그래서 유량의 생산을 위해서 그동안 수위유량 관계 곡선이 사용되어 왔다. 하지만 수위-유량 관계 곡선은 그 편리성에도 불구하고 수위와 유량만의 관계를 사용하므로 정확성 면에서 항상 문제가 있어왔다. 따라서 본 연구에서는 Chiu의 엔트로피 개념의 2차원 유속공식을 사용하여 새로운 평균유속공식을 유도하였다. 본 공식은 수심, 중력가속도, 동수경사, 에너지경사, 동점성 계수 등 하천의 수리적 특성을 잘 반영하고 최대유속도 산정할 수 있다. 또한 최대유속과 평균유속사이의 선형관계를 검증할 수 있었고 그 결과로써 하천단면의 특성을 잘 나타내는 평형상태의 ${\phi}(M)$을 산정하였다. 평형상태의 ${\phi}(M)$을 사용하여 평균유속을 산정하였고 이를 바탕으로 유량을 산정하였다. 본 공식의 검증을 위해서 고리형 특성을 보이는 부정류 상황에서의 실험실 측정 데이터를 사용하여 계산된 유량과 실측된 유량을 비교하였고 그 결과는 매우 잘 일치함을 알 수 있었다. 향후 다양한 실험실 데이터 및 하천 데이터를 이용하여 연구가 지속되어 진다면 수자원 분야에 널리 이용될 것으로 판단된다.

딥러닝 기반 터널 콘크리트 라이닝 균열 탐지 (Deep learning based crack detection from tunnel cement concrete lining)

  • 배수현;함상우;이임평;이규필;김동규
    • 한국터널지하공간학회 논문집
    • /
    • 제24권6호
    • /
    • pp.583-598
    • /
    • 2022
  • 인력기반 터널 점검은 점검자의 주관적인 판단에 영향을 받으며 지속적인 이력관리가 어렵다. 따라서 최근에는 딥러닝 기반 자동 균열 탐지 연구가 활발히 진행되고 있다. 하지만 대부분의 연구에서는 사용하는 대규모 공개 균열 데이터셋은 터널 내부에서 발생하는 균열과 매우 상이하다. 또한 현행 터널 상태평가에서 정교한 균열 레이블을 구축하기 위해서는 추가적인 작업이 요구된다. 이에 본 연구는 균열 형상이 다소 단순하게 표현된 기존 데이터셋을 딥러닝 모델에 입력하여 균열 탐지 성능을 개선하는 방안을 제시한다. 기존 터널 데이터셋, 고품질 터널 데이터셋과 공개 균열 데이터셋을 조합하여 학습한 딥러닝 모델의 성능 평가와 비교를 수행한다. 그 결과 Cross Entropy 손실함수를 사용한 DeepLabv3+에 공개 데이터셋, 패치 단위 분류와 오버샘플링을 수행한 터널 데이터셋을 모두 학습한 경우 성능이 가장 좋았다. 향후 기 구축된 터널 영상 취득 시스템 데이터를 딥러닝 모델 학습에 효율적으로 활용하기 위한 방안을 수립하는 데 기여할 것으로 기대한다.

드론 촬영 이미지 데이터를 기반으로 한 도로 균열 탐지 딥러닝 모델 개발 (Development of Deep Learning Model for Detecting Road Cracks Based on Drone Image Data)

  • 권영주;문성호
    • 토지주택연구
    • /
    • 제14권2호
    • /
    • pp.125-135
    • /
    • 2023
  • 드론은 국토조사, 수송, 해양, 환경, 방재, 문화재, 건설 등 다양한 분야에서 활용되고 있다. 또한 사물인터넷(Internet of Things), 인공지능(Artificial Intelligence) 등과 관련하여 4차 산업 혁명의 핵심기술을 검증하고 적용시킬 수 있는 기술로 떠오르고 있다. 본 연구에서는 드론을 활용하여 균열을 자동으로 탐지할 수 있는 딥러닝 모델을 개발하고자 한다. 딥러닝 학습을 위한 이미지 데이터는 Mavic3 드론을 이용하여 수집하였고 촬영고도는 20m, ×7배율로 촬영하였다. 촬영 시 약 2m/s의 속도로 전진하여 영상을 찍고, 프레임을 추출하는 식으로 데이터를 수집하였다. 이런식으로 수집한 데이터를 통해 딥러닝 학습을 진행하였다. 본 연구에서는 딥러닝 학습모델로 Backbone으로는 Swin Transformer, Architecture로 UperNet을 사용하였다. 약 800장의 라벨링 된 데이터를 Augmentation기법으로 데이터 양을 증가시키고 3차에 걸쳐 학습을 진행하였다. 1차와 2차 학습 시 Cross-Entropy loss function을 사용하였고 3차 학습 시 Tversky Loss Function을 사용하였다. 학습결과, 균열 탐지와 균열율을 계산할 수 있는 모델을 개발하였다. 또한, 드론의 위치 정보를 이용해 특정 도로의 한 차선 균열율을 계산할 수 있는 모델을 개발하였다. 향후 추가적인 연구를 통하여 균열탐지모델의 고도화를 사물인터넷(IoT)과의 융합으로 이루었을 때 소파보수(Patching)나 포트홀(Pothole)의 탐지가 가능할 것으로 보인다. 또한 드론의 실시간 탐지 업무수행으로 포장 유지 보수구간에 대한 탐지를 신속하게 확보할 수 있을것으로 기대된다.

훈련 데이터 개수와 훈련 횟수에 따른 과도학습과 신뢰도 분석에 대한 연구 (A Study on Reliability Analysis According to the Number of Training Data and the Number of Training)

  • 김성혁;오상진;윤근영;김완기
    • 한국인공지능학회지
    • /
    • 제5권1호
    • /
    • pp.29-37
    • /
    • 2017
  • The range of problems that can be handled by the activation of big data and the development of hardware has been rapidly expanded and machine learning such as deep learning has become a very versatile technology. In this paper, mnist data set is used as experimental data, and the Cross Entropy function is used as a loss model for evaluating the efficiency of machine learning, and the value of the loss function in the steepest descent method is We applied the Gradient Descent Optimize algorithm to minimize and updated weight and bias via backpropagation. In this way we analyze optimal reliability value corresponding to the number of exercises and optimal reliability value without overfitting. And comparing the overfitting time according to the number of data changes based on the number of training times, when the training frequency was 1110 times, we obtained the result of 92%, which is the optimal reliability value without overfitting.

중심확장 알고리즘이 보강된 식별적 특징학습을 통한 얼굴인식 향상기법 (Improving Discriminative Feature Learning for Face Recognition utilizing a Center Expansion Algorithm)

  • 강명균;이상철;이인호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.881-884
    • /
    • 2017
  • 좋은 특징을 도출할 수 있는 신경망은 곧 대상을 잘 이해하고 있는 신경망을 의미한다. 그러나 얼굴과 같이 유사한 이미지를 분류하기 위해서는 신경망이 좀 더 구분되는 특징을 도출해야한다. 본 논문에서는 얼굴과 같이 유사도한 이미지를 분류하기 위해 오차함수에 중심확장(Center Expansion)이라는 오차를 추가한다. 중심확장은 도출된 특징이 밀집되면 클래스를 분류하는 매니폴드를 구하기 어려워져 분류 성능이 하락되는 문제를 해결하기 위해 제안한 것으로 특징이 밀집될 가능성이 높은 부분에 특징이 도출되지 않도록 강제하는 방식이다. 학습 시 활용하는 오차는 일반적으로 분류 문제를 위해 사용되는 softmax cross-entropy 오차와 각 클래스의 분산을 줄이는 오차 그리고 제안한 중심확장 오차를 조합해 구할 것이다. 본 논문에서는 제안한 중심확장 오차를 조합한 모델과 조합되지 않은 모델이 결과적으로 특징 도출과 분류에 어떠한 영향을 주었는지 알아볼 것이다. 중심확장을 조합해 학습한 모델이 어떤 영향을 주었는지 알기 위해 본 논문에서는 Labeled Faces in the Wild를 활용해 분류 실험을 진행할 것이다. Labeled Faces in the Wild을 활용해 실험한 결과 중심확장을 활용한 모델과 활용하지 않은 모델간의 성능을 차이를 확인할 수 있었다.

명암특성에 따른 프레임 분류를 이용한 동영상 압축기법 (Moving Picture Compression using Frame Classification by Luminance Characteristics)

  • 김상현
    • 한국콘텐츠학회논문지
    • /
    • 제11권4호
    • /
    • pp.51-56
    • /
    • 2011
  • 본 논문은 명암 변화가 심한 비디오 시퀀스에 대해 효율적인 동영상 압축기법을 제안한다. 제안한 알고리즘에서는 화면간의 명암 변화 변수들을 추정하고 지역적인 움직임 보상을 수행한다. 밝기 보상이 필요한 화면을 검출하기 위하여 연속되는 두 프레임간의 히스토그램의 크로스 엔트로피를 계산하여 프레임 분류를 하고 명암 변화가 심한 화면에 대해서만 밝기 보상을 수행하여 명암 변화가 심하지 않은 경우에 발생할 수 있는 불필요한 계산량을 줄였다. 명암 변화가 심한 비디오 시퀀스에 대한 실험결과 제안한 알고리즘은 기존의 알고리즘에 비해 적은 계산량으로 높은 PSNR (peak signal to noise ratio) 성능을 나타내었다.

반복 복호의 계산량 감소를 위한 간단한 복호 중단 판정 알고리즘 (A Simple Stopping Criterion for the MIN-SUM Iterative Decoding Algorithm on SCCC and Turbo code)

  • 허준;정규혁
    • 대한전자공학회논문지TC
    • /
    • 제41권4호
    • /
    • pp.11-16
    • /
    • 2004
  • 본 논문에서는 min-sum 반복복호를 위한 효과적인 반복복호 중단 알고리즘을 제안한다. 이전까지 소개된 반복복호 중단 알고리즘이 상호정보량을 바탕으로 중단시점을 판단하는데 비하여 제안된 알고리즘은 트렐리스 상에서 복호된 결과가 유효한 시퀀스인가를 판단하여 복호중단 시점을 결정한다. 제안된 반복톡호 알고리즘을 3GPP 터보부호와 직렬결합 길쌈부호에 적용하여 반복복호의 계산량과 필요한 메모리의 양이 크게 줄어드는 것을 나타내었다.

손실함수의 특성에 따른 UNet++ 모델에 의한 변화탐지 결과 분석 (Analysis of Change Detection Results by UNet++ Models According to the Characteristics of Loss Function)

  • 정미라;최호성;최재완
    • 대한원격탐사학회지
    • /
    • 제36권5_2호
    • /
    • pp.929-937
    • /
    • 2020
  • 본 논문에서는 의미론적 분할을 위한 딥러닝 기술 중의 하나인 UNet++ 모델을 이용하여 다시기 위성영상의 변화지역을 탐지하고자 하였다. 다양한 손실함수에 대한 학습결과를 분석하기 위하여, 이진 교차 엔트로피, 자카드 변수에 의하여 학습된 UNet++ 모델에 의한 변화탐지 결과를 평가하였다. 또한, 딥러닝 모델의 결과는 WorldView-3 위성영상을 활용하여 기존의 화소기반 변화탐지 기법의 결과와 비교하여 평가하였다. 실험결과, 손실함수의 특성에 따라서 딥러닝 모델의 성능이 달라질 수 있음을 확인하였으나, 기존 기법들과 비교하여 우수한 결과를 나타내는 것도 확인하였다.