• 제목/요약/키워드: 크로스 엔트로피

검색결과 11건 처리시간 0.025초

확장된 크로스 엔트로피 오차함수의 특성 (Characteristics of Extended Cross-Entropy Error Function)

  • 오상훈
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2014년도 추계 종합학술대회 논문집
    • /
    • pp.39-40
    • /
    • 2014
  • 신경회로망의 학습을 위하여 크로스 엔트로피 오차함수가 사용되며, 이의 성능향상을 위하여 확장된 크로스 엔트로피 함수도 제시되었다. 크로스 엔트로피 오차함수는 정보이론에서 제시된 상대 엔트로피(relative entropy)에서 유도된 함수이다. 상대 엔트로 피는 두 확률밀도함수의 발산(divergence) 함수이다. 이 논문에서는 상대 엔트로피와 크로스 엔트로피 관계를 파악한 후, 이를 기반으로 확장된 크로스 엔트로피에 상응하는 새로운 엔트로피 발산 함수를 n=2와 4인 경우에 대하여 유도한다.

  • PDF

위성 영상의 효과적인 분석을 위한 밝기와 크로스 엔트로피 기반의 그림자 검출 (Shadow Detection Based Intensity and Cross Entropy for Effective Analysis of Satellite Image)

  • 박기홍
    • 한국항행학회논문지
    • /
    • 제20권4호
    • /
    • pp.380-385
    • /
    • 2016
  • 그림자는 자연 영상에서 관찰되는 물리적인 현상이지만 위성 영상 분석에 부정적인 영향을 미치는 요소로 컴퓨터 비전의 전처리 과정에서 그림자 검출 과정은 매우 중요하다. 본 논문에서는 싱글 영상 기반의 위성 영상에서 효과적인 영상 분석을 위해 그림자를 검출하는 방법으로 크로스 엔트로피와 밝기 영상을 이용해 그림자를 검출하는 방법을 제안하였다. 칼라 영상을 그레이 레벨 영상으로 변환한 후 크로스 엔트로피를 기반으로 최적의 임계값을 추정하여 첫 번째 그림자 후보 영역으로 판별하였고, 칼라 영상의 밝기 영상을 이용해 최종 그림자 영역을 검출하였다. 제안하는 방법의 타당성을 위해 위성 영상들을 대상으로 실험하였고, 실험 결과 제안하는 그림자를 검출 방법이 효과적으로 수행됨을 확인하였다.

오류 역전파 알고리즘의 n차 크로스-엔트로피 오차신호에 대한 민감성 제거를 위한 가변 학습률 및 제한된 오차신호 (Adaptive Learning Rate and Limited Error Signal to Reduce the Sensitivity of Error Back-Propagation Algorithm on the n-th Order Cross-Entropy Error)

  • 오상훈;이수영
    • 전자공학회논문지C
    • /
    • 제35C권6호
    • /
    • pp.67-75
    • /
    • 1998
  • 다층퍼셉트론의 학습에서 나타나는 출력노드의 부적절한 포화를 해결하기 위해서 n차 크로스-엔트로피 오차함수가 제안되었으나, 이 오차함수를 이용한 학습성능은 오차함수의 차수에 민감하여 적절한 차수를 결정해야 하는 문제점이 있다. 이 논문에서는, 학습의 진행에 따라 학습률을 가변시키는 새로운 방법을 제시하여 다층퍼셉트론의 학습성능이 n차 크로스-엔트로피 오차함수의 차수에 덜 민감하도록 한다. 또한, 가변학습률이 매우 커지는 경우에 학습이 불안정해지는 것을 방지하기 위해서 오차신호의 크기를 제한하는 방법을 제시한다. 마지막으로, 필기체 숫자 인식 문제와 갑상선 진단 문제의 시뮬레이션으로 제안한 방법의 효용성을 검증한다.

  • PDF

엔트로피 이론을 이용한 사전 확률 분포함수의 추정 (Prior distributions using the entropy principles)

  • Lee, Jung-Jin;Shin, Wan-Seon
    • 응용통계연구
    • /
    • 제3권2호
    • /
    • pp.91-105
    • /
    • 1990
  • 베이시안 결정론에서 사전 확률 분포함수는 표본을 추출하기 이전에 추정하여야 한다. 대개 는 분포함수군을 먼저 선택한 후, 그 중 하나를 결정자의 경험을 통하여 선택한다. 이러한 주관적인 사전 확률 분포함수의 선택방법이 베이시안 결정론에 대한 주요비판이 항상 되어 왔다. 본 논문에서는 최대 엔트로피 이론을 이용하여 우리 주변의 의사결정에 많이 이용되 는 정보들에 관한 객관적인 사전 확률 분포함수들을 구하였다. 그 결과는 히스토그램 형태 의 분포함수가 된다. 그러나 사전 정보가 많은 경우에는 최대 엔트로피 모형의 해를 구하기 위하여 복잡한 비선형 연립방정식을 풀어야 하는데, 구체적인 형태의 함수를 구하지 못하는 경우가 대부분이다. 이 때에는 초소의 크로스 엔트로피 모형을 이용하여 사전확률 분포함수 를 구하는 것이 편리하다. 그밖에 엔트로피 이론으로 구한 사전확률 분포함수의 확률적 수 렴성을 증명하였다.

  • PDF

크로스 엔트로피 기반 스펙트럼 센싱에서 채널 점유 시간 변화에 따른 히스토그램 Bin 개수 선택 기법 (Histogram Bin Number Selection Method Robust to the Variations of Channel Occupancy for Cross Entropy)

  • 용슬바로;장성진;김재명
    • 한국ITS학회 논문지
    • /
    • 제12권1호
    • /
    • pp.88-97
    • /
    • 2013
  • 기존에 제안된 대부분의 스펙트럼 센싱 기법은 해당 시간에 센싱 된 우선사용자의 신호만을 다루고 있다. 하지만 해당 시간 이전의 우선사용자의 상태를 이용하게 되면 조건부 확률을 사용하여 검출기의 신뢰성을 증가시킬 수 있다. 따라서 크로스 엔트로피(Cross Entropy) 기반의 스펙트럼 센싱 기법에서는 해당 시간 이전의 우선사용자의 상태도 함께 이용하는 기법을 제안하였으며 이를 통해 우선사용자 신호 검출 성능을 향상시키고 잡음에 강인한 성능을 갖도록 하였다. 그러나 이러한 크로스 엔트로피 기반의 스펙트럼 센싱 기법은 모두 실제 이상적인 센싱 환경만을 고려하였다. 다시 말해, 우선사용자의 채널 점유 시간이 항상 일정하다고 가정한 상태에서 센싱을 수행하였다. 하지만 실제 상황에서는 우선사용자가 채널을 점유하는 시간이 이상적인 상황보다 길어질 수도, 반대로 짧아질 수도 있으며 이로 인해 스펙트럼 센싱 성능이 변화 할 수 있다. 따라서 본 논문에서는 이러한 실제 상황에서도 센싱 성능을 일정하게 유지할 수 있는 기법을 제안하였으며 이를 시뮬레이션을 통해 확인하였다.

밝기 변화가 심한 비디오 시퀀스에 대한 효율적인 움직임 보상 알고리즘 (An Efficient Motion Compensation Algorithm for Video Sequences with Brightness Variations)

  • 김상현;박래홍
    • 방송공학회논문지
    • /
    • 제7권4호
    • /
    • pp.291-299
    • /
    • 2002
  • 본 논문은 밝기 변화가 심한 비디오 시퀀스에 대해 효율적인 움직임 보상 알고리즘을 제안한다 제안한 알고리즘에서는 화면간의 밝기 변화 변수들을 추정하고 지역적인 움직임 보상을 수행한다. 밝기 변화가 심한 화면을 검출하기 위해 화면간의 히스토그램의 크로스 엔트로피를 계산하여 밝기 변화가 심한 화면을 그렇지 않은 화면과 나누어 불필요한 계산량을 줄였다. 밝기 변화가 심한 비디오 시퀀스에 대한 실험결과 제안한 알고리즘은 기존의 알고리즘에 비해 적은 계산량으로 높은 PSNR (peak signal to noise ratio) 성능을 나타내었다.

밝기변화 보상을 적용한 효율적인 비디오 코딩 알고리즘 (An Efficient Video Coding Algorithm Applying Brightness Variation Compensation)

  • 김상현
    • 융합신호처리학회논문지
    • /
    • 제5권4호
    • /
    • pp.287-293
    • /
    • 2004
  • 본 논문은 밝기 변화가 심한 비디오 시퀀스에 대해 효율적인 움직임 보상 알고리즘을 제안한다. 제안한 알고리즘에서는 화면간의 밝기 변화 변수들을 추정하고 지역적인 움직임 보상을 수행한다. 밝기 변화가 심한 화면을 검출하기 위해 연속되는 두 프레임간의 히스토그램의 크로스 엔트로피를 계산하여 밝기 변화가 심한 화면을 그렇지 않은 화면과 나누어 밝기 변화가 심하지 않은 경우에 발생할 수 있는 불필요한 계산량을 줄였다. 밝기 변화가 심한 비디오 시퀀스에 대한 실험결과 제안한 알고리즘은 기존의 알고리즘에 비해 적은 계산량으로 높은 PSNR (peak signal to noise ratio) 성능을 나타내었다.

  • PDF

딥러닝 기반 흉부엑스레이 코로나 진단 알고리즘 (Deep Learning-Based Chest X-ray Corona Diagnostic Algorithm)

  • 김준겸;서진범;조영복
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.73-74
    • /
    • 2021
  • 코로나로 인해 X-ray, CT, MRI와 같은 의료영상 분야에서 딥러닝을 많이 접목시키고 있다. 간단히 접할 수 있는 X-ray 영상으로 코로나 진단을 위해 CNN, R-CNN 등과 같은 영상 딥러닝 분야에서 많은 연구가 진행되고 있다. 의료영상 기반 딥러닝 학습은 바이오마커를 정확히 찾아내고, 최소한의 손실률과 높은 정확도를 필요로한다, 따라서 본 논문에서는 높은 정확도를 위한 학습 모델을 선정하고 실험을 진행하였다.

  • PDF

명암특성에 따른 프레임 분류를 이용한 동영상 압축기법 (Moving Picture Compression using Frame Classification by Luminance Characteristics)

  • 김상현
    • 한국콘텐츠학회논문지
    • /
    • 제11권4호
    • /
    • pp.51-56
    • /
    • 2011
  • 본 논문은 명암 변화가 심한 비디오 시퀀스에 대해 효율적인 동영상 압축기법을 제안한다. 제안한 알고리즘에서는 화면간의 명암 변화 변수들을 추정하고 지역적인 움직임 보상을 수행한다. 밝기 보상이 필요한 화면을 검출하기 위하여 연속되는 두 프레임간의 히스토그램의 크로스 엔트로피를 계산하여 프레임 분류를 하고 명암 변화가 심한 화면에 대해서만 밝기 보상을 수행하여 명암 변화가 심하지 않은 경우에 발생할 수 있는 불필요한 계산량을 줄였다. 명암 변화가 심한 비디오 시퀀스에 대한 실험결과 제안한 알고리즘은 기존의 알고리즘에 비해 적은 계산량으로 높은 PSNR (peak signal to noise ratio) 성능을 나타내었다.

피셔 인포메이션을 이용한 영상 복원 알고리즘 (Image Restoration Algorithms by using Fisher Information)

  • 오춘석;이현민;신승중;유영기
    • 대한전자공학회논문지SP
    • /
    • 제41권6호
    • /
    • pp.89-97
    • /
    • 2004
  • 빛을 반사하거나 방출하는 물체의 형상은 여러 원인에 의해 왜곡된 영상으로 센서에 포착된다. 이러한 왜곡을 제거해 원래 물체의 형상을 추정하는 것을 영상 복원이라고 한다. 영상 복원은 결정론적 방법과 확률론적 방법이 있다. 본 논문에서는 확률론적 방법의 한 종류로서 피셔 인포메이션(Fisher Information)으로부터 유도된 MFI(Minimum Fisher Information)을 이용한 영상 복원을 제안한다. 이는 B. Roy Frieden에 의해 최근에 제안된 신호 추정 방법의 하나이다. MFI을 이용한 복원에서 노이즈 제어 파라미터에 따라 영상 복원의 결과가 어떻게 변화하는지를 조사하였으며, 복원의 정확도에 대한 기준으로 크로스 엔트로피(Kullback-Leibler entropy)를 사용하였다.