• 제목/요약/키워드: 가중치 손실 함수

검색결과 31건 처리시간 0.027초

태깅 오류 간 중요도 차별화에 기반한 비용 의존 품사 태깅 (A Cost Sensitive Part-of-Speech Tagging: Differentiating Serious Errors from Minor Errors)

  • 손정우;노태길;박성배;고준호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.236-239
    • /
    • 2011
  • 품사 태깅에서 오류는 같은 가중치를 가지는 것으로 간주되어 왔다. 하지만 품사 태깅의 결과를 활용하는 다른 자연어 처리 기술에 태깅 오류가 얼마나 영향을 미칠 수 있는가에 따라 품사 태깅 시 발생하는 오류가 가지는 가중치를 다르게 보아야 한다. 심각한 오류는 이를 활용하는 자연어 처리 기술의 성능 저하를 크게 야기하지만, 사소한 오류는 성능의 저하를 야기하지 않거나 그 영향이 미미하다. 본 논문에서는 품사 태깅 시, 전체적인 성능을 유지하면서 심각한 오류를 줄이는 것을 목표로 한다. 이를 위해 두 가지 점진적 손실 함수(gradient loss function)를 제안한다. 제안한 손실 함수는 심각한 오류에 사소한 오류보다 더 큰 가중치를 줌으로써 품사 태깅 모델이 심각한 오류에 더 집중하여 성능을 최적화하도록 한다. 실험에서 제안한 손실 함수를 활용한 태깅 모델은 기존의 방법에 비해 심각한 오류를 효과적으로 줄일 뿐만 아니라 전체적으로 더 높은 정확도를 보였다.

의료 영상 바이오마커 추출을 위한 딥러닝 손실함수 성능 비교 (Comparison of Deep Learning Loss Function Performance for Medical Video Biomarker Extraction)

  • 서진범;조영복
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.72-74
    • /
    • 2021
  • 다양한 분야에서 현재 활용되고 있는 딥러닝 과정은 데이터 준비, 데이터 전처리, 모델 생성, 모델 학습, 모델 평가로 구성 된다. 이중 모델 학습 과정에서 손실함수는 모델이 학습하면서 출력한 값을 실제 값과 비교하여 그 차이를 출력하게 되고, 출력된 손실값을 기반으로 모델은 역전파 알고리즘을 통해 손실값이 감소하는 방향으로 가중치를 수정해가며 학습을 진행한다. 본 논문에서는 바이오마커 추출을 위한 딥러닝 모델에서 사용될 신경망 출력 값의 손실도를 측정하여 출력해주는 다양한 손실함수를 분석하고 실험을 통해 최적의 손실함수를 찾아내고자 한다.

  • PDF

시간 영역 오토인코더의 성능 개선을 위한 다중 대역 손실 함수 (A Multi-band Loss Function for Improving Time-Domain Autoencoder)

  • 임유진;유정찬;서은미;박호종
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2021년도 추계학술대회
    • /
    • pp.78-79
    • /
    • 2021
  • 본 논문에서는 시간 영역 오토인코더의 성능 개선을 위한 다중 대역 손실 함수를 제안한다. 기존의 시간 영역 오토인코더를 사용하는 압축 및 복원 모델은 저 대역 손실에 치중되어 고 대역 신호를 생성하지 못하고 다운 샘플링된 신호를 결과로 출력하는 문제점을 가진다. 이를 해결하기 위해 대역별로 손실을 분리하여 가중치를 조절할 수 있는 다중 대역 손실 함수를 제안한다. 제안하는 손실 함수가 적용된 오토인코더에 음성 신호를 입력하여 학습을 진행한 결과, 다운 샘플링이 발생하지 않으며 고 대역 신호가 복원되는 것을 스펙트로그램을 통해 확인하였다.

  • PDF

균일한 부류 확률값 학습을 통한 도메인 일반화 (Domain Generalization via Class Balanced Probability Learning)

  • 윤성준;심규진;김창익
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.103-105
    • /
    • 2020
  • 본 논문에서는, 영상 분류 문제에서 손실 값 계산 시 정답 부류를 제외한 나머지 부류에서 우세한 결괏값이 나오지 않도록 평활화하는 보조적인 손실함수를 고안한다. 합성곱 신경망 구조를 이용해 학습이 진행되면 손실함수가 작아지는 방향으로 가중치가 갱신되기 때문에, 정답을 제외한 나머지 부류들의 결괏값은 줄어든다. 하지만, 정답을 제외한 나머지 부류들 사이의 상대적인 값이 고려되지 않고 손실함수가 줄어들기 때문에 값들은 균일하지 않게 되고, 정답 부류와 유사한 특징을 가진 부류들의 값이 상대적으로 커지게 된다. 이는 정답 부류와 나머지 부류 중 가장 값이 큰 부류 사이에 공통의 특징을 공유한다고 생각할 수 있다. 정답 부류만이 가지고 있는 고유의 특징을 추출하지 못하고, 다른 부류도 가지고 있는 특징의 흔적이 남아있게 됨으로써 테스트 시 소스 도메인과 전혀 다른 도메인의 영상이 보일 때 그러한 특징이 부각 되어 부정확한 결과를 초래하게 된다. 본 논문에서는 단순한 손실함수의 추가로 도메인이 다른 환경에서 기존의 연구보다 좋은 분류 결과를 보여주는 것을 실험을 통해 확인하였다.

  • PDF

다특성치 파라미터 설계의 평가척도에 관한 연구 (Performance measures for correlated multiple characteristics in parameter design)

  • 김욱일;강창욱
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 1994년도 춘계공동학술대회논문집; 창원대학교; 08월 09일 Apr. 1994
    • /
    • pp.367-369
    • /
    • 1994
  • 지금까지 다구치 방법에서는 다특성치 문제에 있어서 특성치들 간의 관계를 무시하고 특성치들은 서로 독립이라는 가정 하에, 각 특성치에 대한 최적공 정조건을 찾아 다특성치로 확장시키는 방법이 사용되었다. 그러나 현실적으 로 많은 다특성치 문제에서 특성치들 간의 상관관계가 존재한다. 따라서 본 연구에서는 특성치들 간의 상관관계를 고려한 새로운 평가척도를 제시하고 자 한다. 본 연구에서는 각 특성치와 특성치들 간의 상관관계에 가중치를 부 여하는 방법을 사용하였다. 다특성치 손실함수를 단일 특성치 종류의 조합에 따라 여섯개의 모형으로 구분하였고, 각 모형의 다특성치 손실함수는 특성치 자체에 의해 야기되는 손실과 특성치들간의 관계에 의해 야기되는 손실로 나누었다. 또한 새로운 평가척도로는 다특성치 손실함수의 각 항에 의해 야 기되는 기대손실의 합인 다특성치의 기대손실을 선택하였다. 본 연구의 타당 성에 대해서는 기존의 데이터를 이용. 분석하여 기존 논문과 비교하였다.

가중치 손실 함수를 가지는 순환 컨볼루션 신경망 기반 주가 예측 (A Stock Price Prediction Based on Recurrent Convolution Neural Network with Weighted Loss Function)

  • 김현진;정연승
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권3호
    • /
    • pp.123-128
    • /
    • 2019
  • 본 논문에서는 RCNN (recurrent convolution neural network) 계층 모델을 채택한 인공 지능에 기반을 둔 주가 예측을 제안한다. LSTM (long-term memory model) 기반 신경망은 시계열 데이터의 예측에 사용된다. 다른 한편, 컨볼루션 신경망은 데이터 필터링, 평균화 및 데이터 확장을 제공한다. 제안된 주가 예측에서는 위에서 언급 한 장점들을 RCNN 모델에서 결합하여 적용함으로써 다음날의 주가 종가를 예측한다. 그리고 최근의 시계열의 데이터를 강조하기 위해 커스텀 가중치 손실 함수가 채택되었다. 또한 시장의 상황을 반영하기 위해 주가 인덱스에 관련된 데이터를 입력으로 포함하였다. 제안된 주가 예측 방식은 실제 주가를 대상으로 한 실험에서 3.19%로 테스트 오차를 줄였으며, 다른 방법보다 약 19%의 성능 향상을 거둘 수 있었다.

서포터벡터학습의 효율적 알고리즘

  • 석경하
    • Journal of the Korean Data and Information Science Society
    • /
    • 제12권2호
    • /
    • pp.95-102
    • /
    • 2001
  • 최적의 SVM 가중치를 선택하는 방법 중에서 메모리와 속도의 문제를 해결하는 방법 중 하나가 커널애더트론 방법(Kernel Adatron, KA)이다. 본 연구에서는 KA방법을 제곱무감각손실함수까지 확장을 한 알고리즘을 개발한다. 그리고 추정해야 될 라그랑제 배수(Lagrange multiplier)의 수를 반으로 줄이는 알고리즘을 제시한다. 그리고 제시된 알고리즘의 효율성을 여러 모의실험을 통해서 입증한다.

  • PDF

H.264 인트라 프레임에서의 방해함수를 이용한 적응적인 인터폴레이션 기법 (Adaptive Interpolation for Intra Frame in H.264 using Disturbance Function)

  • 박미선;전성훈;이귀상
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2005년도 추계종합학술대회
    • /
    • pp.545-548
    • /
    • 2005
  • H.264의 인트라 프레임 에러복원기법은 상하좌우 인접한 블록의 픽셀을 사용하여 거리의 가중치 평균값으로 손실된 블록을 복원한다. H.264의 인트라 프레임 에러복원기법으로 복원된 블록은 주변블록 픽셀들의 평균을 취하기 때문에 그로 인해 생기는 블러링 현상을 피할 수 없다. 이를 개선하기 위하여 주변블록의 에지정보를 이용하여 인터폴레이션하는 방법이 제안되었으나 에지성분이 다양하거나 에지성분이 없는 경우, 블록을 복원하는 데 있어서 기존 H.264의 복원기법보다 성능이 저하되는 문제점이 있다. 본 논문에서는 주변블록의 정보를 이용하여 손실된 블록의 인터폴레이션의 에지방향을 추정하고 방해함수를 통해서 임계치를 결정하여 적응적으로 에지방향의 인터폴레이션과 가중치평균 인터폴레이션을 선택하여 복원하는 방법을 제안한다. 에지방향의 인터폴레이션에서는 선택된 전체에지방향과 상하좌우 각각의 주변블록의 에지방향들간의 상호 관계를 고려함으로써 최종적으로 최적에지 방향을 선택하여 성능을 향상시킨다. 제안된 방법은 영상에 따라 H.264 에러복원기법보다 객관적인 화질이 $0.5dB\;{\sim}\;2dB$ PSNR 향상을 보였고 주관적인 화질개선의 결과를 보였다.

  • PDF

메타 가중치 학습을 활용한 내용 기반의 맞춤형 영화 추천시스템 설계 및 구현 (Design and Implementation of Contents-based Customized movie recommendation system using meta weight learning)

  • 안현우;유해운;김대열
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.587-590
    • /
    • 2020
  • 최근, 디지털 콘텐츠 산업이 폭발적으로 성장됨에 따라 고객 유치를 위한 개인화 추천 기술들이 많은 주목을 받고 있다. 개인화 추천 방식들을 큰 갈래로 나누어 본다면 협업 필터링 기술과 내용 기반 기술로 나눌 수 있다. 협업 필터링의 경우 개인화 추천에는 적합하지만 사용자 평가 데이터의 양이 방대해야 하며 초기에 평가자가 없는 콘텐츠에 대해 추천할 수 없는 초기 평가자 문제가 존재한다. 따라서 매일 방대한 양의 콘텐츠가 편입되는 분야에서 사용하기에 큰 결점이 될 수 있다. 본 논문에서는 영화들의 정보가 담긴 데이터 셋과 사용자 평가 데이터, 그리고 사용자의 선호 기준을 의미하는 메타 가중치를 활용한 내용 기반의 맞춤형 영화 추천 시스템을 제안한다. 논문에서는 먼저, 영화를 고를 때 일반적으로 중요시 보는 속성들을 활용하여 영화의 특징 벡터를 구성하고, 이를 사용자 평가와 결합하여 개인의 선호에 대한 특징 벡터를 구성하는 방법을 제안하며, 구성된 데이터와 코사인 유사도, 메타 가중치를 활용하여 사용자 선호와 유사한 영화들을 도출하는 방법을 제안한다. 또한, 평가데이터를 활용하여 구현된 추천시스템의 검증 프로세스를 구성하고, 검증 프로세스를 활용한 손실 함수를 설계하여 적합한 메타 가중치를 학습하는 방법을 제시한다. 본 논문에서 제안하는 시스템은 다수의 속성을 조합하여 활용하므로 추천 결과가 과도하게 특수화 되지 않을 수 있으며, 메타 가중치라는 요소를 통해 더욱 개인화 된 추천을 제공할 수 있다.

  • PDF

디지털 워터마크의 삽입용량 최적화를 위한 임계값 선택방법 (Threshold Selection Method for Capacity Optimization of the Digital Watermark Insertion)

  • 이강승;박기범
    • 융합신호처리학회논문지
    • /
    • 제10권1호
    • /
    • pp.49-59
    • /
    • 2009
  • 본 논문은 웨이블릿 영역에서 인간지각시스템 특성, 적응 스케일(Scale) 개수와 가중치 함수를 이용하고 실험적 임계값을 적용하여 디지털 워터마크의 삽입용량 최적화를 위한 디지털 워터마킹 알고리즘을 제안하였다. 실험적 임계값을 기초로 하여 웨이블릿 영역에서 중요 계수를 찾아 디지털 워터마크의 삽입용량 최적화를 위한 워터마크를 삽입하였다. 원본영상을 3-레벨(Level)로 웨이블릿 변환하여, 저주파에 해당하는 기저대역을 제외한 나머지 모든 부대역을 워터마크 정보를 삽입하였다. 디지털 워터마크의 삽입용량 최적화를 위하여 인간시각시스템 특성을 근거로 한 적응 스케일 계수와 가중치 함수는 고려되었으며, 이 적응 스케일 계수와 가중치 함수는 강인성과 비가시성의 향상을 도모하였다. 워터마크는 가우시안 랜덤 시퀀스로 구성되어 있고 워터마크의 검출은 상관도를 이용하여 워터마크의 삽입 여부를 판단한다. 본 논문에서 제안한 방법으로 모의 실험한 결과 비교적 우수한 화질에서 JPEG 손실 압축, 잡음 첨가, 잘라내기, 흐림, 예리화, 그리고 선형 및 비선형 필터링 등의 공격에 강인함을 알 수 있었다.

  • PDF