• 제목/요약/키워드: 비선형 양자화

검색결과 65건 처리시간 0.023초

임베디드 시스템에서의 양자화 기계학습을 위한 양자화 오차보상에 관한 연구 (Study on Quantized Learning for Machine Learning Equation in an Embedded System)

  • 석진욱;김정시
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 추계학술대회
    • /
    • pp.110-113
    • /
    • 2019
  • 본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험결과 제안한 방식의 알고리즘을 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

  • PDF

MPEG-NNR 의 지역 비선형 양자화를 이용한 CNN 압축 (Compression of CNN Using Local Nonlinear Quantization in MPEG-NNR)

  • 이정연;문현철;김수정;김재곤
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.662-663
    • /
    • 2020
  • 최근 MPEG 에서는 인공신경망 모델을 다양한 딥러닝 프레임워크에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNR(Compression of Neural Network for Multimedia Content Description and Analysis) 표준화를 진행하고 있다. 본 논문에서는 MPEG-NNR 에서 CNN 모델을 압축하기 위한 지역 비선형 양자화(Local Non-linear Quantization: LNQ) 기법을 제시한다. 제안하는 LNQ 는 균일 양자화된 CNN 모델의 각 계층의 가중치 행렬 블록 단위로 추가적인 비선형 양자화를 적용한다. 또한, 제안된 LNQ 는 가지치기(pruning)된 모델의 경우 블록내의 영(zero) 값의 가중치들은 그대로 전송하고 영이 아닌 가중치만을 이진 군집화를 적용한다. 제안 기법은 음성 분류를 위한 CNN 모델(DCASE Task)의 압축 실험에서 기존 균일 양자화를 대비 동일한 분류 성능에서 약 1.78 배 압축 성능 향상이 있음을 확인하였다.

  • PDF

비균일 양자화와 그림자 밝기의 선형성을 이용한 그림자 검출 (Shadow Detection Using a Nonuniform Quantization and Linearity of Shadow Brightness)

  • 황동국;박종천;전병민
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2008년도 춘계학술발표논문집
    • /
    • pp.278-281
    • /
    • 2008
  • 본 논문은 그림자 밝기의 선형적 변화를 비균일하게 양자화하여 그림자를 검출하는 기법을 제안한다. 그림자의 밝기의 선형성 적용은 기하학 정보, 광원의 종류 및 방위에 독립적일 수 있다는 장점이 있다. 이 기법은 그림자 밝기가 점진적으로 변하거나 변화가 없다는 가정과 그림자는 어둡다는 공리를 기반한다. 먼저, 전처리를 통하여 그림자 후보영상을 검출한다. 다음으로, 인접화소들 사이의 선형의존성을 낮추기 위하여 유사 밝기를 대표 밝기로 표현하기 위해 양자화 한다. 이때 선형성을 증가시키 위해 등비수열을 이용하여 비균일 양자화한다. 마지막으로, 그림자 밝기의 선형적 변화 특성을 이용하여 선형의존성이 높은 그림자를 검출한다. 임의의 단일 자연영상의 실험에서, 제안한 알고리즘은 본영과 단색 배경을 갖는 반영 및 셀프그림자의 검출에 강건함을 보였다.

  • PDF

디지털 오디오 코덱을 위한 새로운 비선형 역 양자화 알고리즘과 하드웨어 구조 (New Non-linear Inverse Quantization Algorithm and Hardware Architecture for Digital Audio Codecs)

  • 문종하;백재현;선우명훈
    • 한국통신학회논문지
    • /
    • 제33권1C호
    • /
    • pp.12-18
    • /
    • 2008
  • 본 논문은 디지털 오디오 코덱에 효율적으로 적용 가능한 새로운 역 양자화 테이블 보간 알고리즘과 알고리즘에 특화된 DSP(Digital Signal Processor) 명령어 및 하드웨어 구조를 제안한다. 비선형 역 양자화 알고리즘은 대표적으로 MPEG-1 Layer-3와 MPEG-2/4 AAC(Advanced Audio Coding)에서 사용되며, 제안하는 명령어는 비선형 역 양자화에 최적화 되어 있다. 제안하는 알고리즘은 연산의 복잡도를 최소화하여 구현 시전체 연산량을 줄일 수 있으며, 제안된 알고리즘은 타 알고리즘에 비해 우수한 평균 오차값을 나타낸다. 제안하는 명령어 및 하드웨어 구조는 기존의 알고리즘과 비교하여 연산 과정에서 사용되는 명령어 수를 20% 정도 줄일 수 있으며, 역 양자화의 계산 부하를 효율적으로 줄일 수 있다. 제안한 알고리즘은 일반 상용 DSPEE 구현이 가능하다.

다차원 인접화소 간 명암차의 극좌표 기반 비선형 양자화 히스토그램에 의한 서명인식 (Signatures Verification by Using Nonlinear Quantization Histogram Based on Polar Coordinate of Multidimensional Adjacent Pixel Intensity Difference)

  • 조용현
    • 한국지능시스템학회논문지
    • /
    • 제26권5호
    • /
    • pp.375-382
    • /
    • 2016
  • 본 논문에서는 다차원 인접화소 간 명암차 기반 극좌표의 비선형 양자화 히스토그램을 이용한 서명인식을 제안한다. 다차원 인접화소 간 명암차는 기준화소를 중심으로 횡방향, 종방향, 대각 방향, 역대각 방향 각각의 이웃화소 간 명암차이고, 극좌표는 횡과 종 방향 및 대각과 비대각 방향 각각의 직교좌표로부터 변환된 좌표이며, 비선형 양자화 히스토그램은 반복계산 기법인 Lloyd 알고리즘에 의해 극좌표 값을 비균일 양자화한 히스토그램이다. 여기서 4방향 명암차의 극좌표 히스토그램은 대응하는 화소간의 상관성을 좀 더 많이 고려할 뿐만 아니라 히스토그램의 수를 감소시켜 계산부하를 줄이기 위함이다. 또한 비선형 양자화는 화소간의 명암변화의 속성을 더욱 더 잘 반영할 뿐만 아니라 저차원의 히스토그램 레벨을 얻기 위함이다. 제안된 기법을 256*256 픽셀의 90개(3인*30개) 서명들을 대상으로 city-block거리, Euclidean 거리, 순서값, 그리고 정규상호상관계수 각각의 정합척도에 기반 한 실험결과, 선형 양자화 기반 히스토그램에 비해 우수한 인식성능을 가지며, Euclidean 거리가 가장 우수한 정합척도임을 확인하였다.

임베디드 시스템에서의 양자화 기계학습을 위한 효율적인 양자화 오차보상에 관한 연구 (Study on the Effective Compensation of Quantization Error for Machine Learning in an Embedded System)

  • 석진욱
    • 방송공학회논문지
    • /
    • 제25권2호
    • /
    • pp.157-165
    • /
    • 2020
  • 본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험 결과 제안한 방식의 알고리즘을 로젠블록 함수를 통한 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

신경 회로망을 이용한 음성 신호의 장구간 예측 (Long-term Prediction of Speech Signal Using a Neural Network)

  • 이기승
    • 한국음향학회지
    • /
    • 제21권6호
    • /
    • pp.522-530
    • /
    • 2002
  • 본 논문에서는 선형 예측 후에 얻어지는 잔차 신호 (residual signal)를 신경 회로망에 바탕을 둔 비선형 예측기로 예측하는 방법을 제안하였다. 신경 회로망을 이용한 예측 방법의 타당성을 입증하기 위해, 먼저 선형 장구간 예측기와 신경 회로망이 도입된 비선형 장구간 예측기의 성능을 서로 비교하였다. 그리고 비선형 예측 후의 잔차 신호를 양자화 하는 과정에서 발생하는 양자화 오차의 영향에 대해 분석하였다. 제안된 신경망 예측기는 예측 오차뿐만 아니라 양자화의 영향을 함께 고려하였으며, 양자화오차에 대한강인성을 갖게 하기 위하여 쿤-터커 (Kuhn-Tucker) 부등식 조건을 만족하는 제한조건 역전파 알고리즘을 새로이 제안하였다. 실험 결과, 제안된 신경망 예측기는 제한조건을 갖는 학습 알고리즘을 사용했음에도 불구하고, 예측 이득이 크게 뒤떨어지지 않는 성능을 나타내었다.

입체 영상 저작도구를 위한 깊이영상 양자화 및 베지어 곡선 생성 방법 (A Method of Depth Image Quantization and Bezier Curves Generation for Stereoscopic Image Authoring Tools)

  • 고민수;조충상;신화선;유지상
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2014년도 추계학술대회
    • /
    • pp.240-241
    • /
    • 2014
  • 3D 입체영상 변환 기술은 콘텐츠 확보의 측면에서 그 중요성이 대두되고 있다. 하지만 입체변환 기술은 매 프레임마다 모두 수작업을 거치기 때문에 다수의 인력과 오랜 작업 시간이 필요하여 생산성 문제가 발생하고 있다. 그 중 깊이영상의 외곽선을 벡터 곡선으로 그리는 작업이 수작업을 통해 이루어지고 있으며 오랜 작업시간이 걸리게 한다. 본 논문에서는 기존의 입체영상 변환 과정의 자동화율을 높이기 위한 깊이영상 양자화 및 베지어 곡선 생성 방법을 제안한다. 연속적인 깊이값을 갖는 깊이영상을 입력으로 받아 선형 또는 비선형 기반의 양자화 방법을 이용하여 깊이영상을 양자화 한다. 이 때 경계부분에 발생하는 페더를 제거하여 양자화 깊이영상의 경계를 보정한다. 양자화 깊이영상에서 같은 깊이를 잇는 등심선을 생성하고 방향 변화가 큰 지점인 굴곡점들을 추출하여 등심선을 다수의 곡선으로 구분한다. 각 곡선의 양 끝의 굴곡점과 그 사이의 중간점을 이용하여 3차 베지어 곡선의 제어 포인트를 계산한다. 같은 수행 단계를 모든 등심선에 적용하여 사용자가 미세보정하기 쉬운 3차 베지어 곡선들을 생성한다. 실험 결과를 통해 제안하는 기법의 우수성을 확인하였다.

  • PDF

비선형 퍼지 스트레칭 기법과 퍼지 클러스터링 기법을 이용한 초음파 영상에서의 결절종 추출 (Extraction of Ganglion from Ultrasonic Images Using Nonlinear Fuzzy Stretching and Fuzzy Clustering Method)

  • 조재훈;이재민;김광백
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.68-70
    • /
    • 2017
  • 본 논문에서는 결절종을 추출하는 과정에서 비선형 퍼지 스트레칭 기법과 FCM 기반 양자화 기법을 적용하여 결절종을 추출하는 방법을 제안한다. 제안된 결절종 추출 방법은 비선형 형태의 퍼지 스트레칭 기법을 적용하여 명암 대비를 강조한 ROI 영역에 Monotone Cubic Spline기법과 FCM 기반 양자화 기법을 적용하여 Monotone Cubic Spline기법이 적용된 상단 부분을 분리한다. 분리된 상단 영역들에서 결절종이 명암도가 낮고 타원 형태를 가진다는 형태학적 특징을 이용하기 위해서 침식 기법을 적용하여 결절종의 후보 영역을 추출하고 8 방향 윤곽선 추적 알고리즘을 적용하여 잡음 영역을 제거한다. 잡음이 제거된 결절종 후보 영역에서 최종 결절종 영역을 추출하기 위해 라벨링 기법을 적용한다. 제안된 결절종 추출 방법의 성능을 분석하기 위해서 필립스 초음파 장비를 이용하여 20명 환자에서 획득한 20장의 영상을 대상으로 실험한 결과 기존의 방법보다 TPR(Ture Positive Rate)이 높게 나타나는 것을 확인하였다.

  • PDF

비균일 양자화 기법에 기반을 둔 GLCM의 성능개선 (A Performance Improvement of GLCM Based on Nonuniform Quantization Method)

  • 조용현
    • 한국지능시스템학회논문지
    • /
    • 제25권2호
    • /
    • pp.133-138
    • /
    • 2015
  • 본 논문에서는 비균일 양자화에 기반을 둔 영상의 질감분석에 널리 이용되고 있는 gray level co-occurrence matrix(GLCM)의 성능개선을 제안하였다. 여기서 비균일 양자화는 평균자승오차의 최소화를 위한 반복계산 기법인 Lloyd 알고리즘을 이용하였다. 이는 영상에서의 비균일 양자화 과정으로 얻어지는 비선형의 명암레벨을 GLCM의 생성에 이용함으로써 행렬의 차원을 감소시켜, GLCM의 생성과 질감특성 파라미터들의 계산에 따른 부하를 줄이기 위함이다. 제안된 기법을 30개의 $120{\times}120$ 픽셀의 256 그레이 레벨을 가진 영상들을 대상으로 적용하여 angular second moment, contrast, variance, entropy, correlation, inverse difference moment 6개의 질감특성 파라미터들을 각각 계산한 실험결과, 양자화를 수행하지 않은 256 레벨 GLCM에 비해 계산시간과 저장 공간에서 개선된 성능이 있음을 확인하였다. 특히 48, 32, 16, 12, 8의 비균일 양자화 레벨 중에서 16일 때 가장 우수한 질감특성분석 성능이 있음을 알 수 있었다.