• 제목/요약/키워드: Encoder Layer

검색결과 96건 처리시간 0.025초

SHVC 및 MVC 통합 기반의 스케일러블 다시점 비디오 부호화 설계 및 구현 (Design and Implementation of Scalable Multi-view Video Coding Based on Integration of SHVC and MVC)

  • 정태준;서광덕
    • 방송공학회논문지
    • /
    • 제22권3호
    • /
    • pp.405-408
    • /
    • 2017
  • 다시점 이미지의 뷰포인트 간에 높은 유사도가 존재함을 바탕으로 MV-HEVC는 뷰포인트 내에서 전통적인 시간적 방향 예측 뿐만 아니라 뷰포인트 간에 예측을 수행함으로써 높은 부호화 효율을 얻는다. 본 논문에서는 HEVC를 기본 계층으로 사용하는 스케일러블다시점 비디오 부호화를 구현하기 위해 SHVC와 MVC를 통합 구현함을 제안한다. 실험결과에 의해 BD-PSNR 개선이 1.5dB에 이르고 동시에 BD-Bitrate를 50~60% 가량 줄일 수 있음을 확인하였다.

네트워크 기반 객체 지향형 영상 처리를 위한 MPEG 디코더 코어 설계 (Design of Core of MPEG Decoder for Object-Oriented Video on Network)

  • 박주현;김영민
    • 한국통신학회논문지
    • /
    • 제23권8호
    • /
    • pp.2120-2130
    • /
    • 1998
  • 본 논문은 네트워크를 기반으로 한 객제 지향형 영상 처리를 하는 프로그램이 가능한 MPEG 디코더 설계를 다룬다. 설계된 MPEG 디코더는 객체 지향형 프로그램을 지원할 수 있도록 스택 버퍼를 이용한 콘트롤러를 내장하고 있어서 객체에 기반한 영상 처리에 효과적이며, 소프트웨어 지향적인 영상 표준에 적용되도록 다양한 포맷의 입력 데이터 처리가 가능하다. 또한 벡터 연산부에서는 MPEG-4의 반화소 단위 처리와 고급 모드 보상(Compensation), 예측(Prediction)이 가능하며, SA(Shape Adaptive)-IDCT 가 가능하다. 또한 벡터 처리기 내에 절대값기, 반감기를 두어 인코더로 확장할 수 있도록 하였다. 설계 및 검증은 $0.6{\mu}{\textrm{m}}$ 5-Volt CMOS TLM(Three Layer Metal) COMPASS 라이브러리를 이용하였다.

  • PDF

PID 제어기를 이용한 영상 품질 변화 최소화 방법 (Video Quality Variation Minimizing Method using PID Controller)

  • 박상현;강의성
    • 한국정보통신학회논문지
    • /
    • 제11권11호
    • /
    • pp.2009-2014
    • /
    • 2007
  • 본 논문에서는 버퍼를 이용한 가변적인 트래픽을 제어에서 영상의 품질 변화를 최소화 하는 방법을 제안한다. 제안하는 알고리즘은 반복적인 최적화 방법을 사용하지 않고 프레임 레이어에서 전송률을 제어하는 방법으로 영상 프레임간의 왜곡의 변화를 최소화한다. 그리고 버퍼의 정보를 비트율에 효과적으로 반영 하기 위하여 제어 시스템에서 많이 사용되는 PID 제어를 하였다. PID 제어는 많은 계산량을 필요로 하지 않기 때문에 제안하는 알고리즘은 낮은 계산량을 필요로 하는 실시간 영상 코덱에 적당한 알고리즘이다. 제안하는 알고리즘과 기존의 알고리즘간의 비교 실험은 제안하는 알고리즘이 PSNR 성능에서 기존의 알고리즘 보다 우수함을 보여준다.

영상 품질 변화를 최소화하는 프레임 생략 알고리즘 (Frame Skipping Algorithm for Minimization of Video Quality Variation)

  • 박상현;이성근
    • 한국정보통신학회논문지
    • /
    • 제11권8호
    • /
    • pp.1582-1588
    • /
    • 2007
  • 3GPP에서는 이동망에서 QoS를 관리하기 위하여 트래픽 조절기가 포함된 QoS 구조에 대해서 정의하고 있다. 본 논문에서는 3GPP에서 정의하는 트래픽 조절기에 적용 가능한 영상 전송 알고리즘을 제안한다. 제안하는 알고리즘은 프레임 스키핑을 이용하여 가변적인 트래픽을 제어하는 트래픽 조절기에서 영상의 품질 변화를 최소화한다. 제안하는 알고리즘은 가변 대역폭에 맞게 프레임 수를 조절하여 프레임 레이어에서 전송률을 제어하는 방법으로 영상 프레임간의 왜곡의 변화를 최소화한다. 그리고 제안하는 알고리즘은 전처리가 필요하지 않기 때문에 영상을 압축할 때 추가적인 지연을 발생시키지 않는다. 따라서 제안하는 알고리즘은 낮은 계산량을 필요로 하는 실시간 영상 코덱에 적당한 알고리즘이다.

S2-Net: Machine reading comprehension with SRU-based self-matching networks

  • Park, Cheoneum;Lee, Changki;Hong, Lynn;Hwang, Yigyu;Yoo, Taejoon;Jang, Jaeyong;Hong, Yunki;Bae, Kyung-Hoon;Kim, Hyun-Ki
    • ETRI Journal
    • /
    • 제41권3호
    • /
    • pp.371-382
    • /
    • 2019
  • Machine reading comprehension is the task of understanding a given context and finding the correct response in that context. A simple recurrent unit (SRU) is a model that solves the vanishing gradient problem in a recurrent neural network (RNN) using a neural gate, such as a gated recurrent unit (GRU) and long short-term memory (LSTM); moreover, it removes the previous hidden state from the input gate to improve the speed compared to GRU and LSTM. A self-matching network, used in R-Net, can have a similar effect to coreference resolution because the self-matching network can obtain context information of a similar meaning by calculating the attention weight for its own RNN sequence. In this paper, we construct a dataset for Korean machine reading comprehension and propose an $S^2-Net$ model that adds a self-matching layer to an encoder RNN using multilayer SRU. The experimental results show that the proposed $S^2-Net$ model has performance of single 68.82% EM and 81.25% F1, and ensemble 70.81% EM, 82.48% F1 in the Korean machine reading comprehension test dataset, and has single 71.30% EM and 80.37% F1 and ensemble 73.29% EM and 81.54% F1 performance in the SQuAD dev dataset.

KRBERT 임베딩 층에 따른 의미역 결정 (Layerwise Semantic Role Labeling in KRBERT)

  • 서혜진;박명관;김유희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.617-621
    • /
    • 2021
  • 의미역 결정은 문장 속에서 서술어와 그 논항의 관계를 파악하며, '누가, 무엇을, 어떻게, 왜' 등과 같은 의미역 관계를 찾아내는 자연어 처리 기법이다. 최근 수행되고 있는 의미역 결정 연구는 주로 말뭉치를 활용하여 딥러닝 학습을 하는 방식으로 연구가 이루어지고 있다. 최근 구글에서 개발한 사전 훈련된 Bidirectional Encoder Representations from Transformers (BERT) 모델이 다양한 자연어 처리 분야에서 상당히 높은 성능을 보이고 있다. 본 논문에서는 한국어 의미역 결정 성능 향상을 위해 한국어의 언어적 특징을 고려하며 사전 학습된 SNU KR-BERT를 사용하면서 한국어 의미역 결정 모델의 성능을 살펴보였다. 또한, 본 논문에서는 BERT 모델에서 과연 어떤 히든 레이어(hidden layer)에서 한국어 의미역 결정을 더 잘 수행하는지 알아보고자 하였다. 실험 결과 마지막 히든 레이어 임베딩을 활용하였을 때, 언어 모델의 성능은 66.4% 였다. 히든 레이어 별 언어 모델 성능을 비교한 결과, 마지막 4개의 히든 레이어를 이었을 때(concatenated), 언어 모델의 성능은 67.9% 이였으며, 11번째 히든 레이어를 사용했을 때는 68.1% 이였다. 즉, 마지막 히든 레이어를 선택했을 때보다 더 성능이 좋았다는 것을 알 수 있었다. 하지만 각 언어 모델 별 히트맵을 그려보았을 때는 마지막 히든 레이어 임베딩을 활용한 언어 모델이 더 정확히 의미역 판단을 한다는 것을 알 수 있었다.

  • PDF

MRU-Net: A remote sensing image segmentation network for enhanced edge contour Detection

  • Jing Han;Weiyu Wang;Yuqi Lin;Xueqiang LYU
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권12호
    • /
    • pp.3364-3382
    • /
    • 2023
  • Remote sensing image segmentation plays an important role in realizing intelligent city construction. The current mainstream segmentation networks effectively improve the segmentation effect of remote sensing images by deeply mining the rich texture and semantic features of images. But there are still some problems such as rough results of small target region segmentation and poor edge contour segmentation. To overcome these three challenges, we propose an improved semantic segmentation model, referred to as MRU-Net, which adopts the U-Net architecture as its backbone. Firstly, the convolutional layer is replaced by BasicBlock structure in U-Net network to extract features, then the activation function is replaced to reduce the computational load of model in the network. Secondly, a hybrid multi-scale recognition module is added in the encoder to improve the accuracy of image segmentation of small targets and edge parts. Finally, test on Massachusetts Buildings Dataset and WHU Dataset the experimental results show that compared with the original network the ACC, mIoU and F1 value are improved, and the imposed network shows good robustness and portability in different datasets.

확장형 비디오 부호화(SVC)의 AR-FGS 기법에 대한 부호화 성능 개선 기법 (Improved AR-FGS Coding Scheme for Scalable Video Coding)

  • 서광덕;정순흥;김진수;김재곤
    • 한국통신학회논문지
    • /
    • 제31권12C호
    • /
    • pp.1173-1183
    • /
    • 2006
  • 본 논문에서는 H.264의 확장형(scalable extension) 부호화 기법인 SVC(Scalable Video Coding)에서 채택하고 있는 AR-FGS(Adaptive Reference FGS) 기법의 재생화면 화질 향상을 위한 효과적인 방법을 제안한다. 표준 FGS(Fine Granularity Scalability) 기법에서는 FGS 계층의 부호화 성능 향상을 위하여 기본계층(base layer) 재생화면과 향상계층(enhancement layer) 참조화면에 대해 가중평균(weighted average)을 적용하여 FGS 부호화를 수행하는 AR-FGS 기법을 채택하고 있다. 그러나, 향상계층 부호화 정보가 비트스트림 절삭(bitstream truncation)에 의하여 FGS 복호기에 전달이 되지 못 할 경우 FGS 부호기와 복호기에 이용이 되는 참조화면의 차이로 인하여 움직임 보상 과정에서 오류의 전파(error drift)가 발생하여 FGS 계층에서 화질 저하를 초래하게 된다. 이를 해결하기 위하여 본 논문에서는 FGS 계층에서 움직임 보상에 이용될 예측신호를 구하기 위해 활용이 되는 향상계층 참조화면을 효과적으로 생성하기 위하여 사이클 블록 부호화(cyclical block coding)의 원리를 이용한다. 사이클 블록 부호화에서는 FGS 계층의 복호화 화질에 큰 영향을 미치는 중요 양자화 변환계수(quantized transform coefficient)를 초기 부호화 사이클에 포함시킴으로써 우선적으로 부호화 및 전송이 되게 하는 부호화 기술이다. 양자화 변환계수가 사이클 블록 부호화에 포함되는 순서가 앞설 경우 대역폭 감소로 인한 비트스트림 절삭이 적용될 때에도 복호기에 우선적으로 전달될 확률이 상대적으로 높다. 이러한 원리를 바탕으로 사이클 블록 부호화에 서 각 사이클 별로 생성되는 비트스트림이 향상계층 참조화면의 생성에 기여하는 중요도에 따라 그 가중치를 다르게 조절함으로써 특정 부호화 사이클에서 생성된 비트스트림 정보가 절삭에 의해 FGS 복호기에 전달되지 못하더라도 복호화 시 그 영향을 최소화하여 화질 저하를 줄이는 방법을 제안한다. 제안된 방법을 이용하여 개선된 AR-FGS 기법을 구현할 경우 기존의 표준 방법에 비하여 재생화면의 화질이 최대 1dB 안팎으로 개선이 됨을 실험을 통해 확인하였다.

다중경로 네트워크에서 H.264 SVC에 기반한 비디오 스트링 추출 및 전송 기법 (Extracting and Transmitting Video Streams based on H.264 SVC in a Multi-Path Network)

  • 류은석;이정환;유혁
    • 한국정보과학회논문지:정보통신
    • /
    • 제35권6호
    • /
    • pp.510-520
    • /
    • 2008
  • 오늘날 모바일 디바이스(Mobile Device)는 하나 이상의 네트워크 인터페이스를 가지고 있으며, 이를 효과적으로 활용하기 위한 네트워크 융합(Network Convergence) 기술이 활발히 연구되고 있다. 하지만, 이러한 네트워크 융합 환경을 효과적으로 활용하기 위해서는 물리적 네트워크 인터페이스의 특성뿐 아니라 비디오 부호화 기술에 대한 이해를 바탕으로 한 전송이 필수적이다. 따라서, 본 논문은 전송하려는 비디오 데이타의 특성 및 채널 환경을 이해하고 이에 따라 서로 다른 네트워크 경로로 전송하는 최적의 방법론을 밝힌다. 본 연구는 스케일러블 부호화(Scalable Coded)된 비디오를 계층적 중요성, 스트림 정보의 중요성, 그리고 비디오 디코더의 강인성(Robustness)을 고려한 중요성으로 나누어 다중 채널로 차별적 전송 한다. 실험 결과는 화질기준(PSNR)으로 평균 1dB 이상의 효과를 가졌다. 본 연구 결과는 모바일 디바이스가 하나 이상의 네트워크 인터페이스를 가지는 차세대 네트워크 컨버젼스 환경에 최적인 비디오 전송 기법이 될 것이다.

돕슨 분광광도계(No.124)의 오존 자동관측시스템화 (Automation of Dobson Spectrophotometer(No.124) for Ozone Measurements)

  • 김준;박상서;문경정;구자호;이윤곤;;조희구
    • 대기
    • /
    • 제17권4호
    • /
    • pp.339-348
    • /
    • 2007
  • Global Environment Laboratory at Yonsei University in Seoul ($37.57^{\circ}N$, $126.95^{\circ}E$) has carried out the ozone layer monitoring program in the framework of the Global Ozone Observing System of the World Meteorlogical Organization (WMO/GAW/GO3OS Station No. 252) since May of 1984. The daily measurements of total ozone and the vertical distribution of ozone amount have been made with the Dobson Spectrophotometer (No.124) on the roof of the Science Building on Yonsei campus. From 2004 through 2006, major parts of the manual operations are automated in measuring total ozone amount and vertical ozone profile through Umkehr method, and calibrating instrument by standard lamp tests with new hardware and software including step motor, rotary encoder, controller, and visual display. This system takes full advantage of Windows interface and information technology to realize adaptability to the latest Windows PC and flexible data processing system. This automatic system also utilizes card slot of desktop personal computer to control various types of boards in the driving unit for operating Dobson spectrophotometer and testing devices. Thus, by automating most of the manual work both in instrument operation and in data processing, subjective human errors and individual differences are eliminated. It is therefore found that the ozone data quality has been distinctly upgraded after automation of the Dobson instrument.