• 제목/요약/키워드: multi-decoder

검색결과 194건 처리시간 0.028초

좌표 해시 인코더를 활용한 토지피복 분류 모델 (Land Cover Classifier Using Coordinate Hash Encoder)

  • 윤용선;권동재
    • 대한원격탐사학회지
    • /
    • 제39권6_3호
    • /
    • pp.1771-1777
    • /
    • 2023
  • 최근 딥러닝의 발전으로 의미론적 분할을 통한 토지피복 분류 방법들이 제안되고 있다. 그러나 기존의 딥러닝 기반 모델들은 영상 정보만을 이용하기 때문에 시공간적 일관성을 담보할 수 없는 한계점이 있다. 이에 본 연구에서는 좌표 정보를 활용한 토지피복 분류 모델을 제안한다. 먼저 암시적 신경 표현 기법인 다중해상도 해시 인코더를 위경도 좌표계로 확장한 좌표 해시 인코더를 통해 좌표의 특징을 추출하였다. 다음으로 추출된 좌표 특징을 다양한 단계의 U-net 디코더와 결합하는 아키텍처를 제안하였다. 실험 결과, 제안 방법이 약 32% 향상된 분류 정확도를 보였고, 시공간적 일관성이 향상됨을 확인하였다.

다중경로 네트워크에서 H.264 SVC에 기반한 비디오 스트링 추출 및 전송 기법 (Extracting and Transmitting Video Streams based on H.264 SVC in a Multi-Path Network)

  • 류은석;이정환;유혁
    • 한국정보과학회논문지:정보통신
    • /
    • 제35권6호
    • /
    • pp.510-520
    • /
    • 2008
  • 오늘날 모바일 디바이스(Mobile Device)는 하나 이상의 네트워크 인터페이스를 가지고 있으며, 이를 효과적으로 활용하기 위한 네트워크 융합(Network Convergence) 기술이 활발히 연구되고 있다. 하지만, 이러한 네트워크 융합 환경을 효과적으로 활용하기 위해서는 물리적 네트워크 인터페이스의 특성뿐 아니라 비디오 부호화 기술에 대한 이해를 바탕으로 한 전송이 필수적이다. 따라서, 본 논문은 전송하려는 비디오 데이타의 특성 및 채널 환경을 이해하고 이에 따라 서로 다른 네트워크 경로로 전송하는 최적의 방법론을 밝힌다. 본 연구는 스케일러블 부호화(Scalable Coded)된 비디오를 계층적 중요성, 스트림 정보의 중요성, 그리고 비디오 디코더의 강인성(Robustness)을 고려한 중요성으로 나누어 다중 채널로 차별적 전송 한다. 실험 결과는 화질기준(PSNR)으로 평균 1dB 이상의 효과를 가졌다. 본 연구 결과는 모바일 디바이스가 하나 이상의 네트워크 인터페이스를 가지는 차세대 네트워크 컨버젼스 환경에 최적인 비디오 전송 기법이 될 것이다.

Minimum Energy-per-Bit Wireless Multi-Hop Networks with Spatial Reuse

  • Bae, Chang-Hun;Stark, Wayne E.
    • Journal of Communications and Networks
    • /
    • 제12권2호
    • /
    • pp.103-113
    • /
    • 2010
  • In this paper, a tradeoff between the total energy consumption-per-bit and the end-to-end rate under spatial reuse in wireless multi-hop network is developed and analyzed. The end-to-end rate of the network is the number of information bits transmitted (end-to-end) per channel use by any node in the network that is forwarding the data. In order to increase the bandwidth efficiency, spatial reuse is considered whereby simultaneous relay transmissions are allowed provided there is a minimum separation between such transmitters. The total energy consumption-per-bit includes the energy transmitted and the energy consumed by the receiver to process (demodulate and decoder) the received signal. The total energy consumption-per-bit is normalized by the distance between a source-destination pair in order to be consistent with a direct (single-hop) communication network. Lower bounds on this energy-bandwidth tradeoff are analyzed using convex optimization methods. For a given location of relays, it is shown that the total energy consumption-per-bit is minimized by optimally selecting the end-to-end rate. It is also demonstrated that spatial reuse can improve the bandwidth efficiency for a given total energy consumption-per-bit. However, at the rate that minimizes the total energy consumption-per-bit, spatial reuse does not provide lower energy consumption-per-bit compared to the case without spatial reuse. This is because spatial reuse requires more receiver energy consumption at a given end-to-end rate. Such degraded energy efficiency can be compensated by varying the minimum separation of hops between simultaneous transmitters. In the case of equi-spaced relays, analytical results for the energy-bandwidth tradeoff are provided and it is shown that the minimum energy consumption-per-bit decreases linearly with the end-to-end distance.

MIMO-OFDM 시스템을 위한 효율적인 UEP 전송기법 제안 (An Efficient UEP Transmission Scheme for MIMO-OFDM Systems)

  • 이흔철;이병시;;이인규
    • 한국통신학회논문지
    • /
    • 제32권5C호
    • /
    • pp.469-477
    • /
    • 2007
  • 소스 코딩을 통해 얻어지는 대다수의 멀티미디어 데이터 정보는 여러 등급의 다른 비트에러민감도를 가지고 있다. 그러므로 효율적인 시스템 구현을 위해서는 데이터 고유의 비트에러민감도에 따라 서로 다른 수준의 에러 방지를 제공해야 한다. 이 논문에서는 다중안테나 (multiple-in multiple-out : MIMO) 기반의 OFDM시스템에서 효과적인 멀티미디어 정보를 전송하기 위한 차등 에러 방지 기법(Unequal error protection : UEP)을 제안한다. 차등의 에러 방지를 제공하는 시공간 코딩 기법을 설명하고 그 성능을 평가한다. MIMO 기법과 BICM (Bit-interleaved coded modulations) 기술은 보통 RCPC (Rate compatible punctured convolutional codes) 기법과 연계되어 구동된다. 이때 다중안테나 채널 이퀄라이저와 채널코딩 사이에 터보디코딩 기법을 적용하여 최상의 성능을 얻을 수 있는데 기존의 시스템에서는 동일한 에러방지기법(Equal Error Protection : EEP)을 사용하고 있다. 이 논문에서는 이런 시스템 구조에서 보통 사용되는 동일 에러 방지 기법(EEP)와 비교하여 차등 에러방지 기법(UEP)를 사용함으로써 얻을 수 있는 이득을 사용되는 전송파워와 채널밴드 측면에서 설명한다. 특히 제안된 알고리즘을 둘 또는 세 개의 전송 안테나와 두 개의 수신안테나를 갖는 다중안테나 시스템에 적용하고 8PSK 신호를 이용하여 플랫 페이딩 채널에서 성능을 평가하였다.

윤곽선 맵과 다중 면 사이드 매치 유한상태 벡터 양자화를 이용한 영상 압축 (Image Compression Using Edge Map And Multi-Sided Side Match Finite-State Vector Quantization)

  • 조성환;김응성
    • 한국산학기술학회논문지
    • /
    • 제8권6호
    • /
    • pp.1419-1427
    • /
    • 2007
  • 본 논문에서는 영상의 윤곽선을 검출하여 배경 블록과 윤곽선 블록으로 분류하고 윤곽선 맵을 작성하여, 윤곽선 블록에 대해서는 다시 DCT의 AC 계수를 사용하여 16개로 세분화한 후, 다중 면 사이드 매치 유한상태 벡터양자화를 수행하는 알고리듬을 제안한다. 윤곽선 맵의 정보에 따라 각각 주 부호책으로부터 상태 부호책을 작성하며, 현재 블록의 B면 또는 3면에 대해 사이드 매치 계산을 수행한다. 전송 비트 수를 줄이기 위해 먼저 부호화되는 블록들 중 배경 블록에 한하여 주 부호책으로 부호화 할 것인지를 결정한다. 또한 복호화기로 전송하는 부호단어 인덱스의 할당 비트를 줄이기 위해서 가변 길이 부호화를 수행한다. Zelda, Lenna, Bridge, Peppers 영상에 대하여 본 알고리듬으로 영상을 부호화했을 때 SMVQ와 TSMVQ 알고리듬보다 더 좋은 영상의 화질을 얻을 수 있었다.

  • PDF

Dual-stream Co-enhanced Network for Unsupervised Video Object Segmentation

  • Hongliang Zhu;Hui Yin;Yanting Liu;Ning Chen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권4호
    • /
    • pp.938-958
    • /
    • 2024
  • Unsupervised Video Object Segmentation (UVOS) is a highly challenging problem in computer vision as the annotation of the target object in the testing video is unknown at all. The main difficulty is to effectively handle the complicated and changeable motion state of the target object and the confusion of similar background objects in video sequence. In this paper, we propose a novel deep Dual-stream Co-enhanced Network (DC-Net) for UVOS via bidirectional motion cues refinement and multi-level feature aggregation, which can fully take advantage of motion cues and effectively integrate different level features to produce high-quality segmentation mask. DC-Net is a dual-stream architecture where the two streams are co-enhanced by each other. One is a motion stream with a Motion-cues Refine Module (MRM), which learns from bidirectional optical flow images and produces fine-grained and complete distinctive motion saliency map, and the other is an appearance stream with a Multi-level Feature Aggregation Module (MFAM) and a Context Attention Module (CAM) which are designed to integrate the different level features effectively. Specifically, the motion saliency map obtained by the motion stream is fused with each stage of the decoder in the appearance stream to improve the segmentation, and in turn the segmentation loss in the appearance stream feeds back into the motion stream to enhance the motion refinement. Experimental results on three datasets (Davis2016, VideoSD, SegTrack-v2) demonstrate that DC-Net has achieved comparable results with some state-of-the-art methods.

다중 레이블 분류의 정확도 향상을 위한 스킵 연결 오토인코더 기반 레이블 임베딩 방법론 (Label Embedding for Improving Classification Accuracy UsingAutoEncoderwithSkip-Connections)

  • 김무성;김남규
    • 지능정보연구
    • /
    • 제27권3호
    • /
    • pp.175-197
    • /
    • 2021
  • 최근 딥 러닝 기술의 발전으로 뉴스, 블로그 등 다양한 문서에 포함된 텍스트 분석에 딥 러닝 기술을 활용하는 연구가 활발하게 수행되고 있다. 다양한 텍스트 분석 응용 가운데, 텍스트 분류는 학계와 업계에서 가장 많이 활용되는 대표적인 기술이다. 텍스트 분류의 활용 예로는 정답 레이블이 하나만 존재하는 이진 클래스 분류와 다중 클래스 분류, 그리고 정답 레이블이 여러 개 존재하는 다중 레이블 분류 등이 있다. 특히, 다중 레이블 분류는 여러 개의 정답 레이블이 존재한다는 특성 때문에 일반적인 분류와는 상이한 학습 방법이 요구된다. 또한, 다중 레이블 분류 문제는 레이블과 클래스의 개수가 증가할수록 예측의 난이도가 상승한다는 측면에서 데이터 과학 분야의 난제로 여겨지고 있다. 따라서 이를 해결하기 위해 다수의 레이블을 압축한 후 압축된 레이블을 예측하고, 예측된 압축 레이블을 원래 레이블로 복원하는 레이블 임베딩이 많이 활용되고 있다. 대표적으로 딥 러닝 모델인 오토인코더 기반 레이블 임베딩이 이러한 목적으로 사용되고 있지만, 이러한 기법은 클래스의 수가 무수히 많은 고차원 레이블 공간을 저차원 잠재 레이블 공간으로 압축할 때 많은 정보 손실을 야기한다는 한계가 있다. 이에 본 연구에서는 오토인코더의 인코더와 디코더 각각에 스킵 연결을 추가하여, 고차원 레이블 공간의 압축 과정에서 정보 손실을 최소화할 수 있는 레이블 임베딩 방법을 제안한다. 또한 학술연구정보서비스인 'RISS'에서 수집한 학술논문 4,675건에 대해 각 논문의 초록으로부터 해당 논문의 다중 키워드를 예측하는 실험을 수행한 결과, 제안 방법론이 기존의 일반 오토인코더 기반 레이블 임베딩 기법에 비해 정확도, 정밀도, 재현율, 그리고 F1 점수 등 모든 측면에서 우수한 성능을 나타냄을 확인하였다.

MPEG-2 AAC 복호기를 위한 부동소수점유닛 설계에 관한 연구 (A Study On the Design of a Floating Point Unit for MPEG-2 AAC Decoder)

  • 구대성;김필중;김종빈
    • 대한전자공학회논문지TE
    • /
    • 제39권4호
    • /
    • pp.355-355
    • /
    • 2002
  • 본 논문에서는 디지털 오디오의 하드웨어 설계 시 가장 중요하고 고집적도를 요구하는 부동소수점 유닛을 설계하였다. 대부분의 모든 오디오 시스템이 다채널을 지원하고 고음질을 요구한다. 하드웨어로 구현한 부동소수점 연산기는 MPEG-2 AAC 복호기를 DSP로 구현 시 실시간 디코딩이 가능하도록 설계하였다. 그 이유는 오디오 분야에서 MPEG-2 AAC는 MPEG-4 이후 오디오와 상호 호환성을 갖기 때문이다. MPEG-2 AAC 디코더에서 가장 많은 연산부분을 차지하는 부동소수점유닛의 속도향상을 위하여 하드웨어로 설계하였다. FPU는 승산기와 가산기로 구성되어있다. 승산기는 Radix-4 Booth알고리즘을 사용하였고 가산기는 속도향상을 위하여 1의 보수 방식을 채택하였다. 부동소수점 형식은 지수부에 8bit 가수부에 24bit를 사용한다. IEEE 단정도 포맷과 호환되도록 설계하였으며, 연산기의 속도를 향상시키기 위하여 파이프라인 구조를 채택하였다. 모든 세부블록들은 ISO/IEC 13818-7 표준에 의거하여 구현하였다. 알고리즘 테스트는 C언어를 사용하였고, 설계는 VHDL(VHSIC Hardware Description Language)을 사용하였다. 최대동작속도는 23.2MHz이고, 안정상태의 동작속도는 약 19MHz이다.

$OakDSPCore^{\circledR}$를 이용한 적응형 다중 비트 (AMR) 음성 부호화기의 실시간 구현 (Real-time Implementation of the AMR Speech Coder Using $OakDSPCore^{\circledR}$)

  • 이남일;손창용;이동원;강상원
    • 한국음향학회지
    • /
    • 제20권6호
    • /
    • pp.34-39
    • /
    • 2001
  • 적응형 다중 비트 (AMR: adaptive multi-rate)은 ETSI (European Telecommunications Standards Institute)에서 채택한 광대역 코드분할 다중화(W-CDMA: wideband cadedivision multiple access)용 음성 부호화표준방식으로서 채널 상태의 변화에 따라 가변적인 전송률을 가진다. 본 논문에서는 적응형 다중 비트 음성 부호화 알고리즘을 분석하고 C프로그램 최적화 과정을 거친 후OakDSPCore/sup R/를 기반으로 설계된 C&S Technology사의 CSD17C00A칩을 이용하여 전과정을 어셈블리어로 실시간 구현하였다. 구현된 코덱은 최대의 계산량을 요구하는6.7 kbps 모드일때 인코더부분이 최대 20.6MIPS이며 디코더부분은 약2.7MIPS의 복잡도를 나타낸다. 사용된 메모리는 약 21.33 kwords, 데이터 RAM메모리는 약 4.25 kwords를 가지며 데이터 ROM메모리는 약 15.1kwords 이다. 구현된 코덱은 최대 약 23.29MIPS의 복잡도를 가지고 있으므로 40MIPS의 성능을 가지는 CSD17C00A를 이용한 보드상에서 실시간 동작이 가능함을 확인하였다. 구현된 프로그램은 ETSI에서 제공하는 21개의 테스트 (test) 벡터를 통하여 bit-exact함을 확인하였다. 그리고 마이크와 스피커를 이용한 실시간 음성 입출력이 음질의 왜곡이나 지연없이 실시간으로 동작함을 확인하였다.

  • PDF

Fine-scalable SPIHT Hardware Design for Frame Memory Compression in Video Codec

  • Kim, Sunwoong;Jang, Ji Hun;Lee, Hyuk-Jae;Rhee, Chae Eun
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제17권3호
    • /
    • pp.446-457
    • /
    • 2017
  • In order to reduce the size of frame memory or bus bandwidth, frame memory compression (FMC) recompresses reconstructed or reference frames of video codecs. This paper proposes a novel FMC design based on discrete wavelet transform (DWT) - set partitioning in hierarchical trees (SPIHT), which supports fine-scalable throughput and is area-efficient. In the proposed design, multi-cores with small block sizes are used in parallel instead of a single core with a large block size. In addition, an appropriate pipelining schedule is proposed. Compared to the previous design, the proposed design achieves the processing speed which is closer to the target system speed, and therefore it is more efficient in hardware utilization. In addition, a scheme in which two passes of SPIHT are merged into one pass called merged refinement pass (MRP) is proposed. As the number of shifters decreases and the bit-width of remained shifters is reduced, the size of SPIHT hardware significantly decreases. The proposed FMC encoder and decoder designs achieve the throughputs of 4,448 and 4,000 Mpixels/s, respectively, and their gate counts are 76.5K and 107.8K. When the proposed design is applied to high efficiency video codec (HEVC), it achieves 1.96% lower average BDBR and 0.05 dB higher average BDPSNR than the previous FMC design.