• 한국멀티미디어학회논문지
• /
• 제24권1호
• /
• pp.21-29
• /
• 2021

With the recent increase in the number of households raising pets, various engineering studies have been underway for pets. The final purpose of this study is to automatically generate situation-sensitive captions that can express implicit intentions based on the behavior and sound of cats by embedding the already mature behavioral detection technology of pets as basic element technology in the video capturing research. As a pilot project to this end, this paper proposes a high-level capturing system using optical-flow, RGB, and sound information of cat videos. That is, the proposed system uses video datasets collected in an actual breeding environment to extract feature vectors from the video and sound, then through hierarchical LSTM encoder and decoder, to identify the cat's behavior and its implicit intentions, and to perform learning to create context-sensitive captions. The performance of the proposed system was verified experimentally by utilizing video data collected in the environment where actual cats are raised.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2015년도 추계학술대회
• /
• pp.416-419
• /
• 2015

본 논문에서는 HEVC(High Efficiency Video Coding) 부호기의 실시간처리를 위한 효율적인 하드웨어 변환기 하드웨어 설계를 제안한다. HEVC 부호기는 율-왜곡 비용을 비교하여 변환 모드($4{\times}4$, $8{\times}8$, $16{\times}16$, $32{\times}32$)를 결정한다. 율-왜곡비용은 변환과, 양자화, 역양자화, 역변환을 통해 계산된 왜곡값과 비트량으로 결정되므로 상당한 연산량과 소요시간이 필요하다. 따라서 본 논문에서는 변환을 통한 계수의 합계를 비교하여 변환 모드를 결정하는 새로운 방법을 제안한다. 또한, 제안하는 하드웨어구조는 $4{\times}4$, $8{\times}8$, $16{\times}16$, $32{\times}32$ 변환 모드에 대한 공통 연산기와 멀티플렉서, 재귀 가감산기, 쉬프터 만으로 구현하여 연산량을 대폭 감소시켰다. 제안하는 변환 모드 결정 방법은 HM 10.0과 비교하여 BD-PSNR은 0.096, BD-Bitrate는 0.057 증가하였으며, 인코딩 시간은 약 9.3% 감소되었다. 제안된 하드웨어는 TSMC 130nm CMOS 표준 셀 라이브러리로 합성한 결과 최대 동작 주파수는 200MHz, 약 256K개의 게이트로 구현되었으며, 140MHz의 동작주파수에서 4K UHD급 해상도인 $3840{\times}2160@60fps$의 실시간 처리가 가능하다.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.325-343
• /
• 2012

본 논문에서는 참조 프레임 혹은 시간적으로 이전에 부호화한 프레임을 통해 현재 프레임의 LCU 분할구조를 예측하여 부호화하는 방법을 제안한다. HEVC에서는 CU로 부호화 및 복호화를 수행하는데, CU의 기본이 되는 LCU 단위로 영상의 특성에 따라 분할구조를 결정하여 영상을 적응적으로 부호화한다. 이 때, 현재 부호화하려는 LCU의 분할구조와 참조 프레임 및 시간적으로 이전에 부호화한 프레임 내의 동일한 위치에 대응되는 LCU(Co-located LCU)의 분할구조는 매우 유사한 특성이 있다. 따라서 본 논문에서는 인코더의 복잡도를 낮추기 위하여 현재 LCU의 분할구조를 결정할 때, Co-located LCU의 복잡성을 통해 현재 부호화하는 LCU의 분할구조 정보를 예측하고 분할구조에 포함될 확률이 높은 CU만 부호화하는 방법을 제안한다. 제안 방법의 시뮬레이션 결과로서, 인코더만을 변경하여 인코더 복잡도를 낮추는 방법이 기존 대비 인코더 복잡도가 평균 21.3% 감소하였고, 디코더 복잡도는 거의 비슷했으며, BD-Bitrate는 최대 0.6% 증가하였다. 또한 인코더에서 분할구조를 결정할 때 LCU의 분할 정보를 예측하여 부호화하고, CU 분할 정보를 부호화 및 복호화하는 과정을 변경하는 방법을 통해 BD-Bitrate를 감소시키는 방법을 제안하였다. 제안 방법의 시뮬레이션 결과는 인코더 복잡도가 평균 22% 감소하였고, 디코더 복잡도는 거의 비슷했으며, BD-Bitrate는 최대 0.3% 정도만 증가하여 제안하는 방법의 우수함을 확인할 수 있었다.

• 대한전자공학회논문지SD
• /
• 제47권4호
• /
• pp.34-40
• /
• 2010

본 논문에서는 H.264/AVC에서 구문 요소의 저장 공간을 줄인 효율적인 CABAC 부호화기를 제안하였다. 제안하는 구조는 모든 블록을 하드웨어 기반으로 설계하여 프로세서에 의존하지 않고 빠른 처리가 가능하다. 또한 CABAC 부호화기의 문맥 모델러에서는 문맥 모델을 유도하기 위해 이웃 블록의 데이터가 필요한데 이웃 블록 데이터를 가공하지 않은 상태로 전부 저장하게 된다면 메모리 용량이 비효율적으로 커지게 된다. 따라서 본 논문에서는 이웃 블록 데이터를 효율적으로 저장하여 메모리 크기를 감소시키는 방법을 사용한다. 제안하는 CABAC 부호화기는 0.18um 표준 셀 라이브러리를 이용하여 합성한 결과 35,463 게이트의 면적을 사용하였으며, 최대 180MHz까지 동작이 가능하고 입력 심벌 당 소요되는 사이클 수는 약 1에 가깝다.

• 한국정보통신학회논문지
• /
• 제15권2호
• /
• pp.279-285
• /
• 2011

차세대 무선통신에서는 현재 서비스 되고 있는 성능보다 높은 BER(Bit Error Rate)의 성능을 요구한다. 기존의 DVB-RCS(Digital Video Broadcasting - Return Channel via Satellite)에서 사용중인 이진 터보 코드(Double binary Turbo code)는 높은 SNR(에서 오류마루 현상이 발생하여 차세대 무선통신에서 사용하기가 어려움이 있다. 따라서 본 논문에서는 DVB-RCS NG에 적합한 부호화 방식으로 3D-터보 코드(Tthird-dimension Turbo code)의 부복호화기의 구조를 분석하고 성능분석 하였다. 3D-터보 코드는 기존의 DVB-RCS 방식에 rate-1인 post-encoder를 첨가시켜 오류마루 현상을 보완한 부호화기이다. 3D-터보 코드는 post-encoder의 형태, 인터리빙 기법, ${\lambda}$값의 변화에 따라 성능이 달라지므로 본 논문에서는 각 파라메타에 대한 최적의 값을 제시하였다. 전체적으로 3D-터보 코드가 기존의 DVB-RCS 터보 코드에 비해 성능이 우수하고 기존의 문제점인 오류마루 현상을 해결할 수 있음을 알 수 있다.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.329-336
• /
• 2017

비디오 압축에서 움직임 추정 기법은 영상 화질과 발생 비트량에 있어서 중요한 역할을 하지만 많은 계산 복잡도를 요구한다. 다수의 카메라로 촬영한 동영상인 다시점 비디오는 카메라의 수에 비례하여 데이터의 양이 기하급수적으로 증가하기 때문에 움직임 추정에 많은 계산량을 필요하다. 본 논문에서 다시점 비디오의 부호화를 위한 움직임 추정의 계산량을 줄이면서 화질과 비트량을 유지하는 움직임 추정 기법을 제안한다. 제안한 움직임 추정 기법은 움직임 벡터들의 분포 특성과 영상 블록들의 움직임 특성을 이용한다. 제안한 움직임 추정기법은 계층적 움직임 추정 기법으로 대칭형 멀티 마름모 패턴, 대각선 패턴, 사각형 패턴 그리고 정교한 패턴으로 구성되어 있다. 제안한 움직임 추정 기법은 움직임 벡터들과 블록 움직임의 특성들을 이용하여 패턴들의 탐색 점들을 탐색 영역 내에 대칭적으로 배치하고 블록 움직임 크기에 따라 적응적으로 탐색 패턴을 선택하여 움직임 벡터를 추정한다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법과 전역 탐색 기법인 PBS (Pel Block Search)의 성능과 비교한 경우, 영상 화질면에서와 발생 비트량면에서 비슷하지만 움직임 추정에 필요한 계산량을 각각 약 40~75%, 98%감소시킨다.

• 정보처리학회논문지B
• /
• 제12B권7호
• /
• pp.745-754
• /
• 2005

본 논문에서는 채널 부호화를 통해 MPEG-2 비디오의 전송 오류를 검출하고 저작권을 보호하는데 사용할 수 있는 정보은닉 방법을 제안한다 비디오 데이터의 저작권 정보를 길쌈 부호기로 부호화하여 워터마크 신호를 구하며, 입력 비디오 신호를 MPEG-2 비디오 스트림으로 부호화하는 동안 모든 프레임의 매크로 블록에 워터마크 신호를 은닉한다 복호기에서는 모든 프레임의 매크로 블록으로부터 은닉된 신호를 검출하고 검출한 신호를 이용하여 입력 비디오 스트림에서의 전송 오류의 위치를 판정한다. 동시에 검출한 신호를 저작권 정보로 재구성함으로써 비디오 데이터의 저작권을 주장하는 데 사용할 수 있다. 이 과정에서 채널 복호기는 검출된 워터마크 신호에서의 에러를 정정한다. 제안한 MPEG-2 비디오 코덱을 이용하여 300개의 프레임으로 구성되는 3개의 시퀀스를 대상으로 실험한 결과 제안한 방법이 복호 과정에서 비디오 스트림에서의 전송 오류를 검출할 수 있으며 저작권 정보를 보다 정확히 재구성한다는 것을 보여준다.

• 방송공학회논문지
• /
• 제12권6호
• /
• pp.585-595
• /
• 2007

분산 동영상 코딩 (Distributed video coding)은 Slepian과 Wolf 그리고 Wyner와 Ziv의 정보 이론에 기반을 둔 새로운 동영상 압축 패러다임이다. 수신측의 보조정보를 이용하는 손실 압축인 분산 동영상 코딩은 계산의 복잡도를 디코더쪽으로 옮김으로써 적은 연산량의 동영상 인코딩을 가능하게 한다. RD 성능은 기존의 인트라 프레임 코딩보다 뛰어나지만 움직임 보상 (motion-compensated) 기반 인터 프레임 코딩의 성능에는 미치지 못한다. 본 논문은 DV근의 기본 개념과 구조에 대하여 소개하고 실험을 통하여 코딩 방식에 따른 성능을 비교 분석하며 나아가 공간 계층화 코더로서의 DVC의 성능을 보인다.

• 지능정보연구
• /
• 제29권2호
• /
• pp.115-127
• /
• 2023

동영상 안정화 기술은 최근 1인 미디어 시장이 거대화됨에 따라 그 중요성이 점점 커지고 있는 카메라 기술 중 하나이다. 딥러닝 기반의 기존 방법들에서는 안정화 전/후 동영상 데이터 쌍을 사용하였으나 동영상의 특성상 동기화된 안정화 전/후 데이터를 만드는 것은 많은 시간과 노력이 필요하다. 최근 이러한 문제를 완화하기 위하여 안정화 전 데이터만을 사용하는 비지도 학습 방법이 제시되고 있다. 본 논문에서는 비지도 학습 방법의 하나인 Convolutional Autoencoder 구조를 사용하여 안정화 전/후 동영상 데이터 쌍 없이 안정화 전 영상만으로 안정화 궤적을 학습하는 네트워크 구조를 제안한다. 네트워크 입력 및 출력으로 옵티컬 플로우를 사용하고 네트워크 경량화 및 노이즈 최소화를 위해 옵티컬 플로우를 Grid 단위로 맵핑하여 사용했다. 또한 비지도 학습 방법으로 안정화된 궤적을 생성하기 위해 옵티컬 플로우를 부드럽게 만드는 손실함수를 정의하였고 결과 비교를 통해 손실함수의 의도대로 부드러운 궤적을 생성하도록 네트워크가 학습되었음을 확인했다.

• 방송공학회논문지
• /
• 제18권2호
• /
• pp.178-184
• /
• 2013

본 논문에서는 차세대 비디오 표준인 High Efficiency Video Coding(HEVC)의 영상 부호화 과정의 시간복잡도 감소를 위한 효율적인 Prediction Unit(PU)레벨 움직임예측(Motion Estimation, ME) 병렬화의 구현 기법을 제시하고자 한다. 움직임예측 과정은 부호화기에서 80%의 복잡도를 차지하는 과정으로 고속 부호화의 걸림돌이 되고 있다. 이를 해결하기 위한 많은 기술들이 제안되었는데, 그 방법 중의 하나가 움직임예측 알고리즘의 병렬화이다. 이러한 병렬 ME 설계의 일환으로 ME의 일부인 Merge Estimation의 병렬화를 위한 Merge Estimation Region(MER)기반의 설계방법이 제안되었다. 하지만 HEVC Test Model reference software(HM)에 반영된 MER을 이용하여 실제로 병렬화 된 ME를 구현하는 과정에서는 알고리즘 측면에서 아직 고려되지 않은 문제들이 존재한다. 이에 본 논문에서는 HM을 바탕으로 MER을 사용한 안정적인 병렬 ME를 구현하기 위한 전략으로 각 PU의 정보를 독립적으로 사용하기 위한 부분 순차화 방법과 메모리 접근제한을 이용한 병렬화 방법을 제시한다. 실험을 통해 본 연구의 우수성이 확인되었는데, 제안된 방법에 기반을 둔 구현의 전체 부호화 시간이 순차적인 ME를 이용한 HM의 것보다 평균 25.64% 감소하였다.