• 제목/요약/키워드: frame processing

검색결과 1,187건 처리시간 0.027초

이동형 단말기 사용자를 위한 축구경기 비디오의 시청경험 향상 방법 (Raising Visual Experience of Soccer Video for Mobile Viewers)

  • 안일구;고재승;김원준;김창익
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제13권3호
    • /
    • pp.165-178
    • /
    • 2007
  • 최근 멀티미디어 신호처리 및 통신 기술의 발전에 힘입어 작은 LCD 패널을 통한 스포츠경기 시청이 증가하고 있다. 하지만 멀티미디어 단말에 방송되는 대부분의 영상들은 주로 경제적인 이유로 일반 TV나 HDTV 용으로 제작되어 단순히 크기만을 변환하거나 추가적인 편집 없이 녹화되고 있는 실정이다. 이는 작은 이동형 단말 사용자들이 경기화면 내의 상황을 인식하는데 있어서 많은 불편함을 겪는다. 예를 들어, 원거리 샷 카메라 기법으로 찍힌 축구 경기 동영상의 경우, 운동장 내의 공과 선수들은 매우 작아서 알아보기가 힘든 경우가 발생한다. 또한 경기 진행 시간이나 점수를 포함하는 점수상자(scorebox)의 내용 역시 시청자가 쉽게 알아보기 힘들다. 따라서 소형 디스플레이 시청자들의 원활한 이해를 위한 지능형 디스플레이 기술이 필요하다. 이를 위한 핵심기술의 하나가 관심 영역을 자동으로 결정하고 확대하여 보여주는 일이다. 여기서 관심영역이란 시청자들이 화면 내에서 다른 부분에 비해 더욱 관심을 갖게 되는 영역을 말하며 축구경기 비디오의 경우, 주로 상단 모서리에 존재하는 점수상자나 원거리 샷에서의 공을 둘러싼 주변영역 등이 해당된다. 본 논문에서 우리는 이동형 단말기 시청자들을 위한 시청경험 향상을 위한 방법을 제안한다. 경기장면에서 관심영역의 추출을 위해 화면 내에서 시각적으로 현저한 부분의 검출에 관심을 갖는 방법 대신, 축구 경기 비디오 고유의 특징을 이용하는 도메인 한정적인 접근법을 이용한다. 제안된 시스템은 크게 두 가지 모듈 관심영역 결정, 점수상자 추출로 구성된다. 실험 결과를 통해 제안된 알고리즘이 이동형 단말기상에서 지능형 디스플레이를 위한 좋은 해결책임을 보이고자 한다.

8kbps에 있어서 ACFBD-MPC에 관한 연구 (A Study on ACFBD-MPC in 8kbps)

  • 이시우
    • 한국산학기술학회논문지
    • /
    • 제17권7호
    • /
    • pp.49-53
    • /
    • 2016
  • 최근 무선네트워크의 효율을 높이기 위하여 신호압축 방식의 사용이 증가되고 있다. 특히, MPC 시스템은 비트율을 줄이기 위하여 피치추출 방법과 유성음과 무성음의 음원을 사용하였다. 일반적으로, 유성음원과 무성음원을 사용하는 MPC 시스템에 있어서, 같은 프레임 안에 모음과 무성자음이 있는 경우에 재생 음성파형에 일그러짐이 나타난다. 이것은 대표구간의 멀티펄스를 피치구간마다 복원하는 과정에서 재생 음성파형이 정규화 되는 것이 원인으로 작용한다. 본 논문에서는 재생 음성파형의 일그러짐을 제어하기 위하여 피치구간 마다 멀티펄스의 진폭을 보정하고, 특정 주파수를 이용하는 ACFBD-MPC(Amplitude Compensation Frequency Band Division-Multi Pulse Coding)를 제안하였다. 실험은 남자와 여자음성에서 각각 16개의 문장을 사용하였으며, 음성신호는 10kHz 12bit로 A/D 변환하였다. 또한 8kbps의 부호화 조건에서 ACFBD-MPC 시스템을 구현하고, ACFBD-MPC의 SNR를 평가하였다. 그 결과 ACFBD-MPC의 남자 음성에서 14.2dB, 여자 음성에서 13.6dB 임을 확인할 수 있었으며, ACFBD-MPC가 기존의 MPC에 비하여 남자음성에서 1dB, 여자음성에서 0.9dB 개선되는 것을 알 수 있었다. 이 방법은 셀룰러폰이나 스마트폰과 같이 낮은 비트율의 음원을 사용하여 음성신호를 부호화하는 방식에 활용할 수 있을 것으로 기대된다.

EGML 기반 이동객체 검출 프로세서의 저면적 하드웨어 구현 (A Small-area Hardware Implementation of EGML-based Moving Object Detection Processor)

  • 성미지;신경욱
    • 한국정보통신학회논문지
    • /
    • 제21권12호
    • /
    • pp.2213-2220
    • /
    • 2017
  • EGML (Effective Gaussian Mixture Learning) 기반의 배경차분 기법을 이용한 이동객체 검출 (Moving Object Detection; MOD) 프로세서의 효율적인 하드웨어 구현 방식을 제안한다. 하드웨어 복잡도를 감소시키기 위해 배경 생성에 사용되는 일부 연산을 근사화하여 구현하였으며, 배경차분과 가우시안 계산의 나눗셈 연산에 사용되는 하드웨어 자원이 공유되도록 설계하였다. 설계한 MOD 프로세서는 MATLAB/Simulink를 이용한 HDL-netlist 시뮬레이션과 FPGA-in-the-loop 방식을 통해 기능을 검증하였다. IEEE CDW-2014 데이터 세트의 6가지 영상을 입력으로 사용하여 MOD 성능을 평가한 결과, 평균 재현율(recall)은 0.7700, 평균 정밀도(precision)는 0.7170, F-measure가 0.7293으로 평가되었다. Xilinx ISE를 이용하여 FPGA 합성한 결과, Virtex5 XC5VSX95T 디바이스에서 총 882 슬라이스와 $146{\times}36kbit$의 블록 램으로 구현되었으며, 동일한 알고리듬을 적용한 기존의 구현 사례에 비해 약 60%의 하드웨어를 감소시켰다. MOD 프로세서는 최대 75 MHz의 클록 주파수로 동작하여 $800{\times}600$ 해상도의 영상에 대해 39 fps의 성능으로 실시간 처리가 가능한 것으로 평가되었다.

무선 인터넷 컨텐츠의 자동 생성을 위한 WML 변환기와 WML 편집기의 설계 및 구현 (Design and Implementation of a WML Converter and WML Editor for Automatic Generation of Wireless Internet Content)

  • 전윤주;최은혜;정현숙;조혜영;이민수;용환승
    • 정보처리학회논문지D
    • /
    • 제12D권2호
    • /
    • pp.309-318
    • /
    • 2005
  • 기존의 HTML 컨텐츠와 관련 응용들을 효과적으로 무선 인터넷 사용자들에게 전달하기 위하여 HTML 문서를 WML 기반의 문서로 효율적으로 변환하고 저작하여 양질의 컨텐츠를 제공하는 제반기술 및 연구에 대한 필요성이 커지고 있다. 본 논문에서는 HTML을 사용하여 제작된 기존 웹 페이지를 실시간으로 처리하여 WAP 환경에 적합한 언어인 WML 문서로 변환해주는 WML 변환기, 그리고 WML 문서를 WYSIWYG방식으로 생성하고 관리할 수 있는 WML 편집기를 설계하고 구현함으로써 무선 환경에 적합한 서비스의 제공이 가능하도록 하였다. 구현된 WML 변환기는 프록시 서버에 설치하여 실시간으로 변환하는 기능을 지원할 뿐만 아니라 기존의 변환기에 비해서 다양한 이미지 변환 및 링크, 프레임에 대한 태그 변환을 개선함으로써 링크를 통한 연속적인 탐색이 가능하고 프레임으로 구성된 복잡한 웹 페이지도 볼 수 있게 하였다. 이외에도 휴대폰 크기에 맞도록 WML 문서의 자동적인 카드 분리, 사용자 정의 변환 규칙의 추가를 지원한다. 또한 WYSIWYG 방식의 편리한 WML 편집기와 통합되어 있어서 WML 문서의 생성부터 출판까지 통합환경을 제공한다.

깊이정보를 이용한 실시간 손 영역 검출 및 추적 (Real-time Hand Region Detection and Tracking using Depth Information)

  • 주성일;원선희;최형일
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제1권3호
    • /
    • pp.177-186
    • /
    • 2012
  • 본 논문에서는 실시간 손동작 분석을 위한 깊이정보 기반 손 영역 검출 및 추적 방법을 제안한다. 이를 위해 손 영역 검출단계에서는 깊이정보만을 이용하여 손 영역의 특징인 형태모델을 생성하고, 검출 시 움직임 정보와 영역 확장(Region Growing)을 통해 객체를 추출한다. 추출된 객체는 사전에 생성된 형태모델과 크기정보를 분석하여 최종 손 영역으로 판정한다. 판정된 손 객체는 추적단계에서 중심점 전이 과정을 통해 이전 중심점과의 최근접점을 획득하고, 최근접점으로부터 영역 확장과 깊이기반 적응적 평균 이동 기법(DAM-Shift)을 통해 새로운 중심점을 검출하여 추적한다. 마지막으로 성능 검증을 위해 다양한 손 모양과 속도 및 위치에 대한 다양한 환경에서 실험하고, 검출속도와 추적된 궤적의 정량적, 정성적 분석을 통해 제안하는 방법의 효율성을 입증한다.

DEVELOPMENT OF AN AMPHIBIOUS ROBOT FOR VISUAL INSPECTION OF APR1400 NPP IRWST STRAINER ASSEMBLY

  • Jang, You Hyun;Kim, Jong Seog
    • Nuclear Engineering and Technology
    • /
    • 제46권3호
    • /
    • pp.439-446
    • /
    • 2014
  • An amphibious inspection robot system (hereafter AIROS) is being developed to visually inspect the in-containment refueling storage water tank (hereafter IRWST) strainer in APR1400 instead of a human diver. Four IRWST strainers are located in the IRWST, which is filled with boric acid water. Each strainer has 108 sub-assembly strainer fin modules that should be inspected with the VT-3 method according to Reg. guide 1.82 and the operation manual. AIROS has 6 thrusters for submarine voyage and 4 legs for walking on the top of the strainer. An inverse kinematic algorithm was implemented in the robot controller for exact walking on the top of the IRWST strainer. The IRWST strainer has several top cross braces that are extruded on the top of the strainer, which can be obstacles of walking on the strainer, to maintain the frame of the strainer. Therefore, a robot leg should arrive at the position beside the top cross brace. For this reason, we used an image processing technique to find the top cross brace in the sole camera image. The sole camera image is processed to find the existence of the top cross brace using the cross edge detection algorithm in real time. A 5-DOF robot arm that has multiple camera modules for simultaneous inspection of both sides can penetrate narrow gaps. For intuitive presentation of inspection results and for management of inspection data, inspection images are stored in the control PC with camera angles and positions to synthesize and merge the images. The synthesized images are then mapped in a 3D CAD model of the IRWST strainer with the location information. An IRWST strainer mock-up was fabricated to teach the robot arm scanning and gaiting. It is important to arrive at the designated position for inserting the robot arm into all of the gaps. Exact position control without anchor under the water is not easy. Therefore, we designed the multi leg robot for the role of anchoring and positioning. Quadruped robot design of installing sole cameras was a new approach for the exact and stable position control on the IRWST strainer, unlike a traditional robot for underwater facility inspection. The developed robot will be practically used to enhance the efficiency and reliability of the inspection of nuclear power plant components.

MPEG-H 3D 오디오 표준 복호화기 구조 및 연산량 분석 (MPEG-H 3D Audio Decoder Structure and Complexity Analysis)

  • 문현기;박영철;이용주;황영수
    • 한국통신학회논문지
    • /
    • 제42권2호
    • /
    • pp.432-443
    • /
    • 2017
  • MPEG-H 3D 오디오 표준은 UHDTV 등의 초고해상도 방송서비스에 대응하는 실감음향 서비스의 제공을 목표로 한다. 이를 위해 본 표준은 다채널 신호, 객체 신호, 장면 기반 신호의 부호화/복호화 기술과 다양한 재생 환경에서 3차원 오디오 제공을 위한 렌더링 기술, 후처리 기술 등 방대한 기술을 통합하였다. 본 표준의 참조 소프트웨어 복호화기는 여러 모듈들이 결합된 구조로 다양한 모드에서 동작이 가능하며, 각 모듈들이 독립된 실행파일로 순차적으로 실행되어 실시간 처리가 불가능하다. 본 논문에서는 MPEG-H 3D 오디오의 코어 복호화기, 포맷 변환기, 객체 렌더러, 바이노럴 렌더러의 각 함수를 동적 라이브러리화 및 통합하여 프레임 기반 복호화가 가능하도록 하였다. 또한 MPEG-H 3D 오디오의 각 모드별 연산량을 측정하여 다양한 하드웨어 플랫폼에서 적합한 모드를 선택하기 위한 참고 자료를 제공한다. 연산량 분석 결과, 한국 방송 표준에 포함된 저연산량 프로파일은 채널 신호로 렌더링을 할 경우 QMF 합성 연산의 2.8배에서 12.4배의 연산량을 가지며, 바이노럴 렌더링을 할 경우 QMF 합성 연산의 4.1배에서 15.3배의 연산량을 가진다.

통계적 분석 기반 불법 복제 비디오 영상 감식 방법 (A Novel Video Copy Detection Method based on Statistical Analysis)

  • 조혜정;김지은;손채봉;정광수;오승준
    • 방송공학회논문지
    • /
    • 제14권6호
    • /
    • pp.661-675
    • /
    • 2009
  • 인터넷과 멀티미디어 기술이 발달함에 따라 무분별한 불법 콘텐츠들의 유통으로 인한 저작권 침해가 심각한 사회적 문제로 대두되고 있어, 불법 복제 영상을 검출하는 시스템의 개발이 시급하다. 본 논문에서는 공간영역 상에서 다양하게 변형된 복제 영상과 원본 영상간의 통계적 특성을 이용하여 그 유사도를 측정하고 복제 여부를 판단하는 계층적 구조의 불법 비디오 감식 방법을 제안한다. 영상의 대표적 특성인 휘도 성분에 따라 순위를 매김으로써 공간적 변형에 영향을 받지 않도록 하였으며, 데이터베이스에 저장된 방대한 양의 영상들에 대한 검색시간과 계산량을 줄이기 위해 순위 표본 프레임을 이용하여 유사한 후보 영상군을 추출한다. 이러한 후보 영상군을 대상으로 일반적인 불법 복제 비디오의 형태를 감안하여 각 프레임의 가장자리에 위치한 검은색 영역을 제외함과 동시에 영상의 중앙 영역을 포함하여 통계 검정을 이용함으로써 복제 여부를 판단한다. 실험 결과, 제안하는 방법은 이전 방법에 비해 순위 표본 프레임의 정확도가 유사하면서 선택된 순위 표본 프레임 수가 약 61% 가량 적게 추출하여 특징 정보에 저장되는 메모리 양을 절약할 수 있었다. 또한 영상의 화질 열화, 대비 변형, 확대 및 축소, 화면비 변환, 자막 삽입 등 다양한 공간적 변형에도 포괄적으로 복제 여부를 판단할 수 있음을 실험을 통해 확인하였다.

3차원 동영상 정보처리용 영상 입출력 기술 (An Input/Output Technology for 3-Dimensional Moving Image Processing)

  • 손정영;천유식
    • 전자공학회논문지S
    • /
    • 제35S권8호
    • /
    • pp.1-11
    • /
    • 1998
  • 차세대 정보 통신 서비스의 고도화를 위해 추구되는 핵심 기술 중의 하나가 가시화를 통한 실감(Sensation of Reality) 서비스의 구현이다. 정보 통신 서비스의 가시화를 통한 실감화는 3차원 동영상 통신 기술의 개발없이는 구현이 불가능하다. 3차원 동영상 통신의 구현에 있어 가장 큰 문제점은 3차원 동영상에 포함된 많은 정보량을 전송할 수 있는 전송 기술과 3차원 영상을 촬영하고 실시간으로 표시할 수 있는 기술이 아직 확립되어 있지 않다는 것이다. 현재 확립되어 있는 3차원 동영상 기술은 주로 입체 방식(Stereoscopic Type)으로 실감을 얻기가 어렵다. 입체영상 보다 실감을 더해 주는 영상은 눈의 움직임과 함께 입체 영상이 연속적으로 변하게 하는 다시점(Multiview) 3차원 영상이다. 다시점 3차원 영상시스템을 8대의 카메라와 빔 프로젝터 그리고 홀로그래픽 스크린을 이용하는 시분할(Time Multiplexing) 방식에 의해 구현했다. 이 시스템에서 다시점 영상은 8대의 카메라에 의해 촬영되며, 이 촬영된 영상은 신호변환기에 의해 색상별로 한 개의 채널로 합성되어 초당 480 프레임 주파수로 빔 프로젝터에 의해 홀로그래픽 스크린에 투사된다. 빔 프로젝터의 영상은 띠형(Strip Type) 액정 셔터를 통해 홀로그래픽 스크린에 투사되게 되며, 이 띠형 액정 셔터는 홀로그래픽 스크린상에 투사된 영상을 볼 수 있게 시역을 형성한다. 각 카메라는 대응하는 띠형 액정 셔터들과 동기되어 움직이므로, 각 카메라의 영상은 대응하는 액정 셔터를 통해 투사하게 되어 시역에서는 다시점 3차원 영상의 시청이 가능해진다.

  • PDF

자기 공명 탄성법 (Magnetic Resonance Elastography)

  • 김동현;양재원;김명진
    • Investigative Magnetic Resonance Imaging
    • /
    • 제11권1호
    • /
    • pp.10-19
    • /
    • 2007
  • 기존 MRI, 즉 T1 강조-, T2 강조-, 확산-, 관류-, 기능적-, 등의 영상법은 조직의 물리적 파라미터 그리고 기능적 특성을 알려주는 역할을 한다. 본 종설에서는 최근 관심이 높아지고 있는 영상기법의 하나로 MRE (Magnetic Resonance Elastography, 자기공명탄성법)를 소개하고자 한다. MRE는 기존의 물리적, 기능적 측정을 벗어나 조직의 기계적 특성에 관한 정보를 제공해준다는 면에서 MRI를 이용한 새로운 modality로서의 가능성을 시사해 준다. 예로부터 진단의 가장 기초적인 방법중 하나로서 촉진을 이용하여 조직의 경도를 가늠하여 왔다. MRE는 조직의 경도를 MRI를 이용하여 객관적으로 수치화해준다. MRE 임상실험을 성공적으로 수행하기 위해서는 몇 가지 하드웨어와 소프트웨어(트랜스듀서, 펄스대열, 영상처리 알고리즘)가 구비되어야 한다. 트랜스듀서는 인체에 진동을 전달해주는 부분으로서 MRE 응용을 가능하게 하는 핵심적인 역할을 한다. 따라서 MRI 시스템의 자기장과 인체의 골격, 피부와 트랜스듀서 접촉면의 압력, 마찰을 고려하여 제작하여야 한다. 트랜스듀서를 통해서 인체 내부에 진동이 전달되고 있으면 최적의 영상을 얻기 위하여 고려되어야 할 사항이 펄스대열을 조정하는 것이다. 마지막으로 여러 가지 물질에 대한 가정(등방성, 균질성, 비압축성)하에서 영상처리 알고리즘은 파동방정식(Helmholtz equation)으로 표현되며 이로부터 탄성도(Elasticity or Modulus)를 구할 수 있다. 본 종설에서는 이에 대한 리뷰 및 MRE를 이용한 응용분야에 대하여 살펴본다.

  • PDF