• Journal of Korea Multimedia Society
• /
• v.12 no.5
• /
• pp.677-687
• /
• 2009

Despite the fact that the mobile environment has favorable conditions for using data contents, it is not easy to implement enhanced data services for mobile broadcasting based on MPEG-4 BIFS. With a structure inherited from VRML, BIFS targets different types of content with a development approach that is not very compatible with broadcasting contents. Furthermore, it is not easy to implement BIFS because the standard is too complicated for the mobile broadcasting environment. Accordingly, this study proposes an enhanced mobile TV contents model that provides interactive 3D objects and GUI for the viewers to interact with the broadcasting contents. By applying the model to the DMB environment, this study suggests a direction for future developments of mobile broadcasting contents. In order to represent 3D graphics on mobile TV, we analyzed MPEG-BIFS 3D nodes and composed a subset of VRML profile, and defined new nodes that can efficiently represent GUI at the content development level. If this study helps facilitate expression of 3D graphics and interactions in data contents composition, enhanced efficiency of contents development is expected to promote the development of various contents suitable for the mobile broadcasting environment.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1271-1276
• /
• 2006

DMB 데이터 표준화 위원회는 기존의 방송과 차별화 된 서비스를 제공하기 위하여 MPEG-4 BIFS Core 2D @ Level 1 을 지상파 DMB 데이터 표준으로 선택하였다. 그러나 MPEG-4 BIFS Core 2D @ Level 1 은 비디오 객체 위에 간단한 2D 도형을 오버레이하는 정도의 기능만을 제공하고 있어서, 아직은 DMB 데이터 표준에 3D 데이터 표현에 대한 내용을 포함하고 있지 않다. 따라서 본 논문에서는 향후 DMB 용 데이터 콘텐츠에서 3D 그래픽스를 활용한 멀티미디어 콘텐츠 개발이 가능하도록 3D 그래픽스 표현을 위한 프로파일을 제시하고자 한다. 방송의 새로운 영역인 모바일 환경에서의 BIFS 활용을 위하여 본 연구에서는 MPEG-4 BIFS 의 3D 노드들을 기반으로 모바일 환경에 적합한 노드들을 추려서 프로파일을 구성하였다. 이를 위해 콘텐츠 제작 시 노드 사용 빈도 및 각 노드별 리소스 사용 정도를 조사하였고, 모바일에서 그래픽스 객체 표현을 위한 언어인 OpenGL|ES, JSR184, Mobile Direct3D 등의 표준과 BIFS 표준을 비교 분석하였다. 이러한 조사 내용을 바탕으로 BIFS 3D 노드들 중에서 DMB 용 3D 콘텐츠 구현에 적합한 노드들을 분석하였으며 프로파일 검증을 위한 테스트 콘텐츠를 작성하였다. 향후 멀티미디어 콘텐츠는 다양한 3D 그래픽스 기술의 활용이 예상되므로 이와 같은 연구를 통해 DMB 환경에서도 3D 그래픽스를 객체를 표현이 가능하게 된다면, 다양한 데이터 콘텐츠 개발을 위한 발판이 되어 향후 데이터 방송 활성화에 기여할 수 있을 것이라 기대된다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.05b
• /
• pp.528-531
• /
• 2003

본 논문에서는 BIFS노드를 추가한 MPEG-4 기반의 3차원 플레이어를 구현했다 BIFS는 바이너리 포맷으로서 VRML에 비하여 압축률이 높고 객체의 시공간적인 관계를 나타내주기 때문에 여러 개의 3차원 객체를 효과적으로 동시에 렌더링할 수 있는 방법을 제공한다. 이러한 BIFS의 특징은 3차원 객체에 대한 압축만을 제공하는 3D 메쉬코딩의 단점을 효율적으로 해결한다. 구현된 플레이어는 BIFS 노드가 추가된 3차원 컨텐츠를 렌더링함은 물론 3차원 객체들에 대한 이벤트를 지원하여 유저와의 상호작용을 가능하게 하였다

• Journal of Broadcast Engineering
• /
• v.18 no.1
• /
• pp.115-121
• /
• 2013

Recently an extension to DMB AF (Digital Multimedia Broadcasting Application Format) standard has been proposed in such a way that the extended DMB AF can include stereoscopic video and stereoscopic images for interactive service data, i.e., MPEG-4 BIFS (Binary Format for Scene) data, in addition to the existing 2D video and 2D images for BIFS services. In this paper we developed a service that provides the streaming of 3D contents in DMB AF by using MPEG-DASH (Dynamic Adaptive Streaming over HTTP) standard and validated it by implementing the client software.

• Journal of Broadcast Engineering
• /
• v.16 no.3
• /
• pp.542-551
• /
• 2011

Recently an extension to DMB-AF (Digital Multimedia Broadcasting Application Format) standard was proposed in [1] without sufficient validation for industrial application due to incomplete implementation. The extended DMB-AF can include stereoscopic video and stereoscopic images for interactive service data, i.e., MPEG-4 BIFS data, in addition to the existing 2D video and 2D images for BIFS services. The contents in the extended DMB-AF can provide a temporal mixture of 2D/3D video presentations possibly with or without 2D/3D images for BIFS services. In this paper we developed DMB-AF player software that can play the extended DMB-AF files and authored several test files for its verification. As a result, we introduced a new method for indicating dependencies of 3D media tracks to improve the extension in [1] and validated the extended DMB-AF with the improvement.

• Journal of Broadcast Engineering
• /
• v.10 no.1 s.26
• /
• pp.22-30
• /
• 2005

We implement an interactive 3D audio broadcasting terminal which synthesizes an audio scene according to the request of a user. Audio scene structure is described by the MPEG-4 AudioBIFS specifications. The user updates scene attributes and the terminal synthesizes the corresponding sound images in the 3D space. The terminal supports the MPEG-4 Audio top nodes and some visual nodes. Instead of using sensor nodes and route elements, we predefine node type-specific user interfaces to support BIFS commands for field replacement. We employ sound spatialization, directivity/shape modeling, and reverberation effects for 3D audio rendering and realistic feedback to user inputs. We also introduce a virtual concert program as an application scenario of the interactive broadcasting terminal.

• Journal of Broadcast Engineering
• /
• v.14 no.1
• /
• pp.85-88
• /
• 2009

Recently "DMB Video-Associated Stereoscopic Data Services" standard has been published by TTA. The standard enables DMB broadcasters to provide 3D or stereoscopic interactive data services based on MPEG-4 BIFS (Binary Format for Scenes). The purpose is to entice viewers to utilize DMB interactive data services more often by providing realistic and protrusive image objects overlaid on top of the main video in the background. This paper provides the background, technical analysis, and in-depth considerations for the standard. Also the results of standard verification are provided including the results of interoperability test with the existing terrestrial DMB receivers.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.11a
• /
• pp.253-259
• /
• 2001

인터넷을 통해 멀티미디어 데이터의 접근이 보편화됨에 따라 다양한 형태의 데이터와 사용자 인터렉션이 요구되었고, 또한 유선 및 무선등과 같은 다양한 통신 선로에서 Desktop-PC, PDA, Hand-Held PC등과 같은 다양한 단말기를 통해 멀티미디어 데이터 서비스를 받으려는 사용자의 요구가 증가되고 있다. 따라서 이런 요구를 효율적으로 지원할 수 있는 멀티미디어 시스템에 대한 개발이 요구되었고, 이를 위해 MPEG4 표준이 등장하게 되었다. MPEG-4(ISO/IEC 국제표준 14496)는 오디오, 비디오, 합성 오디오, 그리고 그래픽스 요소(material)를 포함하는 멀티미디어 데이터로 구성된 복잡한 씬(scene)을 구성하고, 이를 통신라인을 통해 사용자와 상호작용이 가능한 멀티미디어 시스템을 정의하는 표준규약을 말한다. 본 논문에서는 Java와 Java3D기반의 MPEG-4 표준 규약에 충실한 MPEG-4 시스템 구현에 대하여 기술한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2004.11a
• /
• pp.211-214
• /
• 2004

본 논문에서는 사용자의 입력에 따라 3차원 오디오 장면을 재구성하여 전달할 수 있는 대화형 오디오 방송단말의 구현 예를 제시한다. MPEG-4 AudioBIFS 규격에 따라 계층적으로 표현한 오디오 장면의 속성을 사용자의 입력에 따라 갱신하고, 주어진 속성을 참조하여 오디오 데이터를 3차원 공간상에 재합성하는 방식을 취한다 속성을 갱신하는 모듈은 MPEG-4 Audio 프로파일을 지원하게 하되 AudioBIFS 노드 유형에 따른 사용자 인터페이스를 미리 정의하여 단말 측에 저장해 두고 이용함으로써 대화형 방송 서비스를 구현했다. 3차원 오디오 데이터를 재생하는 기능은 사용자의 입력에 대한 피드백을 풍부하게 하여 대화형 방송의 효과를 극대화하고, 사실감을 제고하는 데 중요한 역할을 담당한다. 요소기술로 음상의 위치, 지향성, 모양, 잔향특성 등을 구현하기 위한 3차원 오디오 기술에 대해 소개한다. 또한 대화형 3차원 오디오 방송단말을 이용한 서비스의 예로 대화형 합주 및 합창 프로그램을 소개한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2001.11b
• /
• pp.91-94
• /
• 2001

MPEG-4 시스템은 장면 자체를 하나의 구성 요소로 여기는 기존의 시스템과는 달리, 그 장면을 구성하는 부호화 또는 복호화된 A/V 객체(Audio/visual Objects)들을 하나의 단위로 인식하여, 다양한 멀티미디어 컨텐츠의 장면을 구성(Scene Composition)하고 표현 하는 것에 그 특징이 있다. 이러한 MPEG-4 시스템의 객체 기반 특징은 다양한 사용자와의 대화성(Interactivity)을 가능하게 하며 , 또한 편리한 컨텐츠 편집 및 재사용 등이 가능하기에 차세대 디지털 방송 컨텐츠 제작에 중요하게 활용될 전망이다. 객체 기반 A/V 편집 도구는 MPEG-4를 기반으로 차세대 디지털 방송 컨텐츠 제작을 용이하게 하기 위한 제작/편집 도구로써 , 장면을 표현하기 위하여 BIFS(Binary Format for Scene description)와 XMT(eXtensible MPEG-4 Textual format) 포맷을 모두 사용하고 있다. BIFS 포맷은 저작된 결과물을 바이너리 형태로 표현하기 때문에, 저작된 결과물을 전송하는 데에는 용이하나, 중간에 저작된 결과물을 확인하기 어렵고, 또한 기존의 다른 어플리케이션과의 상호 작용(Interoperability)과 교환(Exchange)에도 어려움이 따른다. 이에 반해, XMT는 차세대 마크업 언어로 각광 받고 있는 XML 에 그 기반을 두고 있기에 저작된 결과물을 제작자가 쉽게 저작물을 이해할 수 있으며, SMIL 과 X3D 같은 다른 어플리케이션과의 상호작용과 교환 또한 용이하게 한다 XMT는 기술 방법에 따라 XMT-A 와 XMT-0 두 가지 형태가 있으며, XMT-A 포맷은 VRML에서 발전한 X3D(extensible 3D)를 바탕으로 MPEG-4 시스템의 특징들을 수용하여 구성되고 BIFS와 일대일로 대응된다. 반면에 XMT-0는 멀티미디어 문서를 웹문서로 표현하는 SMIL 2.0 을 그 기반으로 하였기에 MPEG-4 시스템의 특징보다는 컨텐츠를 저작하는 제작자의 초점에 맞추어 개발된 형태이다. XMT를 이용하여 컨텐츠를 저작하기 위해서는 사용자 인터페이스를 통해 입력되는 저작 정보들을 손쉽게 저장하고 조작할 수 있으며, 또한 XMT 파일 형태로 출력하기 위한 API 가 필요하다. 이에, 본 논문에서는 XMT 형태의 중간 자료형으로의 저장 및 조작을 위하여 XML 에서 표준 인터페이스로 사용하고 있는 DOM(Document Object Model)을 기반으로 하여 XMT 문법에 적합하게 API를 정의하였으며, 또한, XMT 파일을 생성하기 위한 API를 구현하였다. 본 논문에서 제공된 API는 객체기반 제작/편집 도구에 응용되어 다양한 멀티미디어 컨텐츠 제작에 사용되었다.