• Journal of Korea Multimedia Society
• /
• v.16 no.4
• /
• pp.510-519
• /
• 2013

In this paper, we propose a voice-annotation browsing system that make the reading-disabled people to be able to find and play the existing voice-annotations. The proposed system consists of 4 steps: input, ranking & recommendation, search, and output. For the reading-disabled people depending only on the auditory sense, all steps can accept voice commands. To evaluate the effectiveness of our system, we design and implement an android-based mobile e-book application supporting the voice-annotation browsing ability. The implemented system is tested by a number of blind-folded users. As a result, we can see almost all the reading-disabled people can successfully and easily reach the existing voice-annotations they want to find.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.895-897
• /
• 2019

모바일의 기술 발전과 소셜미디어 사용의 증가로 수없이 많은 멀티미디어 콘텐츠들이 생성되고 있다. 이러한 많은 양의 콘텐츠 중에서 사용자가 원하는 이미지를 효율적으로 찾기 위해 의미 기반 이미지 검색을 이용한다. 이 검색 기법은 이미지에 의미 있는 정보들을 이용하여 사용자가 찾고 자하는 이미지를 정확하게 찾을 수 있다. 본 연구에서는 모바일 환경에서 이미지가 가질 수 있는 의미적 정보를 어노테이션 하고 이와 더불어 모바일에 있는 이미지에 풍성한 어노테이션을 위해 딥러닝 기술을 이용하여 다양한 태그들을 자동 생성하도록 구현하였다. 이렇게 생성된 어노테이션 정보들은 의미적 기반 태그를 통해 RDF 트리플로 확장된다. SPARQL 질의어를 이용하여 의미 기반 이미지 검색을 할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.33-35
• /
• 2016

본 논문에서는 모바일 디바이스를 이용하여 촬영한 이미지 또는 이미 모바일 디바이스에 저장된 이미지를 사용자가 검색을 위한 질의어로 사용할 수 있는 방법에 대하여 제안한다. 기존의 모바일 검색엔진을 그대로 활용하기 위해 이미지 어노테이션에 기반한 태깅 키워드를 검색 이미지와 매칭하여 질의하는 방식으로 구현하며, 이 과정에서 이미지의 분석과 분류를 위한 SVM(Support Vector Machine)과 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하였으며, 이미지 어노테이션 태깅에 대한 키워드 매칭을 위해 빅데이터에서의 MapReduce를 응용하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.999-1000
• /
• 2017

본 논문에서는 이전의 의미 기반 이미지 어노테이션 및 검색 시스템 Moment(Mobile Semantic Image Annotation and Retrieval System)에 RDF(Resource Description Framework) 추론 기능을 사용한 어노테이션 방법을 제안한다. 이를 위하여 제안된 시스템은 Apache Jena Inference API를 통해 구현되였으며 각 이미지들이 가진 어노테이션의 개수가 증가되었다. 자동으로 추론된 결과 또한 SPARQL 질의를 통해 검색이 가능하며, 기존 어노테이션 결과에 대한 의미 검색을 더욱 효과적으로 할 수 있게 한다.

• Journal of Korea Multimedia Society
• /
• v.8 no.2
• /
• pp.137-153
• /
• 2005

This paper presents a transcoding method that dynamically adapts Web pages to various devices. The proposed method is based on a CC/PP profile that is a standard description of a device's context information. Additionally, to support a sophisticated transcoding, we define an annotation schema for representing additional information about original contents. Since a mobile device has a screen of limited size, A Web page is splitted into many small ones. Our method constructs a navigation-map that represents the hierarchical relations among the splitted pages. Experimental results with various Web contents show that the proposed method is superior in terms of user's convenience of navigation and the transcoding Quality.

• Journal of Korea Multimedia Society
• /
• v.16 no.1
• /
• pp.100-107
• /
• 2013

As the eBook market grows fast recently, various eBook viewer solutions such as hardware viewers and software readers came out to the market. We can, however, hardly find mobile eBook interfaces for the reading disabled people who have difficulties in reading for their visual impairment or learning disabilities, or dyslexia. An eBook viewer interfaces for the reading disabled people should be carefully and distinctively designed because the reading disabled people cannot use normal versions of eBook viewer. In this paper, we suggest a eBook viewer interface model to make the reading disabled people read eBooks easily. Depending on the type of the reading disabled people: the full blind, the almost blind, the just learning disabled, our model provides an adaptive interface to make them read eBooks effectively. In addition, unlike the existing simple audio books, we also support annotation systems to make the reading disabled people interact with eBook viewer. To show the effectiveness of our model, we implemented an eBook viewer prototype on an android-based mobile device. We are sure that our model and implementation can make the reading disabled people, who is 10% of all the domestic people, read eBooks effectively.

• Journal of Korea Multimedia Society
• /
• v.21 no.2
• /
• pp.158-165
• /
• 2018

Since a large amount of multimedia image has dramatically increased, it is important to search semantically relevant image. Thus, several semantic image annotation methods using RDF(Resource Description Framework) model in mobile environment are introduced. Earlier studies on annotating image semantically focused on both the image tag and the context-aware information such as temporal and spatial data. However, in order to fully express their semantics of image, we need more annotations which are described in RDF model. In this paper, we propose an annotation method inferencing with RDFS entailment rules and user defined rules. Our approach implemented in Moment system shows that it can more fully represent the semantics of image with more annotation triples.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06b
• /
• pp.186-190
• /
• 2008

최근 카메라를 비롯한 다양한 센서 기술 및 디지털 저장장치의 발달로 사용자의 일상생활의 기록인 라이프 로그를 수집하고 분석하는 연구가 활발히 이루어지고 있다. 라이프 로그는 모바일 디바이스에 포함된 다양한 센서를 통해 실외에서 수집되는 경우와 실내에 카메라를 중심으로 한 센서를 설치하여 수집되는 경우로 나누어 볼 수 있으며, 수집된 로그는 다양한 방법을 통해 분석하여 사용자에게 요약이나 검색과 같은 서비스 제공에 활용될 수 있다. 본 논문은 오피스 환경에 다수의 카메라를 설치하여 수집한 실내 비디오 로그 데이터를 대상으로 하며, 사용자의 어플리케이션 로그를 분석하여 요약을 위해 활용한다. 다수의 카메라는 오피스의 가운데 부분을 비추도록 하여, 발생한 하나의 이벤트에 대한 다양한 시점의 영상을 얻을 수 있도록 하였다. 전체 요약 과정은 크게 데이터 어노테이션, 사용자 로그분석을 이용한 이벤트 시퀀스 요약, 도메인 지식을 이용한 카메라 뷰의 선택으로 나뉘어 수행된다. 최종적으로 실험을 통해 제안하는 요약 방법이 좋은 결과를 보임을 확인하였다.

• Journal of Korea Multimedia Society
• /
• v.19 no.8
• /
• pp.1498-1504
• /
• 2016

The progress of mobile computing technology is bringing a large amount of multimedia contents such as image. Thus, we need an image retrieval system which searches semantically relevant image. In this paper, we propose a semantic image annotation and retrieval in mobile environments. Previous mobile-based annotation approaches cannot fully express the semantics of image due to the limitation of current form (i.e., keyword tagging). Our approach allows mobile devices to annotate the image automatically using the context-aware information such as temporal and spatial data. In addition, since we annotate the image using RDF(Resource Description Framework) model, we are able to query SPARQL for semantic image retrieval. Our system implemented in android environment shows that it can more fully represent the semantics of image and retrieve the images semantically comparing with other image annotation systems.

• The KIPS Transactions:PartB
• /
• v.12B no.2 s.98
• /
• pp.181-190
• /
• 2005

Developing wireless internet service and mobile devices, mechanisms for web service across are various. However, the existing web infrastructure and content were designed for desktop computers and arc not well-suited for other types of accesses, e.g. PDA or mobile Phone that have less processing power and memory, small screens, limited input facilities, or network bandwidth etc. Thus, there is a growing need for transcoding techniques that provide that ability to browse the web through mobile devices. However, previous researches on existing web contents transcoding are service provider centric, which does not accurately reflect the user's continuously changing interest. In this paper, we presents a transcoding technique involved in making existing news contents based on XML available via customized wireless service, mobile phone.