• 지능정보연구
• /
• 제17권3호
• /
• pp.203-219
• /
• 2011

최근 인터넷이 가능한 컴퓨터뿐만 아니라 스마트TV, 스마트폰과 같은 장치를 통한 동영상 형태의 멀티미디어 소비가 증가함에 따라 단순히 시청만 하는 것이 아니라 동영상 콘텐츠 사용자들은 자신이 원하는 동영상 콘텐츠를 찾거나 동영상 콘텐츠에 등장하는 객체의 부가 정보를 브라우징 하고자 하는 요구가 증대되고 있다. 이러한 사용자의 요구를 충족시키기 위해서는 노동집약적인 어노테이션 작업이 불가피하다. 동영상 콘텐츠에 등장하는 객체에 직접 부가정보를 기술하는 키워드 기반 어노테이션 연구에서는 객체에 대한 관련 정보들을 어노테이션 데이터에 모두 포함시켜 대용량 데이터를 개별적으로 직접 관리해야 한다. 이러한 어노테이션 데이터를 이용하여 브라우징을 할 때, 어노테이션 데이터에 이미 포함 되어 있는 정보만 제한적으로 검색이 된다는 단점을 가지고 있다. 또한, 기존의 객체 기반 어노테이션에서는 어노테이션 작업량을 줄이기 위해 객체 검출 및 인식, 트래킹 등의 컴퓨터 비전 기술을 적용한 자동 어노테이션을 시도하고 있다. 그러나 다양한 종류의 객체를 모두 검출해내고 인식하여, 자동으로 어노테이션을 하기에는 현재까지의 기술로는 큰 어려움이 있다. 이러한 문제점들을 극복하고자 본 논문에서는 비디오 어노테이션 모듈과 브라우징 모듈로 구성되는 시스템을 제안한다. 시맨틱 데이터에 접근하기 위해 링크드 데이터를 이용하여 다수의 어노테이션을 수행하는 사용자들이 협업적으로 동영상 콘텐츠에 등장하는 객체에 대한 어노테이션을 수행 할 수 있도록 하는 어노테이션 모듈이다. 첫 번째는 어노테이션 서버에서 관리되는 어노테이션 데이터는 온톨로지 형태로 표현하여 다수의 사용자가 어노테이션 데이터를 쉽게 공유하고 확장 할 수 있도록 하였다. 특히 어노테이션 데이터는 링크드 데이터에 존재하는 객체의 URI와 동영상 콘텐츠에 등장하는 객체를 연결하기만 한다. 즉, 모든 관련 정보를 포함하고 있는 게 아니라 사용자의 요구가 있을 때, 해당 객체의 URI를 이용하여 링크드 데이터로부터 가져온다. 두 번째는 시청자들이 동영상 콘텐츠를 시청하는 중 관심 있는 객체에 대한 정보를 브라우징 하는 모듈이다. 이 모듈은 시청자의 간단한 상호작용을 통해 적절한 질의문을 자동으로 생성하고 관련 정보를 링크드 데이터로 부터 얻어 제공한다. 본 연구를 통해 시맨틱웹 환경에서 사용자의 상호작용을 통해 즉각적으로 관심 있는 객체의 부가적인 정보를 얻을 수 있도록 함으로써 향후 개선된 동영상 콘텐츠 서비스 환경이 구축 될 수 있기를 기대한다.

• 로봇학회논문지
• /
• 제14권2호
• /
• pp.139-149
• /
• 2019

In this paper, we present auto-annotation tool and synthetic dataset using 3D CAD model for deep learning based object detection. To be used as training data for deep learning methods, class, segmentation, bounding-box, contour, and pose annotations of the object are needed. We propose an automated annotation tool and synthetic image generation. Our resulting synthetic dataset reflects occlusion between objects and applicable for both underwater and in-air environments. To verify our synthetic dataset, we use MASK R-CNN as a state-of-the-art method among object detection model using deep learning. For experiment, we make the experimental environment reflecting the actual underwater environment. We show that object detection model trained via our dataset show significantly accurate results and robustness for the underwater environment. Lastly, we verify that our synthetic dataset is suitable for deep learning model for the underwater environments.

• 지능정보연구
• /
• 제21권1호
• /
• pp.83-98
• /
• 2015

TV를 보면서 방송에 관련된 정보를 검색하려는 많은 시청자들은 정보 검색을 위해 주로 포털 사이트를 이용하고 있으며, 무분별한 정보 속에서 원하는 정보를 찾기 위해 많은 시간을 소비하고 있다. 이와 같은 문제를 해결하기 위한 연구로써, 인터랙티브 비디오에 대한 연구가 활발하게 진행되고 있다. 인터랙티브 비디오는 일반적인 비디오에 추가 정보를 갖는 클릭 가능한 객체, 영역, 또는 핫스팟을 동시에 제공하여 사용자와 상호작용이 가능한 비디오를 말한다. 클릭 가능한 객체를 제공하는 인터랙티브 비디오를 저작하기 위해서는 첫째, 증강 객체를 생성하고, 둘째, 어노테이터가 비디오 위에 클릭 가능한 객체의 영역과 객체가 등장할 시간을 지정하고, 셋째, 객체를 클릭할 때 사용자에게 제공할 추가 정보를 지정하는 과정을 인터랙티브 비디오 저작 도구를 이용하여 수행한다. 그러나 기존의 저작 도구를 이용하여 인터랙티브 비디오를 저작할 때, 객체의 영역과 등장할 시간을 지정하는데 많은 시간을 소비하고 있다. 본 논문에서는 이와 같은 문제를 해결하기 위해 유사한 샷들의 모임인 샷 시퀀스의 모든 샷에서 얼굴 영역을 검출한 샷 시퀀스 메타데이터 모델과 객체의 어노테이션 결과를 저장할 인터랙티브 오브젝트 메타데이터 모델, 그리고 어노테이션 후 발생될 수 있는 부정확한 객체의 위치 문제를 보완할 사용자 피드백 모델을 적용한 얼굴영역을 기반으로 하는 새로운 형태의 어노테이션 방법을 제안한다. 마지막으로 제안한 어노테이션 방법의 성능을 검증하기 위해서 인터랙티브 비디오 저작 시스템을 구현하여 기존의 저작도구들과 저작 시간을 비교하였고, 사용자 평가를 진행 하였다. 비교 분석 결과 평균 저작 시간이 다른 저작 도구에 비해 2배 감소하였고, 사용자 평가 결과 약 10% 더 유용한다고 평가 되었다.

• 방송공학회논문지
• /
• 제25권3호
• /
• pp.386-398
• /
• 2020

본 논문에서는 물체인식 딥러닝 모델을 구성하는데 필요한 데이터 레이블링 과정을 하나의 프로그램에서 사용할 수 있는 Annotation 툴을 개발했다. 프로그램의 인터페이스는 파이썬의 기본 GUI 라이브러리를 활용하였으며, 실시간으로 데이터 수집이 가능한 크롤러 기능을 구성하였다. 기존의 물체인식 딥러닝 모델인 Retinanet을 활용하여, 자동으로 Annotation 정보를 제공하는 기능을 구현했다. 또한, 다양한 물체인식 네트워크의 레이블링 형식에 맞추어 학습할 수 있도록 Pascal-VOC, YOLO, Retinanet 등 제각기 다른 학습 데이터 레이블링 형식을 저장하도록 했다. 제안하는 방식을 통해 국산 차량 이미지 데이터셋을 구축했으며, 기존의 물체인식 딥러닝 네트워크인 Retinanet과 YOLO 등에 학습하고, 정확도를 측정했다. 차량이 진입하는 영상에서 실시간으로 차량의 모델을 구별하는 정확성은 약 94%의 정확도를 기록했다.

• 한국멀티미디어학회논문지
• /
• 제23권8호
• /
• pp.986-1005
• /
• 2020

In this paper, we propose AnoVid, an automated video annotation tool based on deep neural networks, that automatically generates various meta data for each scene or shot in a long drama video containing rich elements. To this end, a novel meta data schema for drama video is designed. Based on this schema, the AnoVid video annotation tool has a total of six deep neural network models for object detection, place recognition, time zone recognition, person recognition, activity detection, and description generation. Using these models, the AnoVid can generate rich video annotation data. In addition, AnoVid provides not only the ability to automatically generate a JSON-type video annotation data file, but also provides various visualization facilities to check the video content analysis results. Through experiments using a real drama video, "Misaeing", we show the practical effectiveness and performance of the proposed video annotation tool, AnoVid.

• 한국컴퓨터정보학회논문지
• /
• 제3권1호
• /
• pp.25-34
• /
• 1998

함수 언어에서 병렬성을 표현하는 주된 기법으로는 스트릭트니스 분석과annotation이 있다. 스트릭트니스 분석은 번역기가 병렬성 탐색을 수행하여 탐색된 정보를 목적 프로그램에 표현하는 기법이며, annotation은 프로그래머에게 병렬성 탐색을 맡겨서 원시프로그램에 표현하도록 하는 기법이다. 본 연구는 annotation에 관한 것으로 annotation 구문을 가지는 원시함수 언어와 이를 위한 번역기의 전반부를 설계하고 구현하는 것을 목적으로 한다. 번역기의 전반부는 원시함수언어 프로그램을 중간 언어인 확장 람다계산 프로그래프로 번역한다 번역기는 UNIX 환경에서 컴파일러 자동화 도구인 YACC, Lex를 사용하여 C로 구현한다. 본 논문에서는 번역기에 사용된 구현기법에 대해서 기술한다.

• 한국컴퓨터정보학회논문지
• /
• 제13권5호
• /
• pp.11-18
• /
• 2008

세컨드라이프와 같은 3D 가상공간에서 가상객체를 생성하고 생성된 객체를 탐색하는 일은 시스템의 활용성을 높여주는 중요한 기능이다. 기존 가상공간은 개발자에 의해 구성된 이후에는 일반사용자에 의한 객체정보 변경이나 추가가 불가능하여 인터넷 상에서 사용자가 직접 콘텐츠를 만들어 참여하는 웹2.0의 목표에 부합하고 있지 않다. 이러한 가상공간 내에서 사용자의 콘텐츠 생성 욕구를 만족시키고 기존 가상공간의 한계를 개선하기 위하여 본 논문에서는 2D웹 상에서의 사용자에 의한 컨텐츠 생성 및 검색 기능을 3D 가상공간에 적용하는 시멘틱 어노테이션 객체의 개념을 제안하고자 한다. 제안 연구는 3D 가상공간에 웹의 정보공유 기능을 통합함으로써 가상공간에 대한 사용자 만족도를 높이는 효과가 있으며, 기존 가상공간과 제안시스템과의 공간 탐색시간 비교실험을 통하여 성능 개선 효과가 있음을 확인하였다.

• 한국전자통신학회논문지
• /
• 제18권6호
• /
• pp.1109-1116
• /
• 2023

객체 추적은 영상의 첫 번째 프레임에서 annotation으로 제공되는 좌표 정보를 활용하여 비디오 시퀀스의 목표 추적에 활용된다. 본 논문에서는 객체 추적 정확도 향상을 위해 심층 특징과 영역 추론 모듈을 결합한 추적 알고리즘을 제안한다. 충분한 객체 정보를 획득하기 위해 Convolution Neural Network를 Siamese Network 구조로 네트워크를 설계하였다. 객체의 영역 추론을 위해 지역 제안 네트워크와 중첩 신뢰도 모듈을 적용하여 추적에 활용하였다. 제안한 추적 알고리즘은 Object Tracking Benchmark 데이터셋을 사용하여 성능검증을 수행하였고, Success 지표에서 69.1%, Precision 지표에서 89.3%를 달성하였다.

• 스마트미디어저널
• /
• 제11권4호
• /
• pp.38-45
• /
• 2022

Object detection models have become the current tool of choice for plant disease detection in precision agriculture. Most existing research improves the performance by ameliorating networks and optimizing the loss function. However, the data-centric part of a whole project also needs more investigation. In this paper, we proposed a systematic strategy with three different annotation methods for plant disease detection: local, semi-global, and global label. Experimental results on our paprika disease dataset show that a single class annotation with semi-global boxes may improve accuracy. In addition, we also studied the noise factor during the labeling process. An ablation study shows that annotation noise within 10% is acceptable for keeping good performance. Overall, this data-centric numerical analysis helps us to understand the significance of annotation methods, which provides practitioners a way to obtain higher performance and reduce annotation costs on plant disease detection tasks. Our work encourages researchers to pay more attention to label quality and the essential issues of labeling methods.

• 한국멀티미디어학회논문지
• /
• 제7권9호
• /
• pp.1321-1328
• /
• 2004

본 논문에서는 DICOM 영상 내에 이미지 기반의 주석을 생성/삽입할 수 있는 새로운 DICOM 객체를 제안한다. 본 논문에서 제안한 주석 처리 방법은 이미지 자체를 주석으로 사용하기 때문에 사용자가 입력한 다양한 형태의 정보(문자, 스케치, 그림)를 주석 내에 쉽게 저장할 수 있다. 주석 영상은 원 영상과는 독립적으로 저장/관리 되기 때문에 원 영상에는 전혀 영향을 주지 않고 삽입/추가/변경 등이 가능하다. 또한, 제안된 주석은DICOM영상 내에 직접 저장되기 때문에 PACS/EMR이 설치되어 있지 않은 중소 병원에 매우 유용할 것으로 기대된다.