스마트 기기에서 유해 멀티미디어 콘텐츠 판별 메커니즘 및 성능 분석

Study for Injurious Multimedia Contents Analysis Mechanism in Smart Devices

Abstract

본 논문에서는 최근 스마트폰과 지능형 로봇 분야에서 급속도로 확산되고 있는 유해 멀티미디어의 유해성을 판별하기 위해 유해정보 판별 메커니즘 및 판별 메커니즘 성능 분석에 대해서 설명한다. 이러한 판별 기술들을 기반으로 멀티미디어(이미지, 비디오) 기반의 개별 유해 특징 요소를 정의한다. 또한 시각적 특징을 모델링하여 유해 멀티미디어 콘텐츠의 유해성을 분석한다.

In this paper, Recently, we describe the distinction mechanism analysis and injurious distinction mechanism performance analysis in order to determine harmfulness of the injurious multimedia which is being rapidly spread in the smart phone and Intelligent Robots. Based on the injurious mechanism distinction technologies, We defined individual injurious characteristics elements of multimedia(images and videos). Also, We analyze harmfulness of the injurious multimedia content by the visual characteristics modeling.

I. 서론

최근 ICT 기술의 인프라 성장과 스마트기기 열풍으로 인하여 인터넷을 활용하는 융합산업들이 급속도로 확산되고 있다. 특히 미래 유망산업으로 지목받고 있는 휴대 단말기 산업, 지능형 로봇 산업 등 다양한 제품에 인터넷을 융합하고 있으며, 인간과 하나가 되는 스마트 단말 기기들이 개발되고 있다. 또한 스마트 단말 기기들은 다양한 융합산업과 지능형 로봇에까지 탐재되고 있는 실정이다 이로 인하여 인터넷 사용자들이 급격하게 증가하고 있으며, 인터넷을 활용하는 사용자들은 장소와 시간에 구애받지 않고 손쉽게 유용한 정보를 획득할 수가 있다[1,2]. 이러한 글로벌 통신망은 다양한 정보 데이터를 쉽게 전달하고 활용할 수 있는 순수한 순기능도 있지만 다양한 계층별로 사회적 통제를 필요로 하는 사용자들에게 유해한 정보를 아무 차단 없이 무차별적으로 제공하여 사회적 역기능을 발생시키고 있다[3,4]. 역기능중에 하나로 지능형 로봇 산업이 발달함에 따라 로봇제품에는 무선 인터넷 스마트 기기를 탑재하고서 유아계층과 어린이 계층에까지 인터넷을 활용하고 있는 실정이다. 사회적으로¹⁾ 통제와 보호를 해 주어야 하는 어린 청소년과 정신 질환자와 같이 판별력과 절제력이 부족한 인터넷 사용자들이 아무런 통제방법 없이 유해 정보에 노출되어 있으며, 이러한 사회적 역기능으로 인해 개인뿐만 아니라 전반적인 사회 건전성 및 기본적인 사회적 기반 조성에 큰 문제점이 만들어 지고 있다[5,6].

이를 위해, 본 논문에서는 특징 기반 콘텐츠 식별 엔진과 유해 이미지 특징 추출 메커니즘을 포함하는 유해 이미지 판별 메커니즘 및 성능 분석에 대해 살펴본다. 본 논문의 구성은 다음과 같다. 2장에서는 유해 동영상 판별 알고리즘 개발에 대하여 살펴보고, 3장에서는 이미지, 동영상 유해 멀티미디어 판별 메커니즘에 대해서 설명한다. 4장에서는 판별 메커니즘을 적용한 유해 동영상 판별 성능 분석에 대하여 기술한다. 5장에서는 결론을 제시하였다.

II. 관련 연구

최근 국내 IT 기술은 3D 이미지기술, 동영상 편집 및 인식 기술을 중심으로 한 멀티미디어 이미지 영상데이터 연구개발 성공과 서비스 상용화로 세계적인 이미지 강국으로 성장하고 있다. 세계 어느 나라에서도 찾아보기 힘든 콘텐츠 개발 보유율, 초고속정보통신망을 중심으로 하는 폭발적인 유튜브 서비스, 이동 망과 인터넷이 결합한 스마트 서비스 활성화는 다른 국가들 보다 높은 수준이다[7,8]. 이러한 멀티미디어의 급속한 성장으로 인하여 국내에서는 유해 이미지 분류 기술의 필요성이 증가함에 따라 2007년부터 학술적인 분야를 중심으로 연구가 시작되었다. 국외의 경우와 같이 국내에서도 초기에는 내용기반 이미지 검색 기술을 사용하여 유해 이미지를 분류하였으나, 최근에는 유해 이미지에 특화된 특징과 학습 기반 판별 기술을 사용하여 유해 이미지를 분류하려는 연구 방향으로 진행되고 있다[9,10]. 현재 유해 이미지 분류 기술의 구성 요소로는 유해 이미지 전처리 기술, 유해 이미지 특징추출 기술, 유해 이미지 판별 기술, 유해 이미지 분류시스템 통합 기술, 유해 이미지 분류시스템 평가 기술 등이 있다. 그 중에서 유해 이미지 특징추출 기술과 유해 이미지 판별 기술은 핵심 구성 요소로서 주로 연구되고 있는 반면에 다른 기술 분야에 대한 연구¹⁾ 방송통신위원회, “모바일 악성코드 침해 대응 가이드”(KISA, 2009), p. 15.는 부족한 실정이다[11,12]. Table 1. 과 Table 2.는 핵심 요소 기술인 유해 이미지 특징추출 기술과 판별 기술의 동향에 대해 살펴보고자 한다. 세계 디지털 콘텐츠 시장규모는 2008년 751억 달러 규모에서 2013년에는 2,711억 달러 규모로 성장할 것으로 전망되며, 2009년 26.3%의 성장을 시작으로 2013년에는 35.6%의 성장으로 최고조에 이른 후, 향후에도 28%의 고성장 추세를 유지할 것으로 전망되고 있다[13,14].

Table 1. Digital Content Market Trends (2008-2013)

※ 출처 : 온라인디지털콘텐츠산업발전기본계획

Table 2. Online Digital Content Market Trends

※ 출처 : ETRI 주간기술동향

또한 세계 디지털콘텐츠 유통 시장은 2009년 24억 달러 규모에서 2013년에는 59억 5천만 달러로 연평균 35.2%의 높은 성장세를 보일 것으로 전망된다.

이러한 디지털 콘텐츠 유통이 급증함에 따라서 유해 이미지 처리 및 분석하는 핵심적인 요소 기술들의 기술적인 이해와 스마트 기기와 같은 운용 시스템에 적절하게 활용할 수 있는 유해 동영상 판별 알고리즘을 개발하는데 목적이 있다.

III. 이미지, 동영상 유해 멀티미디어 판별 메커니즘

3.1 유해 동영상 판별 알고리즘

유해 동영상 판별 결정 알고리즘의 전체 과정은 Fig. 1.과 같이 모델 생성과정과 분류과정으로 이루어지며, 이미지 내용별로 단일 프레임 기반의 판별 알고리즘, 그룹 프레임기반의 판별 알고리즘, 그리고 두 판별 결과를 새로운 특징 값으로 활용하여 최적의 판별 함수를 생성하는 판별 알고리즘 내용으로 구성된다.

Fig.1. Injurious Video Distinction Algorithms

3.2 단일 프레임기반 판별 알고리즘 (X modeling)

단일 프레임기반의 판별 알고리즘은 동영상 데이터에서 정지 프레임을 추출하는 기능, 추출한 프레임을 학습과정에서 생성한 SVM(Support Vector Machine) 학습모델을 이용하여 유·무해를 판별하여 하나의 대표 특성 값인 X를 생성하는 기능으로 구성된다. 최근에 제안된 외형 정보를 이용한 유해이미지 분류 방법을 사용한다. 이 방법은 피부색 영역의 형태 정보를 이용한 유해 이미지 분류 방법을 고안하고 있다. 정지영상의 각 픽셀이 피부색일 확률을 구한다. Fig. 2.의 세 번째 그림은 확률 값의 크기를 명암으로 표현하였다. 이 이미지들을 SVM 학습 머신의 입력으로 사용하기 위해서 정규화 시킨다. 정규화 방법은 이미지를 가로 40, 세로 40 크기 변환한 이후에 이를 다시길이 1600의 벡터로 변환한다. 이렇게 얻어진 길이 1600 인 벡터를 기본 학습 특성으로 정의한다. 이 값들을 학습 이미지 집합에서 추출하고 SVM으로 분류 함으로써 이미지의 유·무해를 분류하는 기준을 찾는다. Fig. 2.는 이 방식을 이용해서 정지영상에서 피부색 영역을 추출한 예제이다.

Fig.2. Injurious Image Distinction Algorithms

3.3 그룹 프레임기반 판별 알고리즘(Y modeling)

그룹 프레임기반의 판별 알고리즘은 동영상 데이터에서 동영상별 정지 프레임을 추출하는 기능, 추출한 프레임으로부터 히스토그램 특징을 추출하여 동영상 별그룹 프레임의 비주얼 특징인 GoF를 생성하는 기능, 그리고 유·무해 동영상에 대하여 GoF를 사용하여 SVM 학습모델을 통하여 판별결과인 Y를 생성 기능으로 구성된다. Fig. 3.은 학습모델 생성과정을 나타냈으며, 학습 동영상에서 키프레임을 추출하여 256개의 특징 값을 갖는 GoF를 생성한다. 동영상별 GoF 값을 생성하기 위하여, 동영상별로 추출한 프레임 각각에 HSV(Hue,Saturation, Value) 칼라 히스토그램 값을 구하고, 256 Coefficient의SCD(Scalable Color Descriptor)를 계산한다. 즉, 픽셀마다 HSV값을 구한 후,256(H:16, S:4, V:4) 경우로 할당하여 하나의 프레임에 대하여 SCD 값들을 계산한다. 그리고 256의 경우로 할당된 픽셀의 수를 전체 픽셀수로 나누어 정규화를 수행한다. 그리고 프레임들의 평균을 GoF로 정의한다.

Fig.3. Group Frame Based Distinction Algorithms

IV. 메커니즘을 적용한 유해 동영상 판별 성능 분석

4.1 데이터 수집

유해 멀티미디어 판별 알고리즘의 성능시험을 위하여 학습과 시험용 데이터로 총 2,000건의 동영상을 수집하였다. 이중 1,000건은 유해 동영상, 1000건은 무해 동영상을 수집하였다. 1,000건의 무해 동영상은 다큐멘터리, 영화, 드라마, 음악, 스포츠 이렇게 5개의 서브 카테고리로 분류된다. 파일 포맷은 시뮬레이션 일정을 고려하여 AVI와 MPEG을 대상으로 하였다.

4.2 성능시험 결과

수집한 동영상 데이터 가운데 유해 동영상 분류 기술의 성능을 평가하기 위하여 학습 데이터 동영상은 유해 300개, 무해 300개가 사용되었다. X 변수 값으로 사용된 프레임 기반 학습 모델은 총 600개의 동영상에서 유해 500개, 무해 500개의 프레임을 추출해서 학습 하였다. X변수는 동영상별 유해 프레임의 비율로 정의하였다. Y 변수 값으로 사용된 GoF 기반 학습 모델은 600개의 동영상에서 60초 간격으로 프레임을 추출해서 학습 하였다. 시험 데이터는 학습에 사용되지 않은 동영상 591개 (유해 291개, 무해 300개)를 사용하였다. 또한 판별함수를 Z로 설정하였고 판별 함수 Z를 이용하여 시험한 성능은 정확도 91.20%이며 Fig. 4.와 같다.

Fig.4. Injurious Video Distinction Algorithms Performance Test

비디오 기반 유해 특징 추출 기능은 클립 내의 비디오 세그먼트로부터 추출된 프레임들 간의 상관관계 등에 기인한 비디오 의존적인 즉, 모션 등의 시간적인 특성이 반영된 비디오 기반의 유해 특징을 추출하고, 유·무해 판단을 위한 특징 벡터를 생성하는 기능이다. 비디오 기반 유해 특징 추출은 비디오 세그먼트(30초 단위)에서 샘플링 프레임수(64/36/16 Frames)와 특징추출 알고리즘 TMEF(Temporal Motion Energy Features)와 TCEF(Temporal Color Energy Features), TMCEF(Temproal Motion and Color Energy Features[36]))에 의해서 특징추출 및 특징 벡터를 구성할 수 있다.

단일과 그룹 프레임기반 판별 알고리즘을 적용한 비디오 특징기반 비디오 실시간 세그먼트별 추출과 관련된 TMEF(모션특징) 및 TCEF(칼라특징) 알고리즘 성능 분석은 Fig. 5.와 같이 확인되었다. 이러한 비디오 클립단위의 유·무해 판별이 정상적으로 이루어짐을 확인함으로써 특징 값들에 대한 추출 알고리즘의 성능분석이 정상적으로 추출됨을 재확인할 수 있다.

Fig.5. Video Feature Based Frame Distinction Performance Analysis

○ 비디오 특징기반 세그먼트에 대한 특징 값 (총 36개)을 확인

- Temporal Motion Energy Features : 300개

- Temporal Color Energy Features : 300개

V. 결론

현재, 스마트 시대를 대표하는 스마트 단말 서비스 및 멀티미디어 콘텐츠의 빠른 확산과 더불어 인터넷을 통한 유해 멀티 콘텐츠가 무차별적인 공급, 유통, 확산이 되고 있다. 이러한 유해성 멀티미디어의 사회적 확산을 막기 위해 많은 유해 멀티미디어 데이터 유해/무해 차단 분석기술들이 연구되고 있다. 현재 이미지 처리 기술은 음성 및 메시지 서비스를 제공하는 2세대 이동통신 서비스 단계에서 벗어나 동영상서비스 등을 제공하는 3세대 및 4세대 이동통신 서비스와 미래 비젼 산업으로 주목받고 있는 로봇산업에 까지 적용되여 발전하고 있다.

급속도로 확산되고 있는 다양한 이미지에 대한 유해 차단 등급 요소들을 고려하여 최적의 판별 방법을 선택할 수 있는 학습 모델 선택 방법을 고려하고, 유해 이미지 특징 추출 방법을 활용하여 인터넷 및 스마트 단말 사용자의 연령별 선호도에 맞는 다양한 결정 요소(decision object)들을 분석하고 각 요소들을 고려한 특징 추출 알고리즘에 대하여 설명하였다.

뿐만 아니라, 연구한 멀티미디어 유해 콘텐츠 차단 알고리즘 검증을 위해 성능시험 시뮬레이션을 수행하여, 유해 콘텐츠의 이미지 차단 능력을 분석하고, 유해 이미지 판별 성능의 분포를 분석하였다. 이와 같은 유해 데이터 차단 메커니즘 시뮬레이션의 결과를 기반으로 인터넷 사용자 및 스마트 기반 사용자 등급에 따른 차별적인 유해 데이터 차단 메커니즘 적용이 가능함을 확인하였으며, 실시간적인 멀티미디어 유해 콘텐츠 차단 기술을 확인하였다. 이러한 유해 멀티미디어 콘텐츠 차단 방안을 적용한다면 청소년을 비롯한 판별력과 절제력이 부족한 스마트폰 사용자의 사회의 기본적인 문제점을 보안할 수 있으며, 스마트폰 사용의 문제점 중 하나인 무분별한 유해 정보 유통을 차단할 수 있는 계기를 마련하여 안정적이고 건전한 고품질의 멀티미디어 콘텐츠 서비스를 제공할 수 있다.