Copyright Protection of Digital Image Information based on Multiresolution and Adaptive Spectral Watermark

다중 해상도와 적응성 스펙트럼 워터마크를 기반으로 한 디지털 영상 정보의 소유권 보호

Abstract

With the rapid development of the information communication technology, more and more distribution multimedia data and electronic publishing in the web, has created a need for the copyright protection with authentication of digital information. In this paper, we propose a multi-watermarking adding and adaptive spectral watermark algorithm well adaptive frequency domain of each hierarchical using orthogonal forward wavelet transform(FWT. Numerical test results, created watermarking image robustness not only image transform such as low-pass filtering, bluring, sharpen filtering, wavelet compression but also brightness, contrast gamma correction, histogram equalization, cropping.

정보 통신 기술의 급속한 발달로 인해 웹 상에서 멀티미디어 데이터 및 전자적인 공문서는 점점 더 확산되고 있고, 이런 디지털화 된 정보에 대한 소유권 보호 및 인증의 필요성이 요구되고 있는 실정이다. 본 논문에서는 직교 웨이브릿 변환을 이용하여 각 계층의 주파수 영역에 잘 적응하는 다중 워터마크를 내장하는 적응성 스펙트럼 워터마크 알고리즘 을 제안한다. 실험결과 low-Pass fitering, bluring, sharpen filtering, 웨이브릿 압축과 같은 영상 변형뿐만 아니라 brightness, contrast, gamma correction, histogram equalization. cropping과 같은 영상의 변형에 강인한 워터마크 영상을 생성시켰다

Ⅰ.서론

디지털 워터마크(digital watermark)는 디지털화 된 정보에 대해 비소유권자의 불법적인 조작을 막고, 변형된 정보에 대해서도 자신의 워터마크를 추출하여 소유권을 인증하는 방법으로 소유권자의 부수적인 정보인 디지털 워터마크를 사용하여 영상에 내장 및 추출하는 방법들이 제시되고 있다.

현재. 디지털 워터마크는 멀티미디어 데이터와 웹사용자의 증가에 따라 웹에서의 공문서 위조 및 디지털 정보의 소유권 보호와 인증의 필요성이 요구됨에 따라 빠른 속도로 연구되고 있는 실정이고, 소유권 보호(copyright protection) 및 지문 검색 (fingerprinting), 접근 제어(access control)°1| 활용되고 있다. 감지할 수 있는 워터마크 구조( non- oblivious watermarking schemes)는 워터마크추출 시 원영상이 필요하고, 이런 원영상은 추출 알고리즘을 적용하기 전에 변형이 가해진 영상으로부터 차를 구한다. 또한 원영상은 변형된 영상을 나타내기 위해서 사용된다. 이 구조의 저주파수 워터마크는 원영상에 영향을 미치므로 원영상이 필요하고, low'pass filtering과 같은 영상의 변형에서 보다강인다. 반면 감지할 수 없는 워터마크 구조(oblivious watermarking schemes)는 워터마크 추출 시 원영상이 필요 없이 비선형 기학학적 변형(nonTineTar geometric transforms)0] 가해진 영상에서 워터마크 추출이 가능하고, 이때 저주파수 워터마크는 히스토그램콰 같은 왜곡에 민감하다. 저주파수 영역의 워터마크(low-frequency domain watermark)는 일반적으로 원영상에 내장된 워터마크를 추출하기 위해서는 반드시 원영상이 필요하다. 그러나 low-pass filtering, 즉 median filtering, 손실 압축과 같은 영상의 변형에 강인하다. 또한 저주파수 영역의 워터마크는 기하학적인 영상의 변형에 덜 민감한 반면 brightness, contrast, gamma correction, histogram equalization, cropping과 같은 영상의 변형에 아주 민감하다"2 (3).

고주파수 영역의 워터마크(hight-frequency domain watermark)는 인각 시각 시스템(Human Vision System:HVS)『3)을 이용한 방법으로 인각 시각은 영상의 에지 (edge)의 작은 변화와 결(texture) 에는 덜 민감하지만 평활화(smooth)와 같은 영상의 변화에는 아주 민감하다. 따라서 고주파수 영역에 워터마크를 내장하므로 인간시각으로는 잘 감지 할 수 없지만, 고의적인 영상의 변형 및 손실 압축 등으로 내장된 정보가 쉽게 제거될 수 있다.

따라서 본 논문에서는 원영상에 시각적으로 인식할 수 없는 강인한 워터마크에 초점을 두고 있고. 보다 좋은 결과를 얻기 위해서 강인성 (robustness)과 원영상에 내장할 소유권 정보인 워터마크를 시각적으로 인식할 수 있는 문제 사이의 많은 시행착오M 를 통해서 직교 웨이브릿 변환(Orthogonal Forward Wavelet Transform : FWT)을 이용한 각계층의 주파수 영역에 잘 적응할 수 있는 다중 워터마크(multi-watermark)와 특정 주파수 계수 값을 선택하여 워터마크 내장 및 추출 알고리즘을 제안한다. 현재, 웨이브릿을 이용한 접근 방법은 일반적인 이미지/비디오 압축 표준(JPEG, MPEG)과잘 일치되고, 제안된 워터마킹 방법은 이미지 압축을 기반으로 한 웨이브릿 변환에 매우 강력하다. 논문'成에서 저주파수 성분에 워터마크를 내장시키므로써 brightness, contrast, gamma correlation 등과 같은 영상의 변화에 매우 민감하여 본 논문에서는 웨이브릿 변환을 기반으로 하여 이런 영상의 변형뿐만 아니라 일반적인 영상의 변형, 웨이브릿압축 등에 강인한 워터마크로 저주파수 영역. 수직영역, 수평 영역 각각의 주파수 특성에 잘 적응하는 다중 워터마크를 내장하는 알고리즘을 제안한다.

Ⅱ. 디지털 워터마크 기법

2.1 디지털 워터마크의 요건

정보 통신 기술의 급속한 발달로 디지털화 된 영상 및 비디오의 확산으로 인해 웹 상에서의 전자적 인공문서는 점점 더 대중화되고 있는 실정이다.

디지털 워터마크의 목적은 영상에 시각적인 변형 없이 부수적인 정보인 소유권 정보를 제공함으로서 개인의 디지털화 된 정보에 대해 소유권을 주장할 수 있다. 일반적으로 디지털 워터마크의 필수 요건은 첫째, 고의적이고 비고의적인 영상 처리와 변형에 강인해야 한다. 즉 일반적인 영상처리인 필터링, 노이즈(noise) 첨가, 손실 압축 등의 변형에서 소유권 정보가 내장된 워터마크를 추출할 .수 있어야 한다. 둘째. 보안성(security)이다. 워터마크는 비소 유권자의 불법적인 조작을 막기 위해서 인각 시각으로 감지되어서는 안된다. 셋째, 워터마크의 내장/추출알고리즘 절차가 간결해야 한다.

2.2 디지털 워터마크의 종류

디지털 워터마크 기법은 크게 시각 워터마크(visual watermark), 공간 영역 워터마크(spatial domain watermark)와 주파수 영역 워터마크(frequency domain watermark)로 분류된다.

시각 워터마크 기법은 복제 방지를 위해서 워터마크를 시각적으로 인식할 수 있게 영상에 내장하는 방법이다. 이 방법은 클리핑과 같은 영상의 변화에 싶게 워터마크를 제거 할 뿐만 아니라 영상의 화질에 직접적으로 영향을 주는 단점이 있다.

공간 영역 워터마크는 가장 간단한 기법으로 원 영상에 지각할 수 없게 워터마크를 삽입하는데 효과적이지만 일반적인 영상의 변형에 강인하지 못하다. 이 방법은 원영상 정보의 밝기 값의 변화 또는 워터마크를 삽입하는 것으로 하나의 픽셀에서 LSB(Least Significant Bit)을 변화시킴으로써 영상을 부호화한다 '또한 데이터 전송 및 잡음(noise)에 매우 민감하고 데이터 압축과 같은 영상의 변형에 삽입된 정보 즉, 워터마크를 쉽게 손실되는 문제점이 있다. 이와 같이 인간 시각 시스템(Human Vision System : HVS)을 이용한 방법(3)으로 영상 정보에서 인간의 시각은 영상의 에지를 잘 추출하는 반면에 에지의 밝기 값의 변화는 잘 인식하지 못한다. 따라서 삽입된 워터마크는 에지의 밝기를 변화시킴으로써 인간 시각으로 지각할 수 없다는 것을 전제로 한 것이지만, 고주파수 필터링(high-pass filtering) 과 같은 영상 변형에 내장된 워터마크가 쉽게 손실된다.

마지막으로 주파수 영역에서의 워터마크는 원 영상을 주파수 영역으로 변환한 후 영상의 주파수 계수(frequency coefficients)와 워터마크를 조합하고, 조합한 주파수 계수 값을 다시 역변환 하여 워터마크가 내장된 영상을 생성시킨다. 이런 형태의 알고리즘을 스펙트럼 워터마크(spectral watermark)171 라 정의한다.

이 방법은 인간 시각 시스템(HVS)을 더 효과적으로 활용한 방법으로 공간 영역의 인간 시각과는 다른 주파수 영역에서의 인간 시각의 서로 다른 특성을 이용한 방법이다. Discrete Cosine Transform (DCT)와 Fast Fourier Transform(FFT), Wavelet Transform(WT)등 주파수 영역에서의 워터마크내장은 인간 시각으로 잘 감지 할 수 없는 영역인 고주파 성분에 워터마크를 삽입한다."39 이 방법도 마찬가지로 고의적인 영상 변형 또는 손실 압축 등으로 내장된 워터마크가 쉽게 제거될 수 있는 단점이 있다. 한편, Fourier Transforme 지역적인 특성이 없고, 영원히 진동하므로 신호 데이터가 불연속 또는 날카롭게 도출된 경우는 지역적인 특성을 분석하기가 어려운 반면, Wavelet Transforme저주파수 대역으로부터 고주파수 대역으로의 계층적인 정보를 가지고 전체적인 특징 뿐만 아니라 지역적인 특성까지고 잘 분석한다. 따라서 본 논문에서는 웨이브릿을 이용한 워터마크 정보를 저주파수 영역. 수평 영역, 수직 영역인 특정 주파수 영역에 잘 적응할 수 있는 다중 워터마크를 내장시킴으로서 low- pass filtering과 기하학적인 영상의 변형에 강인하고, contrast, brightness, gamma correlation 등의 영상의 변형에도 강인한 워터마크 알고리즘을 제안한다. 이 방법은 시각적으로 인식할 수 없는 워터마크에 초점을 두고 있으며 계층적 직교 웨이브릿변환(Orthogonal Forward Wavelet Transform) 을 기반으로 한다. 이때 워터마크 정보는 ASCII 코드 값들로 일련의 패턴을 가지고 있고, 이런 패턴들은 영상에 주기적으로 내장된다. 따라서 원영상에 대해 일련의 워터마크 패턴이 생성된다.

Ⅲ. 계층적 직교 웨이브릿

3.1 웨이브릿 함수

웨이브릿은 단일 원형 함수에 기반을 둔 뛰어난 time-scale 국부성으로 데이터를 다중해상도(multiresolution) 표현 및 분석이 가능하고, 네 개의 각각 다른 부대역 (sub-band) 성분으로 구성된다. 웨이브릿 변환은 피라미드 구조로 표현되며 고주파수 대역에서는 시간 분해능(resolution)을 높이고, 저주파수 대역에서는 주파수 분해능을 높이는 옥타브 대역 분할을 통해 시간과 주파수 영역에 대한 국부성 (locality)을 가지고 신호를 표현하므로 저주파수 성분이 많은 일반적인 영상처리의 분석에유리하다. [그림 1)의 왼쪽 영상은 원영상을 나타내고 오른쪽 영상은 이 원영상을 계층적 직교 웨이브릿 변환하여 계층적인 피라미드 구조로 나타낸다.

웨이브릿으로 변환된 각 대역들은 저주파수 대역으로부터 고주파수 대역으로의 계층적 정보를 가지고 있다. 여기서 LLe 저주파수 성분. LHe 영상의 수평 성분을 나타내고. HLe 수직 성분. HHe대각성 성분을 강조하고 있고, 이때 인간 시각에 매우 민감하고 중요한 정보의 대부분이 저주파수 대역에 집중되어 있다. 따라서 웨이브릿은 她로 정의되고, mother wavelet를 변이 시키고 확대, 축소시킴으로써 얻어지는 함수들의 집합이다. 웨이브릿의 기저 함수는 다음 식과 같다.

(그림 1.1) 원영상

#(1)

#(2)

3.2 웨이브릿을 이용한 워터마크 내장알고리즘

계층적 직교 웨이브릿 변환에 의해서 2차원의 원영상을 X-축 방향으로 다운 샘플링. y-축 방향으로 다운 샘플링을 하여 2차원의 필터링을 거친 4개의 부대역의 각각 다른 성분들로 표현된다. 마찬가지로 웨이브릿 역변환 시 y-축 방향으로 업 샘플링. X-축방향으로 업 샘플링을 수행한다.

본 연구에서 제안하는 워터마크 내장 알고리즘은 다음과 같다.

1) 저주파수(low-frequency)와 중위주파수(middle- frequency) 각각의 주파수 특성에 잘 적응하는 watermarkl와 watermark2 즉 serial num- ber의 주기를 생성시킨다.

2) 저주파수(low-frequency)와 중위주파수(middle- frequency)에 대해 각 주파수 영역의 임계치 (Threshold)를 설정한다. 단, 이때 이 임계치는 인간 시각 시스템을 이용하여 인간 시각으로 잘 인식할 수 없는 특정 주파수 영역의 계수 값들을 찾는다.

3) 원영상을 계층적 직교 웨이브릿 변환에 의해서 주파수 영역으로 변환한다. 즉 웨이브릿 변환의 특징을 이용하여 다차원의 계층적 피라미드를 구성하여 영상을 공간적인 영역에서 주파수 영역으로 변환하여 주파수 계수(coefficient) 값들을 생성시킨다.

4) 앞에서 설정된 임계치를 이용하여 저주파수(low- frequency) 계수와 중위주파수(middle-fre- quency) 계수에 각각의 watermark serial number를 조합시킨다. 이때 삽입되는 워터마크는 영상에 일정한 주기를 가지고 있다. y(i, j)는 워터마크가 내장된 영상의 계수 값. x_low(i.j)는 원영상의 저주파수 영역의 계수 값, x_midd(i, j) 는 중위(middle) 주파수 영역의 계수 값, x(i.j) 는 원영상의 저주파수 영역의 계수 값과 중위 주파수 영역의 계수 값을 제외한 계수 값, TLT2는 임계치. wkl과 wk2는 워터마크를 나타낸다.

#

5) 주파수 영역에서의 계수 값들을 공간적인 영역으로 웨이브릿 역변환을 수행하여 워터마크가 내장된 영상을 생성시킨다.

3.3 웨이브릿을 이용한 워터마크 내장

1) 변형이 가해진 워터마크가 내장된 영상과 원 영상 각각을 주파수 영역으로 변환한다

2) 임계치 T1과 T2를 적용하여 저주파수의 워터마크와 중위주파수의 워터마크 패턴을 추출한다.

3) 원영상과 변형이 가해진 영상에서 추출된 워터마크 128x128 블록을 32x32 블록으로 나누어 각블록 에 대해 원본 워터마크과 변형된 영상에서 추출된 워터마크의 유사도(correlation)를 구한다. [그림 2〕의 워터마크 추출 및 인증 알고리즘은 다음과 같다.

영상에 대한 소유권 인증(authentication)은 영상의 정보를 보호하는 것이 아니라 영상의 소유권를 증명하는 것으로 웹 상에서 전송 받은 정보가 전송 시 변형되지 않았다는 것을 수신 측에 확신시키는 것으로 수신자를 보호할 목적에 있어서 중요한 문제이다. 즉 원영상에 삽입된 워터마크와 변형이 가해진 영상의 워터마크의 평균의 차이를 판단한다. 이때. 결은 명암도가 반복되면서 일정한 크기의 명암군을 형성하고, 이러한 결은 명암군의 크기에 관련성을 가지고 있다. 따라서 자체상관계수는 명암군의 크기에 대한 추정치를 나타낸 것으로 본 논문에서는 워터마크가 삽입된 영상의 소유권을 인증하기 위한 방법으로 통계적 추론(statistical inference) 방법을 적용한다. 원 영상에 삽입한 워터마크(Wx)와 변형이 가해진 영상에 대한 워터마크(Wy)의 평균의 차이 유무를 판단하는 방법으로 Wx와 Wy 사이의 상관성을 판단한다. 먼저, 가설 Ho는 Wx와 Wy 사이의 특성 차이가 없다는 것을 전제로 통계적절차를 통하여 가설을 검증한다。3). 단, 추출된두 집단은 정규분포를 따르고, 분산은 알 수 없지만 7x=7y로 가정한다. nx와 ny개의 표본, 표본평균은 X와 Y, 표본표준편차는 Sx와 Sy. 평균은 “X, "Y 이고 검정통계량 Z는 다음과 같다.

(그림 2〕워터마크 추출 및 인증 알고리즘

#(3)

#(4)

워터마크가 삽입된 영상을 웨이브릿 압축, Low- Pass Filtering, Median Filtering, Brightness, Contrast, Gamma Correction. Histogram Equalization. Cropping 등과 같은 왜곡된 영상에서 유의 수준(significance level) a (0.05)에 대한 유의성 검증 결과에 따르면 H0 가설이 채택되어 소유권을 인증할 수 있다.

Ⅳ. 실험 결과

본 실험 영상은 256x256의 그레이 Lena 영상을 사용하였고, 웨이브릿 변환으로 다우비치 웨이브릿을 적용하여 영상을 계층적 구조로 변환하여 소유권 정보를 내장하였다.

〔그림 3〕은 원영상과 워터마크가 내장된 영상 및 웨이브릿 압축한 다음 워터마크 추출.[그림 4〕는 워터마크가 내장된 영상에 대해 일반적인 영상처리를 수행한 결과를 나타내고, 〔그림 5〕는 소유권 인증을 위한 유사도를 나타내고 있다.

(그림 3] 워터마크 내장과 추출

(그림 5) 워터마크 인증

따라서 본 논문에서 제안한 다중 워터마크 내장알고리즘의 강인성을 검증하기 위해서[그림 4〕에서와 같이 워터마크가 내장된 영상에 일반적인 영상처리 즉, median filtering blur filtering, 노이즈(noise) 첨가, mosaic, brightness, contrast 등과 같은 고의적인 변형을 수행한 다음 원 영상에 내장한 워터마크 패턴과 이런 변형이 가해진 영상에서 워터마크 패턴을 추출한다.〔그림 5〕는[그림 4] 에서 변형이 가해진 영상에 대해 워터마크를 추출한 다음 통계적 추론 방법을 적용하여 소유권 인증 여부를 판단한다.

본 논문에서는 워터마크 인증을 위한 방법으로 원 영상(I)과 변형이 가해진 영상(I')을 웨이브릿 변환하여 피라미드 구조인 계층 구조로 변형한 다음 변형이 가해진 영상의 주파수 영역에서 원영상의 주파수 영역의 차를 구한다. 이때 변형이 가해진 영상에 내장된 워터마크 패턴(W')를 추출할 수 있다. 추출된 워터마크 패턴(W')를 32x32 블록으로 나누고, 마찬가지로 원래의 워터마크 패턴(W)도 32x32 블럭

(그림 4〕워터마크가 내장된 영상에 대한 일반적인 영상변형

으로 나누어 각각의 블록에 대한 유사도(correlation) 을 구한다. 이때 유사도과 허용 오차를 비교하여 각블록에 대한 유사도(correlation) 값이 허용오차보다 높으면 소유권을 인증하고 허용오차 보다 낮으면 소유권을 부인한다. 따라서 그림5의 X-축은 워터마크를 32x32 블록으로 나눈 블록의 개수를 나타내고 y-축은 원영상에 내장된 워터마크와 변형이 가해진 영상에서 추출한 워터마크의 유사도를 나타낸 것으로[그림 5〕의 1)WM Correlatione 원래의 워터마크 패턴과 변형이 가해지지 않은 워터마크가 내장된 영상에서 추출한 워터마크 패턴의 유사도를 나타낸 것이다.〔그림 5〕의 2) 4) 7) 8) 10) 11) 12) 는 원영상에 내장한 워터마크 패턴과 변형이 가해진 영상에서 추출한 워터마크 패턴의 유사도를 비교한 결과 모든 블록에 대한 유사도가 0.90 이상이고, 그림 3) 5) 6) 9)는 각 블록에 따라 유사도의 차이는 있지만 소유권을 인증할 수 있다.

Ⅴ. 결론

본 논문에서는 인간 시각 시스템 특성을 보다 더 효과적으로 활용한 방법으로 직교 웨이브릿 변환 (Orthogonal Forward Wavelet Transform :FWT)을 이용하여 영상을 계층적 구조로 변환하여 저주파수 성분과 중위주파수 성분에 소유권 정보인 워터마크를 내장하는 적응성 워터마크 알고리즘을 제안함으로써 Low-pass Filtering. Median Filtering. 웨이브릿 압축과 같은 영상 변형뿐만 아니라 brightness, contrast, gamma correction, histogram equalization, cropping과 같은 영상의 변형에 강인한 워터마크 영상을 생성시켰다.

그리고 영상의 소유권을 인증하는 방법으로 원 영상에 내장된 워터마크와 변형이 가해진 영상에서 워터마크를 추출한 다음 두 집단의 평균의 차이 유무를 판단하는 상관계수의 명암군 크기에 대한 추정치를 통한 통계적 추론 방법을 적용하였다.

그러나 본 논문에서 제안된 방법은 scaling, rotation, translation3]- 같은 영상의 기하학적인 변형에 민감한 단점이 있고, 따라서 향후 연구과제로는 이런 단점 및 비디오 스트림, warpping과 같은 영상에서 워터마크 추출에 대한 연구가 필요하다.