움직임 기반 영상 자막에서 채도 중심의 주관적 피로도 연구

A Study on the Subjective Visual Fatigue of Chroma Intensity in Motion-Based Video Subtitles

Abstract

영상 자막은 기본적으로 영상을 통해서 전달하지 못하는 정보를 전달하는데 그 목적이 있으며 분류 기준 및 연구자에 따라 영상 자막의 종류에 조금씩 차이를 나타낸다. TV에서 사용되는 영상 자막은 다양한 색채로 구성되며 이는 움직임을 동반하게 될 경우 인쇄매체와는 다른 영향을 수용자에게 미치게 된다. 본 연구에서는 시지각 특성을 기초로 연구한 먼셀 표색계 중심색 기반으로 움직임을 추가하여 주관적 피로도를 알아보고자 한다. 색채는 보색 대비 관계의 색채를 중심으로 채도가 증가함에 따라 시각적 피로도 발생 여부를 알아보고자 정신물리학 실험을 진행하고 이를 분석하였다. 본 연구는 진행된 실험 결과를 분석하여 색채 인지 특성에 대한 기초 연구 자료로써 유의미 여부를 알아보고 향후 영상 자막에서 색채 배치 시 피로도 부분을 고려하여 배색될 수 있도록 연구방향을 제시한다.

Video subtitles primarily serve to convey information that cannot be communicated directly through visual content alone. Depending on classification criteria and individual researchers, the types of video subtitles can vary slightly. Subtitles, as used in television broadcasts, often incorporate a wide range of colours which, when combined with motion, may influence viewers differently compared to static print media. This study explores subjective visual fatigue by introducing motion to core hues based on the Munsell colour system, which is itself based on visual perception theory. Using a psychophysical approach, we examine whether increased chroma levels-particularly involving complementary colour contrasts-lead to heightened visual fatigue. Experimental data were collected and analysed to assess these effects. The findings aim to provide foundational insights into colour cognition characteristics and suggest practical implications for future colour arrangements in video subtitles, particularly by accounting for viewer fatigue. These insights may inform the design of subtitle colour schemes in media environments where movement and high chroma are prevalent.

Ⅰ. 서론

방송 영상에서 사용되는 영상 자막은 방송 및 컴퓨터 그래픽 기술의 발전으로 다양한 편집 방법과 디자인이 가능해져 자막의 위치, 크기 및 움직임 등 활용 방안이 변천되었다. 방송 기술과 방송 프로그램의 변화에 따라서 TV 영상 자막은 점차 활성화되었는데 이러한 영상 자막의 사용이 늘면서 TV 영상 자막의 종류도 다양해지고 있다. 영상 자막은 헤드라인이나 방송 내용 요약을 통한 정보의 함축적 전달이나 방언, 외국어, 음성 변조, 부정확한 발음 등 음성언어를 보완하는 측면에서 활용되기도 하며 감정 표현, 연출자 의도 표현, 흥미 유발 등과 같은 의도적 표현 수단으로 활용된다. 또한 스포츠 중계, 각종 자료, 노래 가사 등과 같은 부가적 정보 및 세부 자료 제공뿐만 아니라 로고, 프로그램 이름, 섹션 이름, 장면 전환, 다음 프로그램 예고, 프로그램 소개 등과 같은 프로그램 진행 등으로 분류할 수 있다.

영상 자막은 방송 프로그램 특성 및 목적에 따라 사용법이 달라진다. 뉴스나 교양 프로그램의 영상 자막은 전달성과 내용 이해도 제고를 목적으로 한다. 음성 정보의 원본이나 요약본, 또는 화면에 제시되는 상황이 작성된 정보 전달용 자막은 화면에 방해되지 않도록 화면 하단에 단순한 서체와 색채로 표기한다. 오락 프로그램의 영상 자막은 뉴스나 교양 프로그램과 달리 흥미와 재미 유발이 목적이다. 제작자 의도에 의해 출연자의 음성언어나 상황 등이 자막으로 간결하게 사용된다. 사용되는 자막은 제작자의 의도에 따라 서체와 색채 사용에도 영향을 주며 특정 단어가 반복 제시되거나 뉴스나 교양 프로그램에서 사용되지 않던 서체와 색채가 사용되기도 한다.

영상 관련 기존 선행 연구들의 경우 영상의 화질을 향상하기 위해 다양한 접근 방법을 제시하고 있으나 영상 자막에 대한 화질 향상 측면에 대한 기초 연구는 찾아보기 어렵다. 단순히 서체의 크기가 크고 밝기나 채도가 높은 색채를 사용하면 흥미나 주의를 유발할 수 있다는 합리적 추론 외 인간의 시지각 특성과 연계한 화질 향상적인 측면에서 영상 자막 관련 기초 연구가 필요한 시점이다. 본 연구에서는 시지각 특성을 기초로 연구한 먼셀 표색계 중심색 기반으로 움직임을 추가하여 보색 대비가 자막으로 제시된 경우 시각적 피로도에 대한 연구를 진행하였으며 논문의 구성은 다음과 같다. 제2장에서는 영상 자막 특성에 대해, 제3장에서는 본 연구의 구체적인 실험 방법과 도출된 실험 결과에 대해 기술하고 끝으로 제4장에서 결론 및 제언에 대해 기술하였다.

Ⅱ. 영상 자막 특성

영상 화면 구성은 크게 영상 영역과 자막 영역으로 구분되며, 영상 영역에서는 다양한 시청각 정보들이 빠른 화면전환을 통해 제시되고 자막 영역에서는 베너 등을 활용한 함축적 정보가 문자를 통해 제공된다. 따라서 영상 영역은 변화량이 많고 정보의 질과 양이 자막 영역에 비해 풍부하다. 화면구성비 측면에서는 기존 4:3 포맷의 화면구성과 16:9 포맷의 화면구성이 있다. 4:3 비율의 화면에서는 가로와 세로의 차이가 그다지 눈에 띄지 않으며 수직에 비해 수평적으로 안정감을 가지므로 수직공간에 많은 신경을 쓰지 않고서도 수평구도의 화면을 잡을 수 있다. 그럼에도 4:3의 화면에서는 가로 폭이 제한적이기 때문에 수평적인 움직임의 표현에 있어서 많은 제약을 받아 왔다. 4:3 비율은 전통적인 CRT TV나 초창기 방송에서 주로 사용되던 비율로 화면 크기가 더 좁기 때문에, 자막이 화면의 하단에 배치될 경우 상대적으로 덜 여유로운 공간에 들어가게 된다.[1] 자막이 화면의 가운데나 아래쪽에 나타나는 경우, 상대적으로 짧고 간결한 형태로 제공되며 자막의 글자 크기는 같은 자막이라도 더 큰 공간을 차지하기 때문 16:9 비율에 비해 조금 더 커 보일 수 있다. 16:9 비율은 현재 대부분의 HDTV, 스마트폰, 컴퓨터 모니터에서 사용하는 와이드스크린 비율을 나타내며 자막을 배치할 수 있는 가로 공간이 더 많다. 자막이 화면 하단이나 한쪽 구석에 배치되며, 더 긴 문장이나 텍스트가 나와도 화면을 더 넓게 활용할 수 있다는 장점이 있다. 자막의 크기는 4:3 비율과 비교했을 때 상대적으로 작아 보일 수 있으며 텍스트가 영상 영역을 덜 가리는 경우가 대부분이다. 결론적으로, 4:3 비율에서는 자막이 더 눈에 띄게 크고 중앙에 집중되는 반면, 16:9 비율에서는 더 넓은 공간을 활용하여 자막을 배치할 수 있는 특성이 있다고 할 수 있다.

이러한 특성을 반영하여 영상 자막 제작 시 정확성, 일관성, 시각적 품질 향상을 위해 색채를 주로 사용하는 경우가 대부분이다. 북미와 유럽의 경우 대부분의 영화나 TV 프로그램 등 스트리밍 서비스에 흰색 자막이 표준으로 사용되며 동아시아의 경우는 노란색 자막이 예능 프로그램에서 시청자 주의를 끌기 위해 자주 사용되기도 한다.

자막은 글자만으로 구성되기도 하지만 사용된 글자 크기와 비슷한 크기의 배경을 사용하여 자막이 보다 정확하게 정보 전달을 강화하는 데 사용하는 경우가 많다. 현재까지 이러한 자막 글자 및 배경 색채를 자막 전문 프로그램인 토네이도(Tornado)나 미르(MIR)에서 편집자 자체적으로 제작하고 있다. 실시간 이미지 프로세싱에 특화된 라이브러리인 OpenCV는 영상의 배경 화면을 인지하여 색상을 추출하고 추출한 색상 데이터를 바탕으로 자막이 가장 잘 보이도록 자막의 색상을 자동으로 지정할 수 있으나 복잡한 배경 색상 처리, 고급 자막 효과 구현, 시스템 성능 최적화 등의 문제를 해결하기 위해 추가적인 알고리즘 설계나 라이브러리의 보완이 필요하다.

본 연구에서는 영상 자막의 기본 목적인 정보 전달 향상을 위해 움직임이 동반된 영상 자막에서 색채 조합에 따른 주관적 피로도를 알아보고자 한다.

Ⅲ. 정신물리학 실험

본 연구는 움직임을 동반한 영상 자막에서 색채 조합에 따른 주관적 피로도를 알아보고자 먼셀 대표 색상 10가지를 실험 자극으로 선정하였으며 5R은 6개, 5RP는 6개, 5Y는 5개, 5YR은 6개, 5B는 6개, 5BG는 6개, 5G는 6개, 5GY는 5개, 5P는 5개, 5PB는 5개, 총 56개 색채를 대상으로 선정하였다. 색채 기본 구성 요소는 색상, 명도, 채도로 정의되며[2,3] 이중 색상을 제외한 명도와 채도는 화질에 영향을 미치는 중요 요소이기에 밝기에 해당하는 Value의 경우 6단계로 고정하였으며 채도에 해당하는 Chroma는 각 색상마다 약간의 차이가 있으나 6단계부터 최대 16단계까지 포함되었다. 실험에 사용된 색채 자극은 먼셀 색상환 좌표계에서 서로 반대에 위치해 있는 보색 관계 색상 조합을 대상으로 밝기는 동일한 상태를 유지하고 채도에 변화를 주어 실험을 진행하였다. 보색 조합으로는 5R과 5BG, 5YR과 5B, 5Y와 5PB, 5GY와 5P, 5G와 5RP 총 5 세트의 보색 조합을 실험에 사용하였다. 실험에 사용된 디스플레이는 X-Rite i1 Pro2를 사용하여 D65 환경으로 교정한 후 실험에 사용된 먼셀 색채 자극 변환 값과 동일하게 유지하여 실험에 사용하였다. 색채 자극을 1분간 응시한 뒤, 주관적 피로도를 측정하기 위해 표준화된 Simulaton Sickness Questionnaire(SSQ) 평가 지표를 사용하여 증상 값을 측정하였다.[4] 증상은 모두 16개로 구성되어 있으며, 실험에 사용된 설문지는 표 1과 같다.

표 1. 실험에 사용된 SSQ 설문지

Table 1. The SSQ (Simulator Sickness Questionnaire) used in the experiment

Score

Nause = [1] x 9.54

Oculomotor = [2] x 7.58

Disorientation = [3] x 13.92

Total = [1] + [2] + [3]) * 3.74

Ts = Total/(Max Total Score * 100)       (1)

0은 없음, 1은 가벼움, 2는 보통, 3은 심함으로 평가되며 측정된 각 증상 점수를 바탕으로 수집된 결과는 메스꺼움(nausea), 안구 운동(oculomotor), 그리고 방향감각 상실(disorientation) 세 가지의 주요 증상에 해당하는 범주로 구분하였다. 수식 1의 가중치를 이용하여 총점을 계산하였으며 종합점수 계산 방식을 최고점이 100점이 되도록 하여 비교 분석 정보의 가시성을 높였다.

실험 과정은 다음과 같다. 실험실의 조도 조건은 5 lux 이하로 통제하여 암실 환경을 맞췄으며, 실험 전 피험자가 암실에서 충분히 순응할 수 있도록 약 5분간 충분한 순응 시간을 두었다.[5,6] 실험용 색채 자극은 무작위 순서로 제시되며 우측에서 좌측 방향으로 실험 색채 자극이 움직임을 지속적으로 갖도록 세팅된 영상을 대상으로 약 1분 색채 자극물을 본 뒤, 색채 자극에 대한 형태의 변화와 피로도 측정을 위한 SSQ 설문을 하였다. 그 후 잔상 제거와 눈의 피로를 줄이기 위한 화면을 보고 다음 색채 자극으로 넘어가며 실험을 진행하였다.

색채 자극은 색채 면적 크기에 대한 바이어스를 없애기 위해 밝기 값이 50인 바탕색을 배경으로 실제 사용되는 자막 크기 및 실제 자막용 속도(FPS)와 비슷하게 제시되었다. 실험에 참가한 피험자는 정상 시력과 색감자인 20대 5명(남 2명, 여 3명), 30대 5명(남 2명, 여 3명)으로 구성되었으며 실험용 디스플레이와 시선 간의 거리를 약 50cm로 고정하였다.

Ⅳ. 실험 결과

실험은 10명의 피험자가 암실에서 실험용 색채 자극을 각각 1분간 응시한 후 SSQ 설문지에 응답하도록 하였으며 각 보색 대비에 따른 SSQ - N’, O’, D’ 설문 결과는 그림 1과 같다. 그래프에 표기된 N’은 SSQ 설문 문항 중 가중치가 적용된 메스꺼움(Nausea, N’)에 해당되며 O’은 안구 운동 증상(Oculomotor, O’), D’은 혼란(Disorientation, D’)에 해당되는 항목을 그래프로 나타낸 것이다.

그림 1. 보색 대비별 N’, O’, D’ 실험 결과 그래프

Fig. 1. Graphs illustrating results for N’, O’, and D’ across different complementary contrasts

5G-5RP 보색 대비의 경우 N’, O’, D’의 상승 곡선이 다른 보색 대비 보다 가장 가파른 상승 곡선을 보이며 채도가 증가할수록 피로도가 높아지는 경향성이 가장 두드러진 결과를 알 수 있었다. 5R-5BG 보색 대비도 채도가 증가할수록 N’, O’, D’가 증가하는 경향성을 나타내었다. 이 두 가지 보색대비를 제외한 나머지 5YR-5B, 5Y-5PB, 그리고 5GY-5P는 채도가 상승됨에 따라 N’, O’, D’가 증가하는 경향성은 있으나 뚜렷하게 증가되지는 않았다.

또한 저채도에서는 전반적으로 혼란(Disorientation, D’)에 해당되는 눈의 피로, 집중하기 어려움, 눈 감은 상태의 어지러움, 초점 맞추기 어려움, 방향 감각 상실, 흐릿한 시야 및 속이 더부룩한 느낌에 대해 반응을 나타냈으며 저채도의 경우 보색 대비 색채 자극이 움직임을 동반하여 이동되는 상황에서 각 색채의 대비비가 크지 않기 때문에 초점 맞추기 어려움 및 흐릿한 시야 항목에 높은 점수에 해당되는 응답 결과를 얻을 수 있었다.

5G-5RP의 경우 중채도 부터 안구 운동 증상(Oculomotor, O’) 항목에 뚜렷한 증가를 나타냈으며 이는 일반적 불편감, 피로, 두통, 눈의 피로, 침 분비 증가, 눈 감은 상태의 어지러움 및 방향감각 상실이 해당된다. 채도가 상승됨에 따라 피로 및 눈의 피로가 높아지는 경향성을 뚜렷하게 알 수 있었다.

그림 2는 움직임이 있는 보색대비에서 채도의 증가에 따라 주관적 피로도에 해당하는 SSQ 총합계 값을 나타낸 그래프이다. 저채도에서 중채도로 넘어가는 범위에서 피로도 지표가 점진적으로 일어나는 추세를 나타내고 있으며 5G-5RP와 5R-5BG는 저채도를 벗어나면 가장 가파른 상승 곡선을 나타냄을 알 수 있다. 5G-5RP와 5R-5BG를 제외한 나머지 보색 대비에서는 채도가 증가함에 따라 주관적 피로도가 점진적으로 향상하는 경향성은 보이나 뚜렷하지는 않다. 이는 그림 1의 N’, O’, D’ 결과와 동일한 경향성을 나타낸다.

그림 2. 채도에 따른 보색 대비 SSQ TS 결과

Fig. 2. SSQ TS Results by Chroma-Dependent Complementary Contrast

Ⅴ. 결론

본 연구에서는 시지각 특성을 기초로 연구한 먼셀 표색계의 보색 대비 기반으로 움직임을 추가하여 채도가 증가함에 따라 주관적 피로도를 알아보고자 하였다. 종합적인 분석 결과, 보색대비에서 일어나는 시각적 피로도는 색상에 따라 차이가 있으며, 색상 내에서도 채도에 따라 세부적으로 달라지는 경향을 확인할 수 있었다. 특히 5G-5RP와 5R-5BG의 경우 시각적 피로도가 다른 색상 대비보다 현저하게 높은 결과를 나타냈으며 이는 Red 계열의 색상에 민감한 시지각 인지 특성이 반영된 결과라고 할 수 있다.

본 연구는 영상 자막의 색상 배색에 따라 시각적 피로도가 다르게 나타내는 경향성을 확인할 수 있었으며 보색 대비를 사용하고자 하는 움직임이 동반된 영상 자막에서는 중채도 이하를 적용 시 시각적 피로도를 감소하고 안정적인 배색을 할 수 있다는 결과를 얻을 수 있었다. 다양한 영상 자막 분야에서 자막을 표현하는데 색상의 종류와 영역이 확대됨에 따라 채도가 중요한 변수로써 사용된다. 따라서 본 연구는 영상 자막에서 색상 배색 활용 시 시각적 피로도를 감소할 수 있는 기초연구로 활용 가능하다. 향후 진행할 연구 과제로는 움직임이 동반된 영상 자막에서 시각적 피로도 유발 가능한 색상 범위를 정의하고 보다 나은 화질을 구현할 수 있도록 연구 범위를 확대하여 진행할 예정이다.