A Technique of Applying Embedded Sensors to Intuitive Adjustment of Image Filtering Effect in Smart Phone

스마트폰에서 이미지 필터링 효과의 직관적 조정을 위한 내장센서의 적용 기법

Abstract

In this paper, we propose a user interface technique based on embedded sensors applying to apps in smart phone. Especially, we implement avata generation application using image filtering technique for photo image in smart phone. In the application, The embedded sensors are used as intuitive user interface to adjust the image filtering effect for making user satisfied effect in real time after the system produced the image filtering effect for avatar. This technique provides not a simple typed method of parameter values adjustment but a new intuitively emotional adjustment method in image filtering applications. The proposed technique can use sound values from embedded mike sensor for adjusting key values of sketch filter effect if the smart phone user produces sound. Similiarly the proposed technique can use coordinate values from embedded acceleration sensor for adjusting masking values of oil painting filter effect and use brightness values from embedded light sensor for adjusting masking values of sharp filter effect. Finally, we implement image filtering application and evaluate efficiency and effectiveness for the proposed technique.

1. 서 론

최근 들어 스마트폰과 같은 모바일 단말기에서 하드웨어적 차별화가 한계에 다다르면서 감성 UX(User eXperience)와 같은 소프트웨어적 이슈가 점점 중요해지고 있다. 특히 애플이 아이폰을 통하여 터치스크린을 기반으로 한 혁신적 인터페이스와 다양한 프로그램 실행 방식을 제시하면서 UI/UX의 중요성이 대두되었으며 다른 스마트폰 제조업체들도 UI/UX 개발에 열을 올리고 있다. 스마트폰이 제공하는 하드웨어적 특성과 장점을 제대로 활용하기 위해서는 UI/UX의 의미가 점점 중요해지고 있다[3,4]. 이러한 인터페이스 기술개발에 영향을 미치는 요소들은 다양하게 있으나, 이 중에서 센서는 스마트폰의 특성을 최대로 활용하기 위해 다양한 형태로 사용되고 있다. 즉 스마트폰이 PC를 뛰어넘어 혁신적인 인터페이스 서비스를 제공할 수 있는 것은 그 안에 탑재된 다양한 유형의 센서 덕분이다. 스마트폰에는 카메라, 마이크, GPS, 조도 센서, 자이로스코프, 가속도 센서, 근접 센서, 중력 센서 등이 내장되어 있다. 기존의 스마트폰에서는 GPS와 근접센서, 자이로스코프 등이 주로 활용되어 단말기와 사용자가 상호작용할 수 있도록 도와주는 역할을 수행하였다. 예를 들어, 지도 앱에서는 A-GPS(Assisted GPS)를 이용하여 LBSNS(Location Based Social Network Service)라고 하는 개념으로 ‘포스퀘어(Foursquare)’, ‘아임IN’, ‘골프샷 GPS’ 등 위치 정보 기반의 서비스를 제공하였다[5]. 또한 근접센서를 이용하여 단말기 간의 정보교환을 직관적으로 수행하는‘Bump’와 같은 앱이 등장하였으며 최근에는 증강현실이나 게임과 맞물려서 ‘iButterfly’나 ‘Gun Range’와 같은 앱들이 등장하고 있다[1]. 한편으로 [9]에서는 수학교육에서 방향센서를 이용해 사물이 위치한 면적을 계산하는데 사용하였고, [10]에서는 가상현실게임에서 방향센서와 촉각장치를 직관적 UI로 사용해 플레이어가 입체적 느낌을 가질 수 있도록 하였다.

본 논문에서는 이렇듯 스마트폰에서 센서가 기계와 사용자간 또는 사용자와 어플리케이션 간에 효율적인 인터페이스 역할을 수행한다는 관점에서 스마트폰에서 어플리케이션에 내장센서를 이용하는 기법을 연구하고 제시한다. 특히 센서를 기반으로 직관적으로 비실사적 랜더링(NPR: Non-Photorealistic Rendering) 기반의 이미지 필터 효과를 생성하는 방법을 설계하고 구현하였다.

 

2. 스마트폰 앱에서의 내장센서 적용 기법

MEMS(Micro-ElectroMechanical Systems) 기술의 발달로 첨단 기능을 가진 센서들이 초소형화되면서 스마트폰을 비롯한 모바일 단말기 탑재 센서의 종류도 지속적으로 증가하고 있다. 카메라, 마이크뿐만 아니라 가속도, 중력, 근접, 자자기 센서 등이 단말기 내 빠르게 탑재되고 있다. 최근 스마트폰에 내장된 센서의 적용기법을 살펴보면 다음과 같다.

먼저, 스마트폰에서의 내장카메라는 기본적으로 사진이나 동영상을 촬영하는 범위를 벗어나 다양한 용도로 활용되고 있다. 구글에서 제공하는 안드로이드 서비스에서는 뷰들 소셜 카메라로 사진을 찍고 사진 속 사람의 얼굴을 누르면 사용자의 페이스북이나 트위터 계정과 연계된 친구를 보여준다. 구글 글래스의 카메라는 착용상태에서 윙크를 한번 하면 바로 앞의 풍경이 찍히고 이를 바로 통신으로 전송할 수 있다[2]. 마이크 센서는 스마트폰에서 마이크 센서의 활용은 통화 기능 외에 주로 음성인식 기능을 통하여 이루어지고 있다. 구글에서는 사용자가 마이크에 음악을 들려주면 데이터베이스와 대조해서 어떤 음악인지 판별하여 제목과 가사 등의 정보를 알려준다. 아이폰의 ‘Siri’ 앱은 음성인식 기반의 지능형 가상 개인비서(virtual personal assistant) 서비스를 제공하는데 마이크 센서를 통해 사용자의 음성 명령을 인지하고 해석해서 원하는 정보를 검색 및 제공한다. ‘iStehthoscope’ 앱은 스마트폰을 가슴에 대면 마이크 센서가 심장박동 소리를 인식하고, 심박수를 측정해서 결과를 이메일로 전달하거나 화면에 심음도 형태로 표시해준다[1,2]. 근접 센서는 물리적인 접촉없이 전자계의 힘을 이용하여 검출 대상이 근접했을 때 검출 대상물체의 유무를 판별하는 무접촉 방식의 검출 센서로서, 근접하는 물체의 존재여부, 통과, 연속흐름, 적체 등의 감지 및 위치제어에 사용된다. 근접 센서는 스마트폰을 얼굴에 가까이 대면 터치 기능을 차단하거나 스마트폰을 주머니에 넣는 경우에 화면이 자동으로 꺼지게끔 하는데 활용된다. 중력 센서는 전자기기에 탑재되어 지구의 중력이 어느 방향으로 작용하는지를 탐지해 물체 움직임을 감지하는 센서이다. 모바일 단말기에서는 사용자가 단말기를 들고 있는 방향을 감지해서 디스플레이 방향(가로, 세로)을 자동으로 회전하는 기능에 사용된다. 특히 모바일 증강현실의 구현을 위해서는 중력 센서가 필수적이다. 예를 들어, 모빌리지(Mobilizy)사에서 만든 ‘위키튜드(Wikitude)’ 어플리케이션에서는 이용자가 자신의 모바일 장치에서 물체나 표지물을 가리키면, 어플리케이션은 그 해당 상황 정보를 제공하기 위해 GPS와 가속도계, 나침반 데이터를 사용한다[1,2,3]. 가속도 센서는 단위시간당 물체 속도의 변화, 진동, 충격 등 동적 힘의 변화를 감지하는 센서로서, 지자기 센서와 더불어서 방위각을 탐지하거나 기울기 변화, 흔들림 등 물체 움직임까지도 감지가 가능하기 때문에 모바일 단말기에 많이 탑재되고 있다. ‘iButterfly’라는 앱에서는 증강현실과 지자기/가속도센서, 위치정보 등을 결합하여 모바일 쿠폰을 제공하는 서비스를 하고 있다[3,4].

이상의 센서를 활용한 스마트기기의 어플리케이션 개발 사례 외에도 학문적으로 연구에 활용한 예들도 생겨나고 있다. [9]에서는 스마트 기기의 방향 센서를 활용하여 현재 기기가 놓인 상황을 파악하고 카메라를 통해 표현되는 실제 사물이 위치한 공간 좌표를 계산하여 넓이를 측정할 수 있는 애플리케이션을 개발하여 수학교과의 인식론적 장애를 해소하는데 이용하였다. [8]에서는 방향센서를 어플리케이션의 UI로서 펜슬효과 비실사렌더링의 파라미터 값을 조정하는데 처음으로 이용하였다. [6]에서는 빔프로젝터 사용에서 적외선 영상센서를 이용하여 사용자의 펜 움직임을 추출하고 추적하는데 이용하였다. 본 연구는 이 연구의 후속연구로서 다른 효과들에 대해 마이크 센서와 가속도 센서를 이용하여 파라미터를 자유롭게 조정할 수 있는 연구를 수행한 것이다. 본 연구는 센서들을 활용하여 직관적인 UI를 어플리케이션에 실시간으로 적용하는 실험을 함으로 써 결국 감성적이고 직관적인 UI의 구현에 내장센서들을 다양하게 적용할 수 있는 방법을 연구하는 것이다. [10]에서는 가상현실 게임에 위치/방향 센서, 그리고 촉각장치를 UI로 이용하여 좀 더 현실감있는 게임을 만드는데 활용하였다. 본 연구와 마찬가지로 어플리케이션의 직관적인 UI로 센서들을 활용한 연구로서, 본 연구와 다른 도메인에 적용하였으므로 비교할 수는 없지만 본 연구처럼 센서를 직관적 UI의 수단으로 활용한 또 다른 예라는 측면에서 의의가 있다고 할 수 있다.

ABI Research보고서에 따르면, 센서가 주도하는 사용자 인터페이스(UI)가 모바일 UI의 혁신 주제로 떠오를 것이며, 이러한 혁신은 객체, 위치, 사람들을 네트워크화하고 상호반응하는 요소들로 변화시키는 사물인터넷(IOT)의 단초를 제공할 것으로 예상한다[4]. 또한, 센서 기반 UI는 자극을 인식하여 어플리케이션에 전달하는 본연의 기능 외에 인간의 감성과 연결되어 미묘한 차이의 요구를 받아들이고 결과를 만들어내는 역할을 하여 결국 기계와 인간이 서로 교감하는 디지센서스(DigiSensus)의 핵심 매개체로 진화할 것으로 기대하고 있다. 즉, 센서가 사용자의 감정 상태까지 고려하여 인간과의 감성적인 인터랙션이 가능해지는 것이다.

 

3. 스마트폰에서 내장센서를 이용한 직관적 이미지 필터링 효과 생성 기법

3.1 이미지 필터 기반 아바타 생성 시스템

본 논문에서는 스마트폰 어플리케이션에서 센서를 직관적 UI로 적용한 기법을 설계 및 구현하였다. 최근 페이스북, 트위터와 같은 SNS를 비롯한 전화, 채팅 등의 다양한 형태의 네트워킹 기능이 활성화됨에 따라 이들 네트워크 내에서 사용자를 대표하는 아바타가 많이 활용되고 있다. 그러나 현재까지의 아바타들은 사용자를 닮은 부분이 거의 없고 단순히 2D/3D 그래픽으로 처리하기 때문에 사용자의 대표성을 표현하기에는 부족하다고 볼 수 있다. 따라서 SNS에서의 사용자 서비스를 극대화하기 위해서 사용자 자신을 좀 더 적극적으로 표현하고 친근감을 나타낼 수 있는 아바타의 개발 및 보급이 우선적으로 갖추어져야한다. 이러한 관점에서 본 논문에서는 사용자를 닮은 아바타를 카메라 센서로 촬영한 사용자 사진을 바탕으로 얼굴검출(face detection) 및 이미지 필터링 기술들을 적용하여 제작하도록 하였다. 이때 단말기에 내장된 센서들을 이용하여 이미지 필터링에 필요한 파라미터들을 직관적으로 조정하고 효과들을 실시간으로 확인하면서 사용자가 원하는 최적의 조건을 갖춘 아바타를 생성한다. 특히 본 논문에서는 마이크 센서, 가속도 센서, 조도 센서를 각각 적용하여 파라미터들을 직관적으로 조정하면서 이미지 필터링 효과를 생성하도록 한다. Fig. 1은 스마트폰에서 사진을 변형하여 2D 아바타를 생성하는 절차를 보여준다.

Fig. 1.The creating and adapting procedure of 2D avatar using sensors.

위 그림에서 아바타가 생성되는 과정은 다음과 같다.

Fig. 2.The creating procedure of sketch filter using mike sensor.

Fig. 3.The creating procedure of oil painting filter using accelerator sensor.

3.2 센서 기반 UI를 통한 이미지 필터링 조정 기법

본 절에서는 이미지 필터 기반 아바타 생성 어플리케이션에서 각각의 이미지 필터 효과에 대해 센서기반의 UI를 통한 파라미터 조정 기법에 대해 설명하기로 한다. Fig. 2는 마이크 센서를 이용해서 스케치필터를 생성 및 조정하는 방법을 보여준다.

Fig. 2에서 보면, 스케치 필터를 생성하기 위하여 소스 이미지를 분리(image split)하고 역변환, 가우시안 스무딩, 영상합, 영상보정 연산을 거쳐 이미지 합병을 수행한다. 본 논문에서는 이 때 마이크 센서로부터 사용자의 소리를 자연스럽게 입력받아 영상을 보정하는 파라미터 값으로 사용하도록 하는 기법을 제안한다. 기존의 이미지필터 효과 기법에서는 파라미터 값을 숫자 형태로 입력받으므로 필터 결과를 확인하기 전에는 입력한 숫자의 의미를 파악하기 어렵다는 단점이 있었다. 그러나 제안한 기법에서는 마이크 센서를 통하여 직관적으로 값을 입력받고 실시간으로 확인할 수 있으므로 감성적인 사용자 인터페이스를 제공할 수 있다.

Fig. 2와 같은 방식으로 본 논문에서는 Fig. 3과 같이 오일페이팅 필터를 생성 및 조정하는 방법을 설계하였다.

Fig. 3에서는 페인팅 효과를 조정할 입력값을 받는 인터페이스로서 가속도 센서를 사용하였다. 특히 가속도 센서는 스마트폰 단말기의 움직임에 따라 x, y, z 좌표 값을 생성하므로 이 중 x 좌표를 샤프값(sharpness)을 결정하는 오일 마스크 값을 변경하는 파라미터로 사용하였다. 물론 y 좌표나 z 좌표를 다른 파라미터로서 복합적으로 이용하도록 설계할 수도 있다. 다음의 Fig. 4에서는 이미지에 대해서 샤프필터 효과를 생성하기 위한 마스킹 방법이다. 마스킹을 하기 위한 x값은 다음의 식에 의해 결정된다.

Fig. 4.Sharpening mask.

또한 Fig. 5는 조도 센서를 이용하여 샤프닝 값을 조정하는 절차를 보여준다.

Fig. 5.The creating procedure of sharpening filter using light sensor

 

4. 실험 및 평가

본 논문에서는 제안된 기법을 적용한 이미지 필터링 앱을 개발하고 각 이미지 필터별로 제안 기법의 효율성 및 효과성을 평가하였다. 실험평가는 갤럭시 3(1.2GHz CPU and 32GByte 메모리) 기반의 안드로이드 4.3 젤리빈 플랫폼 환경에서 수행되었다. 실험결과를 통하여 이미지 필터 조정 시간은 실시간으로 수행됨을 확인할 수 있었다. 따라서 최소 환경 하에서 효율성 실험을 수행하였으므로 최근의 상위기종에서는 더욱 빠르고 정확하게 이미지 필터링 효과가 수행될 수 있다.

또한, 효과성 실험을 위하여 각 스마트폰 별로 센서값의 센싱 범위값에 따른 이미지 필터 효과의 차이를 실험하였다. 다음의 Table 1은 본 논문에서 직관적 UI로 사용한 스마트폰 종류별 내장센서들의 센싱범위를 나타낸다. 또한 Table 2는 센서들의 센싱범위를 제안기법에서의 필터효과 표현 범위로 변환하여 나타낸 값들을 보여준다. 아울러, 직관적 UI로서의 효과성을 비교하기 위하여 포토샵의 유사한 필터들의 표현 범위와 비교하였다.

Table 1.The sensing scopes of embedded sensors in smartphones

Table 2.The scope of filtering effects between the proposed method and photoshop

Table 2에서 보면, 포토샵과 제안기법을 비교할 때 표현범위는 포토샵의 표현범위를 충분히 포함하고 있음을 알 수 있다. Table 1에서 제시한 제조사별 스마트폰들에 내장된 센서들의 센싱범위를 상대값으로 표현하여 1~10 사이의 값들로 표현하는데 있어서 포토샵과 비슷한 수준으로 표현하기 위하여 수의 범위를 맞추었다. 이에 반해, 표현력을 비교할 때 포토샵에서는 파라미터값들을 숫자 형태로 입력하고 난 후 결과를 절차적으로 확인하는 반면, 제안기법에서는 센서가 내장된 스마트폰을 사용자가 직관적으로 움직이면서 실시간으로 결과값을 확인해 볼 수 있으므로 가장 감성적으로 만족하는 결과를 생성할 수 있다는 장점이 있다. 따라서 UI의 관점에서 보면 훨씬 쉽고 편리한 방법이다. 다만, 포토샵에서는 스케치 효과에서는 섬유길이, 명도, 대비 등, 유화 효과에서는 정확성, 비율, 강모세부 등, 샤프닝에서는 양, 반경 등의 다른 파라미터를 표현할 수 있는 장점이 있다.

Fig. 6은 스케치 필터링 알고리즘에 따라 1차적으로 스케치 필터 효과를 생성한 후 사용자가 스마트폰에 대고 소리를 내면 소리값의 크기에 따라 스케치 필터 효과의 보정값을 조정하는 것을 보여준다. 조정범위는 마이크 센서가 감지하는 소리의 최소값부터 스마트폰 종류별 내장된 마이크 센서의 최대값까지 감지하여 효과를 조정하는데 사용한다. 이에 따라 소리 크기에 따른 스케치 필터 효과의 조정 결과가 Fig. 7에 나타나 있다.

Fig. 6.The adapting of sketch filter by mike sensor values.

Fig. 7.The adapting result of sound values.

Fig. 6과 Fig. 7을 보면 알 수 있듯이, 마이크 센서의 민감도에 따라 필터 효과의 조정 범위가 달라지는데 Table 1에서 보여지는 것처럼 최근의 스마트폰에 내장된 마이크 센서는 대부분 성능이 뛰어나서 소리값의 범위가 매우 넓고, 그에 따른 스케치 필터 효과가 다양하게 조정되어 생성되며 섬세하게 표현되는 것을 확인할 수 있었다. 즉, 스마트폰의 마이크 센서의 성능이 갈수록 높아지기 때문에 기존의 포토샵과 같은 그래픽 도구에서 표현되는 파라미터 값의 범위를 마이크 센서의 소리값의 범위로 충분히 대체할 수 있으므로 파라미터 값의 범위에 따른 필터효과의 섬세함은 동일한 수준으로 표현할 수 있는 것이다.

Fig. 8은 오일페인팅 필터 효과를 생성한 후 사용자가 스마트폰을 기울이면 기울이는 정도에 따라 오일페엔팅 필터 효과의 샤프값이 조정되는 것을 보여준다. 조정 범위는 마이크 센서와 마찬가지로 센서의 최소값부터 스마트폰 종류별 내장된 가속도 센서의 최대값까지에 해당한다. 이에 따라 기울기 정도에 따른 오일페인팅 필터 효과의 조정 결과가 Fig. 9에 나타나 있다.

Fig. 8.The adapting of oil painting mask by mike sensor values.

Fig. 9.The adapting result of gradient values.

Fig. 9에서 보이듯이, 가속도 센서가 스마트폰의 기울기 정도를 감지하여 필터 효과를 조정하는 파라미터값으로 사용하는데 있어서 감각적으로 조정하여 효과가 눈에 띄게 달라지는 결과를 확인할 수 있다. Fig. 10은 샤프 필터 효과를 조정하기 위하여 사용자가 스마트폰을 조명(광원) 가까이에 가져가면 밝기 정도에 따라 샤프 필터 효과의 값이 조정되는 것을 보여준다. 이에 따라 밝기 정도에 따른 샤프 필터 효과의 조정 결과가 Fig. 11에 나타나 있다. Fig. 11을 보면 조명의 밝기 정도에 따라 샤프 필터 효과가 확연하게 달라지는 것을 알 수 있다.

Fig. 10.The adapting of sharpening mask by light sensor values.

Fig. 11.The adapting result of brightness values.

 

4. 결 론

본 논문에서는 스마트폰에서 카메라로 찍은 사진에 대하여 비실사 렌더링 기반의 이미지 필터 효과를 생성하는데 다양한 내장센서들을 UI로 이용하여 직관적이고 감성적인 방법으로 필터 효과를 조정하면서 최적의 효과를 생성하도록 하는 기법을 연구하였다. 먼저 마이크 센서를 스케치 필터의 UI로 사용하는데 소리의 크기 값에 따라 스케치 필터의 보정 값을 직관적으로 조정하도록 하였다. 또한 가속도 센서를 오일페인팅 필터의 UI로 사용하면서 단말기의 기울기 정도에 따라 오일페인팅 마스크를 실시간으로 조정하도록 하였다. 뿐만 아니라 조도 센서를 샤프필터의 UI로 사용하면서 단말기가 위치한 장소의 밝기 정도에 따라 샤프닝 마스크 값을 감성적으로 조정하도록 하였다. 실험 결과를 통하여 기존의 이미지필터 방법에서는 필터 조정 파라미터가 숫자값으로 되어 있어서 조정 레벨을 파악하기 어렵고 조정 결과를 바로 확인할 수 없는데 반해서, 제안 기법에서는 직관적인 방법으로 실시간으로 확인하면서 조정함으로써 최적의 효과 결과를 생성하기에 유리하다는 것을 알 수 있었다. 더욱이 스마트폰의 다른 내장센서들을 활용하여 다양한 형태의 이미지 필터 효과들을 생성할 수 있다.

이러한 관점에서 향후에는 센서의 동작이나 자극을 인식하고 반응하는 본연의 기능 외에 인간과 교감하는 디지센서스 핵심 매개체로서의 역할을 수행하도록 하는 방향으로 연구를 진행할 계획이다.