• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.180-182
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network[1]를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하고 이를 통해 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes[2] 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze[3] 데이터 셋을 이용하였다. 실험을 통해 시선 추정 오차는 0.0396 MSE(Mean Square Error)의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame Per Second)를 나타내었다.

• 동력기계공학회지
• /
• 제14권4호
• /
• pp.76-81
• /
• 2010

본 논문에서는 카메라를 이용하여 크레인 스프레더의 스큐모션을 계측하는 계측기법에 대해 고찰하고 있다. 계측장치는 트롤리에 설치한 카메라와 스프레더에 설치한 두 개의 랜드마크로 구성된다. 랜드마크를 이용하여 크레인 스프레더 흔들림과 상하위치를 검출하는 기법은 저자들이 이미 제안한 기술이며 실험을 통해 그 유용성을 검증하였다. 크레인 스프레더의 스큐모션 계측기법 또한 제안된 계측기법에 기초한 것으로 두 개의 랜드마크를 검출하여 템플릿 매칭기법으로 스큐모션을 계측할 수 있다. 스큐모션은 스프레더의 회전각도를 검출하여 계측해야 하는데 계측정도와 신뢰도는 정확한 템플릿매칭의 가능여부에 의존하게 된다. 즉, 랜드마크의 회전으로 매칭이 실패할 경우에는 정확한 회전각도를 검출할 수 없는 경우가 발생할 수 있게 된다. 따라서 본 논문에서는 랜드마크 회전에 따라 템플릿을 회전시키는 방법을 도입하여 템플릿매칭의 신뢰성과 계측정도를 개선하는 방법에 대해 연구하였다. 제안된 방법을 이용할 경우 템플릿매칭이 실패하는 경우가 없음을 실험을 통해 확인하였으며, 측정범위는 ${\pm}12^{\circ}$ 이고 이것은 크레인 스프레더의 스큐모션을 파악하고 제어하는데 충분한 정도의 범위이다.

• 방송과미디어
• /
• 제22권4호
• /
• pp.41-49
• /
• 2017

본 논문에서는 최근 각광받고 있는 Convolutional Neural Network(CNN)과 같은 딥러닝 기반의 얼굴 인식 연구 동향을 살펴 보고자 한다. 얼굴 인식은 입력 영상이 들어왔을 때 자동으로 누구인지 알아내는 알고리즘으로 크게 얼굴 검출, 얼굴 랜드마크 검출 및 얼굴 특징 추출로 나누어진다. 본 논문에서는 얼굴 검출, 랜드마크 검출 및 얼굴 특징 추출에 특화된 딥러닝 알고리즘을 하나씩 살펴보고 이들이 어떻게 발전해 왔는지를 확인하고자 한다. 특히, 딥러닝 기반 얼굴 인식 알고리즘들은 딥러닝 기반 물체 인식의 발전 방향과 유사하게 진행되어 오다가 최근에는 얼굴 인식에 특화된 딥러닝 아키텍처 형태로 발전하고 있다. 어떤 방향이 얼굴 인식에 더 도움이 될지에 대해서도 확인하고 실제로 어떤 문제를 해결하고 있는지 확인하고자 한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제28권3호
• /
• pp.55-65
• /
• 2022

X-ray 두개골 영상에서 주요 해부학적 부위들 간의 거리를 계측하는 것은 진단과 치료 등 임상적 의미에서 매우 중요하다. 최근에는 딥러닝 기술의 발전을 바탕으로 랜드마크를 식별 및 검출하는 자동화 시스템들이 제시되고 있다. 이러한 딥러닝 기반 모델을 과적합 없이 학습 시키기 위해서는 대량의 영상과 라벨링 데이터가 필요하다. 기존에는 숙련된 판독의가 환자의 영상에서 랜드마크를 수동으로 식별하여 라벨링하는 방식으로 계측이 이루어져 왔다. 그러나 이러한 계측 방식은 많은 비용이 소요될 뿐만 아니라, 재현성이 떨어지기 때문에 자동화된 라벨링 방법에 대한 필요성이 제기되고 있다. 또한, X-ray 영상에는 광자가 통과하는 경로 상의 여러 인체조직들이 표시되기 때문에 랜드마크 식별이 일반 자연 이미지 또는 삼차원 모달리티 영상에 비해 어렵다. 본 연구에서는 X-ray 영상 내에 대량의 라벨링 데이터 생성을 가능하게 하는 기하학적 데이터 증강 기법을 제안하고 있다. 또한, 두개골 내 주요한 16개 랜드마크들의 검출 성능을 향상시키기 위해 다양한 어텐션 기법들의 구현 및 적용을 통해 랜드마크 검출을 위한 최적의 어텐션 메커니즘을 제시하였다. 마지막으로 주요 두개골 랜드마크들 중 안정적인 검출이 보장되는 마커들을 도출하였으며, 이러한 마커들은 임상적인 활용 가능성이 높을 것으로 기대된다.

• 방송공학회논문지
• /
• 제26권6호
• /
• pp.748-757
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분(Part)으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하여 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze 데이터셋을 이용하였다. 실험을 통해 시선 추정 오차는 3.9°의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame per second)로 측정되었다.

• 대한원격탐사학회지
• /
• 제39권6_1호
• /
• pp.1309-1320
• /
• 2023

모바일 기기의 기술 발전과 대중화는 어디서든 사용자의 위치를 확인할 수 있으며 인터넷을 사용할 수 있도록 발전되었다. 그러나 실내의 경우 인터넷은 끊김없이 사용할 수 있지만 global positioning system (GPS) 기능은 활용하기 어렵다. 실내 공공장소인 백화점, 박물관, 컨퍼런스장, 학교, 터널 등 GPS가 수신되지 않는 음영 지역에서 실시간 위치정보 제공의 필요성이 증가하고 있다. 이에 따라 최근의 실내 측위 기술은 랜드마크 데이터베이스를 구축하기 위해 light detection and ranging (LiDAR) 장비를 기반으로 연구가 증가하고 있다. 본 연구에서는 랜드마크 데이터베이스 구축의 접근성에 초점을 두어 모바일 기기를 기반으로 랜드마크를 촬영한 단일 이미지와 사전에 구축된 랜드마크 데이터베이스 정보를 이용하여 사용자의 위치를 추정하는 기법을 개발하고자 하였다. 첫 번째로, 랜드마크 데이터베이스를 구축하였다. 랜드마크를 촬영한 모바일 이미지만으로 사용자 위치를 추정하기 위해서는 모바일 이미지에서 랜드마크 검출이 필수적이고, 검출된 랜드마크에서 고정적인 성격을 가진 지점의 지상좌표 취득이 필수적이다. 두 번째 단계에서는 bag of words (BoW) 영상 검색 기술을 적용해 랜드마크 데이터베이스 중 모바일 이미지가 촬영한 랜드마크를 유사한 4위까지 검색하였다. 세 번째 단계에서는 scale invariant feature transform (SIFT) 특징점 추출 기법과 Homography random sample consensus (RANSAC)을 통해 검색된 4개의 후보 랜드마크들 중 가장 유사한 하나의 랜드마크를 선정하였고, 이때 임계값 설정을 통해 정합점 수를 기반으로 한 차례 더 필터링을 수행하였다. 네 번째 단계에서는 대응된 랜드마크와 모바일 이미지간의 Homography 행렬을 통해 랜드마크 이미지를 모바일 이미지에 투사하여 랜드마크의 영역과 코너(외곽선)점을 검출하였다. 마지막으로, 위치추정 기법을 통해 사용자의 위치를 추정하였다. 해당 기술의 성능을 분석한 결과, 랜드마크 검색 성능은 약 86%로 측정되었다. 위치추정 결과와 사용자의 실제 지상좌표를 비교한 결과, 약 0.56 m의 수평 위치 정확도를 갖는 것이 확인되어 별도의 고가 장비 없이 랜드마크 데이터베이스를 구축하여 모바일 영상으로 사용자 위치 추정이 가능한 것을 확인하였다.

• 정보과학회 논문지
• /
• 제43권2호
• /
• pp.186-195
• /
• 2016

본 논문에서는 도로주행 영상에서의 자동차 번호판 검출방법을 제안한다. 제안하는 방법은 조명변화에 강인한 8bit-MCT 특징과 랜드마크 기반의 Adaboost 알고리즘을 이용하여 번호판 후보 영역을 생성하고, Adaboost의 검출 스코어를 이용하여 번호판의 위치를 확률로 추정하는 현저도 지도를 생성한다. 현저도 지도에서 임계값 이상의 영역을 번호판 후보 영역으로 검출하고, 각 후보 영역에 대하여 지역분산을 이용하여 영역을 보정한 후 SVM과 8bit-MCT의 히스토그램을 특징으로 사용하여 영역을 검증하고 자동차 번호판 영역을 확정한다. 본 논문에서 제안한 방법을 한국과 유럽의 다양한 도로주행 영상에 적용하여 85%의 안정적인 검출 성능을 실험을 통하여 입증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.1019-1022
• /
• 2019

최근의 영상 처리 분야는 딥러닝 기법들의 성능이 입증됨에 따라 다양한 분야에서 이와 같은 기법들을 활용해 영상에 대한 분류, 분석, 검출 등을 수행하려는 시도가 활발하다. 그중에서도 의료 진단 보조 역할을 할 수 있는 의료 영상 분석 소프트웨어에 대한 기대가 증가하고 있는데, 본 연구에서는 캡슐내시경 영상에 주목하였다. 캡슐내시경은 주로 소장 촬영을 목표로 하며 식도부터 대장까지 약 8~10시간 동안 촬영된다. 이로 인해 CT, MR, X-ray와 같은 다른 의료 영상과 다르게 하나의 데이터 셋이 10~15만 장의 이미지를 갖는다. 일반적으로 캡슐내시경 영상을 판독하는 순서는 위장관 교차점(Z-Line, 유문판, 회맹판)을 기준으로 위장관 랜드마크(식도, 위, 소장, 대장)를 구분한 뒤, 각 랜드마크 별로 병변 정보를 찾아내는 방식이다. 그러나 워낙 방대한 영상 데이터를 가지기 때문에 의사 혹은 의료 전문가가 영상을 판독하는데 많은 시간과 노력이 소모되고 있다. 본 논문의 목적은 캡슐내시경 영상의 판독에서 모든 환자에 대해 공통으로 수행되고, 판독하는 데 많은 시간을 차지하는 위장관 랜드마크를 찾는 것에 있다. 이를 위해, 위장관 랜드마크를 식별할 수 있는 CNN 학습 모델을 설계하였으며, 더욱 효과적인 학습을 위해 전처리 과정으로 학습에 방해가 되는 학습 노이즈 영상들을 제거하고 위장관 랜드마크 별 특징 분석을 진행하였다. 총 8명의 환자 데이터를 가지고 학습된 모델에 대해 평가 및 검증을 진행하였는데, 무작위로 환자 데이터를 샘플링하여 학습한 모델을 평가한 결과, 평균 정확도가 95% 가 확인되었으며 개별 환자별로 교차 검증 방식을 진행한 결과 평균 정확도 67% 가 확인되었다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2007년도 춘계학술대회 논문집
• /
• pp.70-75
• /
• 2007

2008년 12월에 우리나라 최초의 통신해양기상위성(Communications， Oceanography and Meteorology Satellite, COMS)이 발사될 예정이다. 통신해양기상위성의 영상데이터의 기하보정을 위하여 다음과 같은 연구를 수행하였다. 기상위성은 정지궤도상에 위치하여 전지구적인 영상을 얻는다. 영상의 전지구적인 해안선은 구름 등으로 가려져서 명확한 정보를 제공할 수 없게 된다. 구름 등으로 방해되지 않는 명확한 해안선 정보를 얻기 위하여 구름 추출을 한다. 실시간으로 기상정보를 얻는 기상위성의 특성상 정합에 전체 영상을 사용하면 수행시간이 다소 소요된다. 정합시 전체 영상에서 정합을 위한 후보점 추출을 위하여 GSHHS(Global Self-consistent Hierarchical High-resolution Shoreline)의 해안선 데이터베이스를 사용하여 211 개 의 랜드마크 칩들을 구축하였다. 이때 구축된 랜드마크 칩은 실험에 사용한 GOES-9의 위치 동경 155도를 반영하여 구축하였다. 전체 영상에서 구축된 랜드마크 칩들의 위치를 중심으로 구름추출을 수행한다. 전체 211 개의 후보점 중 구름이 제거된 나머지 후보점에 대하여 정합을 수행한다. 랜드마크 칩과 위성영상 간의 정합 중 참정합과 오정합이 존재하는데 자동으로 오정합을 검출하기 위하여 강인추정기법 (RANSAC, Random Sample Consensus)을 사용한다. 이때 자동으로 판별되어 오정합이 제거된 정합결과로 최종적인 기하보정을 수행한다. 기하보정을 위한 센서모델은 GOES-9 위성의 센서특정을 고려하여 개발되었다. 정합 및 RANSAC결과로 얻어진 기준점으로 정밀 센서모델을 수립하여 기하보정을 실시하였다. 이때 일련의 수행과정을 통신해양기상위성의 실시간 처리요구사항에 맞도록 속도를 최적화하여 진행되도록 개발하였다.

• 디지털콘텐츠학회 논문지
• /
• 제19권1호
• /
• pp.213-220
• /
• 2018

얼굴 모핑은 원본 이미지에서 목표 이미지로 점진적이면서 자연스럽게 영상을 변화시키는 기법으로 영상처리와 그래픽 분야에서 자주 사용되는 강력한 영상처리 기술 중의 하나이다. 본 논문에서는 Dlib 얼굴 랜드마크 검출기를 이용하여 생성된 얼굴 랜드마크 정점들을 이용하여 들로네 삼각망을 생성하고 원본 영상에서 목표영상으로의 들로네 삼각망들의 와핑과 크로스 디졸브를 통해 모핑을 구현하는 방법을 제안하였다. 본 논문에서 제안한 방법은 들로네 삼각망을 생성하기 위한 정점들을 수동으로 만들어 주는 것이 아니라, 얼굴 모핑에서 얼굴의 주요한 부분인 눈, 눈썹, 코, 입 등의 얼굴의 주요 특징점이라 할 수 있는 얼굴 랜드마크들을 이용함으로써 자동으로 들로네 삼각망을 생성할 수 있다는 것이 특징이다. 그리고 수동으로 정점을 추가할 수도 있어 더욱 자연스러운 모핑 결과를 얻을 수 있을 수 있다는 것을 시뮬레이션을 통해 확인하였다.