• Title/Summary/Keyword: 시선각

Search Result 158, Processing Time 0.023 seconds

Deep Learning-based Gaze Direction Vector Estimation Network Integrated with Eye Landmark Localization (딥러닝 기반의 눈 랜드마크 위치 검출이 통합된 시선 방향 벡터 추정 네트워크)

  • Joo, Hee Young;Ko, Min Soo;Song, Hyok
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2021.06a
    • /
    • pp.180-182
    • /
    • 2021
  • 본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network[1]를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하고 이를 통해 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes[2] 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze[3] 데이터 셋을 이용하였다. 실험을 통해 시선 추정 오차는 0.0396 MSE(Mean Square Error)의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame Per Second)를 나타내었다.

  • PDF

Stereoscopic depth of surfaces lying in the same visual direction depends on the visual direction of surface features (표면 요소의 시선방향에 의한 동일시선 상에 놓여있는 표면의 입체시 깊이 변화)

  • Kham Keetaek
    • Korean Journal of Cognitive Science
    • /
    • v.15 no.4
    • /
    • pp.1-14
    • /
    • 2004
  • When two objects are tying in the same visual direction there occurs abrupt depth change between two objects, which is against the assumption of the computational model for stereopsis on the surfaces in a natural scene. For this reason, this stimulus configuration is popularly used in the studies for the effectiveness of the constraints employed in the computational model. Contrary to the results from two nails (or objects) tying in the same visual direction, the two different surfaces from random-dot stereogram (RDS) in the same situation can be seen simultaneously in the different depth. The seemingly contradictory results between two situations my reflect the different strategies imposed by binocular mechanism for each situation during binocular matching process. Otherwise, the surfaces tying in the same visual direction is not equivalent situation to two objects tying in the same visual direction with regards to matching process. In order to examine above possibilities, the stereoscopic depth of the surface was measured after manipulating the visual direction of the surface elements. The visual direction of each dot pair from different surfaces in RDS (in Experiment 1) or the visual direction of line (hawing rectangle with regard to that of the vertical line (in Experiment 2) was manipulated. The stereoscopic depth of the surface was found to be varied depending on visual direction of the surface elements in both RDS and line hawing stimulus. Similar to the results from two nails situation depth of the surface was greatly reduced when each surface element was tying in the same visual direction as that of the other surface element or the other object. These results suggest that binocular mechanism imposes no different strategy in resolving correspondence problem in both two objects and two surfaces situation. And the results were discussed in the context of usefulness of the constraints employed in the computational model for stereopsis.

  • PDF

A research on attentive gaze by physiological signal (생리신호에 의한 시선 집중도 추출에 대한 연구)

  • Kim, Jong-Hwa;Hwang, Min-Cheol;Park, Gang-Ryeong;Lee, Ui-Cheol;U, Jin-Cheol;Kim, Chi-Jung;Kim, Yong-U;Kim, Ji-Hye
    • Proceedings of the Korean Society for Emotion and Sensibility Conference
    • /
    • 2009.11a
    • /
    • pp.160-163
    • /
    • 2009
  • 본 연구는 생리신호에 의한 집중된 시선과 집중하지 않는 시선을 분류하고자 한다. 이를 검증하기 위해 시각적으로 높은 집중과 낮은 집중을 요구하는 두가지 과제를 피실험자에게 제시하고 PPG(Photoplethysmogram), GSR(Galvanic Skin Response) 그리고 SKT(Skin Temperature)센서를 사용한 자율신경계 반응과 시선 움직임을 측정하였다. 과제는 $3{\times}3$으로 화면 구역을 나누고 각 구역에 문자를 제시하고 역방향 문자를 찾도록 하였다. 실험에는 20 명의 대학생이 참여하였으며, 1 번의 실험에 12 종류의 다른 문자배열을 제시 받았으며 1 번의 연습을 포함하여 총 5 회 실시후 데이터를 분석하였다. 높은 집중일 경우와 낮은 집중일 경우를 T-test 분석 결과, 자율신경계에서는 높은 집중일 경우 PPG 주파수가 증가하고 GSR과 SKT는 감소한 결과를 보였다. 따라서 시선의 집중도에 따라 다른 자율신경계 반응과 시선반응을 보이는 것을 확인하였다.

  • PDF

Development of Link Budget Model and Simulator for Telemetry System of Small Launch Vehicle (소형 발사체 원격측정시스템을 위한 링크 버짓 모델 및 시뮬레이터 개발)

  • TaeckKeun Oh;You-Sang Lee;Dae-Hyun Lee;Onsoo Lee
    • Journal of Advanced Navigation Technology
    • /
    • v.28 no.3
    • /
    • pp.278-287
    • /
    • 2024
  • In this paper, telemetry link budget model for small launch vehicle is proposed, and telemetry link budget simulator is implemented. The proposed link budget model consist of geometry model and propagation loss model. The geometry model is calculation of look angle between ground station and small launch vehicle. The propagation loss model consist of free space loss, polarization loss, and de-pointing loss which are appropriate to the small launch vehicle flight environment. The proposed propagation loss model can be calculate propagation loss without complex calculation of propagation environments. The link budget simulator is implemented in MATLAB. The simulator calculate look angle, free space loss, polarization loss parameter, de-pointing loss and received signal level in ground station by using position of ground station, routing of small launch vehicle, 3-D radiation patterns of antennas.

Model based Gaze Direction Estimation Using Support Vector Machine (모델 기반의 SVM을 이용한 시선 방향 추정)

  • Kim, Jong-Bae;Kim, Hang-Joon
    • Proceedings of the KIEE Conference
    • /
    • 2007.10a
    • /
    • pp.121-122
    • /
    • 2007
  • 실내 환경에서 사람의 행동을 인식하는 시스템을 만들 때 사람의 의도를 파악하는 것은 중요한 정보가 될 수 있다. 사람의 시선방향은 의도를 파악하는데 있어서 깊은 관계가 있다. 본 논문에서는 실내 환경에서 사람의 시선 방향을 모델에 기반하여 추정하는 방법을 제안하였다. 머리 모델은 얼굴 영역과 머리카락 영역을 포함하는 두 개의 겹쳐진 타원으로 표현되고, 각 타원의 파라미터는 시선 방향을 추정하는 정보로 사용된다. 시선 방향은 SVM(Support Vector Machine) 알고리즘을 사용하여 8방향중 하나로 추정된다. 이미지에서 얼굴영역과 머리영역은 색상 정보에 의해 검출된다. 사무실 환경에서 시선방향을 다양하게 변화시켜 실험을 하였고, 이를 통해 성능 평가를 수행하였다.

  • PDF

별 가시도 해석을 이용한 별 추적기의 최적 배치 결정

  • Yim, Jo-Ryeong;Lee, Seon-Ho;Yong, Gi-Lyok;Rhee, Seung-Wu
    • Aerospace Engineering and Technology
    • /
    • v.4 no.1
    • /
    • pp.66-76
    • /
    • 2005
  • In this study, star visibility analysis of a star tracker is performed by using a statistical apprach. The probability of the Sun and the Earth proximity, the solar array masking probability, and the solar array blinding probability by the Sun light are obtained from the arbitrary chosen satellite positions as a function of a line of sight vector of the star tracker in several satellite attitude modes. This analysis demonstrates that the optimized star tracker accomodations can be determined to be an elevation angle -40o and two azimuth angles $-35^{circ}$ and $-150^{circ}$.

  • PDF

Face Detection based Real-time Eye Gaze Correction Method Using a Depth Camera (거리 카메라를 이용한 얼굴 검출 기반 실시간 시선 보정 방법)

  • Jo, Hoon;Ra, Moon-Soo;Kim, Whoi-Yul;Kim, Deuk-Hwa
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2012.11a
    • /
    • pp.151-154
    • /
    • 2012
  • 본 논문에서는 화상통신의 현실감을 증진시킬 수 있는 화자 간 시선 맞춤 시스템을 제안한다. 제안하는 방법은 Kinect 거리 카메라로부터 입력된 영상에서 화자의 얼굴 영역을 획득하여 화자의 시선이 카메라를 응시하도록 획득한 영역을 변환한 후에 원본 영상과 합성한다. Kinect 거리 카메라에서 획득한 얼굴 영역에는 다양한 형태의 잡음이 많아 미디언 필터와 모폴로지 연산을 통해 얼굴 영역의 잡음을 제거한다. 화자의 위치에 상관 없이 화자가 카메라를 응시하는 영상을 생성하기 위해서 Kinect 가 제공하는 거리 정보를 이용하여 시선 보정 각도와 회전 축을 획득한다. 시선이 보정된 얼굴 영역은 원본 영상에서 존재하지 않는 영역을 포함하고 있기 때문에, 원본 영상의 각 화소를 삼각형 메쉬로 구성한 후 해당 영역을 보간하여 최종적으로 시선이 보정된 영상을 생성한다. 제안하는 방법은 시선 맞춤 영상을 생성하는 데 필수적인 눈과 주변 얼굴 영역만 선택해서 변환하므로 영상의 왜곡이 적고 실시간 처리가 가능하다는 장점이 있다. 또한 카메라와 화자 사이의 거리 정보를 이용해 화자의 위치에 적응적인 시선 맞춤 영상을 생성할 수 있다. 실험을 통해 Intel i5 CPU 를 장착한 PC에서 $320{\times}240$ 크기의 영상을 사용할 경우 초당 약 35 프레임의 보정된 영상을 생성하여 제안하는 방법이 실시간 처리가 가능하다는 것을 확인하였다.

  • PDF

A Guidance Law to Maintain Ballistic Trajectory for Smart Munitions (지능형 포탄을 위한 탄도궤적 유지 유도법칙)

  • Park, Woo-Sung;Ryoo, Chang-Kyung;Kim, Yong-Ho;Kim, Jong-Ju
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.39 no.9
    • /
    • pp.839-847
    • /
    • 2011
  • This paper proposes a new guidance law for increasing the lethality of munitions. The well known PNG (Proportional Navigation Guidance) is inadequate for the munitions because of some weaknesses. Even if the munition does not have the impact point error, the acceleration command is non zero because the line-of-sight changes at all times in flight. Therefore, we use a difference between a target and an impact point. This proposed guidance law is similar to PNG in the form, but this guidance law concentrates a correction rate of flight path angle instead of the LOS (Line of Sight) rate. The correction of flight path angle is defined as the amount of impact point error. This impact point error can be calculated by neural networks rapidly. Finally, we show that the simulation results prove the suitability of this law.

Eye Contact System Using Depth Fusion for Immersive Videoconferencing (실감형 화상 회의를 위해 깊이정보 혼합을 사용한 시선 맞춤 시스템)

  • Jang, Woo-Seok;Lee, Mi Suk;Ho, Yo-Sung
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.52 no.7
    • /
    • pp.93-99
    • /
    • 2015
  • In this paper, we propose a gaze correction method for realistic video teleconferencing. Typically, cameras used in teleconferencing are installed at the side of the display monitor, but not in the center of the monitor. This system makes it too difficult for users to contact each eyes. Therefore, eys contact is the most important in the immersive videoconferencing. In the proposed method, we use the stereo camera and the depth camera to correct the eye contact. The depth camera is the kinect camera, which is the relatively cheap price, and estimate the depth information efficiently. However, the kinect camera has some inherent disadvantages. Therefore, we fuse the kinect camera with stereo camera to compensate the disadvantages of the kinect camera. Consecutively, for the gaze-corrected image, view synthesis is performed by 3D warping according to the depth information. Experimental results verify that the proposed system is effective in generating natural gaze-corrected images.

Line-of-Sight Rate for Off-axis Seeker on a 2-axis Gimbal (2축 김발 위에 장착된 비축탐색기를 위한 시선각속도 계산)

  • Kim, Jeong-Hun;Park, Kuk-Kwon;Ryoo, Chang-Kyung
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.47 no.3
    • /
    • pp.187-194
    • /
    • 2019
  • The off-axis Infra-Red(IR) seeker is mounted on the nose cone side of the anti-air high speed missile to alleviate thermal shield effect due to aerodynamic heating. The seeker output can not be regarded as the Line-of-Sight(LOS) rate any more as missile's roll motion to keep the target tracking is associated. In this paper, we propose a method to calculate the LOS rate for off-axis seeker on a 2-axis gimbal. Firstly, true LOS rate equations are analytically derived but not implementable because boresight error rate is not measurable. And then the first order lag approximation to obtain boresight error rate is proposed. The proposed LOS rate calculation method can compensate the coupling effect by considering the rotations of missile and gimbal. The performance of the proposed method is verified via full nonlinear 6-DOF(Degree of Freedom) simulations.