• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.727-731
• /
• 2020

인공신경망의 예측 결과에 대한 원인을 분석하는 것은 모델을 신뢰하기 위해 필요한 작업이다. 이에 컴퓨터 비전 분야에서는 돌출맵 또는 히트맵의 형태로 모델이 어떤 내용을 근거로 예측했는지 시각화 하는 모델 해석 방법들이 제안되었다. 하지만 오디오 분야에서는 스펙트로그램 상의 시각적 해석이 직관적이지 않으며, 실제 어떤 소리를 근거로 판단했는지 이해하기 어렵다. 따라서 본 연구에서는 히트맵의 청취 분석 시스템을 제안하고, 이를 활용한 음향 장면 분류 모델의 히트맵 청취 분석 실험을 진행하여 인공신경망의 예측 결과에 대해 사람이 이해할 수 있는 설명을 제공할 수 있는지 확인한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.35-36
• /
• 2022

본 논문은 딥러닝 사람 자세 추정 모델이 사람의 관절 키포인트를 예측하는데 관절의 2차원 면적에 의해 키포인트별 𝜎, 즉, 표준 편차를 가지는 가우시안 커널(Gaussian Kernel)을 예측하는 방법을 제안한다. 각 관절 키포인트에 대해 다른 𝜎를 가지는 정답 히트맵(Ground Truth Heatmap)과 제안한 Gaussian Mixture Block를 모델에 추가해서 관절의 크기를 맞는 히트맵을 예측한다.

• Journal of the Korea institute for structural maintenance and inspection
• /
• v.23 no.7
• /
• pp.66-71
• /
• 2019

In this paper, a study was conducted on the method of using GPR data to predict rebar thickness inside a facility. As shown in the cases of poor construction, such as the use of rebars below the domestic standard and the construction of reinforcement, information on rebar thickness can be found to be essential for precision safety diagnosis of structures. For this purpose, the B-scan data of GPR was obtained by gradually increasing the diameter of rebars by making specimen. Because the B-scan data of GPR is less visible, the data was converted into the heatmap image data through migration to increase the intuition of the data. In order to compare the results of application of commonly used B-scan data and heatmap data to CNN, this study extracted areas for rebars from B-scan and heatmap data respectively to build training and validation data, and applied CNN to the deployed data. As a result, better results were obtained for the heatmap data when compared with the B-scan data. This confirms that if GPR heatmap data are used, rebar thickness can be predicted with higher accuracy than when B-scan data is used, and the possibility of predicting rebar thickness inside a facility is verified.

• Smart Media Journal
• /
• v.12 no.10
• /
• pp.19-28
• /
• 2023

In the fruit harvesting field, interest in automatic robot harvesting is increasing due to various seasonality and rising harvesting costs. Accurate apple detection is a difficult problem in complex orchard environments with changes in light, vibrations caused by wind, and occlusion of leaves and branches. In this paper, we introduce a dataset and an adaptive heatmap regression model that are advantageous for robot automatic apple harvesting. The apple dataset was labeled with not only the apple location but also the visibility. We propose a method to detect the center point of an apple using an adaptive heatmap regression model that adjusts the Gaussian shape according to visibility. The experimental results showed that the performance of the proposed method was applicable to apple harvesting robots, with MAP@K of 0.9809 and 0.9801 when K=5 and K=10, respectively.

• Journal of Broadcast Engineering
• /
• v.24 no.4
• /
• pp.564-572
• /
• 2019

With the development of deep learning, the performance of facial landmark detection methods has been greatly improved. The heat map regression method, which is a representative facial landmark detection method, is widely used as an efficient and robust method. However, the landmark coordinates cannot be directly obtained through a single network, and the accuracy is reduced in determining the landmark coordinates from the heat map. To solve these problems, we propose to combine integral regression with the existing heat map regression method. Through experiments using various datasets, we show that the proposed integral regression network significantly improves the performance of facial landmark detection.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.07a
• /
• pp.51-52
• /
• 2018

화력발전용 순환유동층 보일러는 환경오염의 주요인인 질소산화물(NOx)과 황산화물(SOx)의 배출량이 적은 친환경 화력발전용 보일러로 화력발전 업계에서 각광받고 있는 추세이다. 그러나 순환유동층 보일러의 연료인 유동매체는 미분탄과 같이 작지만 단단한 고체이므로 유동매체의 타격으로 인해 워터월(waterwall) 튜브의 마모는 물론 누설까지 야기할 수 있다. 순환유동층 보일러 튜브에서 누설된 증기는 보일러 내부에 클링커(Clinker)를 발생시키고 이는 순환유동층 보일러 튜브 표면에 응고되어 열전도율을 감소시킬 뿐만 아니라 보일러 운전정지의 원인이 된다. 따라서 본 논문에서는 음향방출 센서를 이용하여 화력발전용 순환유동층 보일러 튜브의 누설 위치를 추정하는 방법을 제안한다. 제안 방법에서는 매질의 분자단위 이동에 의해 발생되는 탄성파를 감지할 수 있는 음향방출 센서를 이용하고, 보일러 워터월 튜브의 멤브레인 용접부와 비용접부(seamless)의 감쇠율을 고려한 위치별 센서 감도 추정 알고리즘을 통해 워터월 튜브의 위치별 진폭 크기를 히트맵으로 표현할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.139-140
• /
• 2019

난독증은 정상적인 지능에도 불구하고 문장을 읽기가 어려운 독서 장애다. 난독증 진단 방법은 ADHD처럼 증상 체크리스트가 없다. 지적장애를 판정할 때 사용하는 웩슬러 지능검사 같은 전 세계인이 사용하는 아주 보편화된 심리검사도 없다. 미국 진단기준의 최신판인 DSM-5에도 어떤 검사를 해서 기준점수 아래여야 진단할 수 있다고 명확히 써놓지 않았다. 본 논문에서는 이를 해결하기 위해 글자, 단어, 문장, 문단의 단위를 설정하여 화면에 출력하고 아이트래커를 활용하여 읽는 사람의 시선 데이터를 수집하여 히트맵으로 분석한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.84-87
• /
• 2021

본 논문에서는 딥러닝을 기반으로 문서영상에서 표 안의 셀 경계선을 히트맵 회귀(heatmap regression)로 추정함으로써 표의 구조를 인식하는 방법을 제안한다. 표는 기본적으로 행과 열로 이루어져 있기 때문에, 제안하는 방법에서는 먼저 1 차원 벡터 형태로 세로/가로 방향의 행/열 경계선 위치를 찾고, 이에 병합된 셀을 처리하기 위해 경계선이 그어져야 할 위치를 2 차원으로 추정한 결과를 적용하여 온전한 표의 경계선을 구한다. 이러한 구조를 통해 제안하는 방법은 표의 행과 열에 대한 정보를 효과적으로 이용함과 동시에, 복잡한 후처리 없이 병합된 셀을 처리할 수 있는 이점을 보인다. 실험은 1 차원의 행/열 경계선 위치를 반영하는 두 가지 방식에 대해 PubTabNet[11]에 대해 진행하여 결과를 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.284-287
• /
• 2021

4차 산업혁명으로 인해 제조산업에 인공지능, 빅데이터와 같은 ICT 기술을 활용한 스마트팩토리의 제조 공정 자동화 및 장치 고도화 연구가 진행되고 있다. 제조 공정 자동화를 위해 스마트팩토리의 각 계층별 장치들이 유기적으로 연결되고 있으며, 이로 인해 발생 가능한 보안위협도 증가하고 있다. 스마트팩토리에서는 SIEM 등의 장비가 보안위협 데이터를 수집·분석·시각화하여 대응하고 있다. 보안위협 데이터 시각화에는 그리드 뷰, 피벗 뷰, 그래프, 차트, 테이블을 활용한 대시보드 형태로 제공하고 있지만, 이는 스마트팩토리 전 계층의 보안위협 데이터 확인에 대한 가시성이 부족하다. 따라서, 본 논문에서는 스마트팩토리 보안위협 데이터를 CVSS 점수 기반의 Likelihood와 보안위협 데이터 기반의 Impact를 활용하여 위험도를 도출하고, 히트맵 기반 스마트팩토리 보안위협 데이터 시각화 모델을 제안한다.

• Journal of Korea Game Society
• /
• v.17 no.5
• /
• pp.113-122
• /
• 2017

The location of the objects that make up a game can be an element of immersion for players. repeatedly appearing at the same position, the fun may be reduced, and as the play time elapses, the players will feel the game's fun as they appear in a larger area than at the beginning of the game play. This paper is a study to find out the location of objects according to the passage of time and to see how players controlled these objects. First, foreground images are extracted and accumulated using OpenCV programming language. The accumulated result is displayed as a heat map image. Second, the mouse movement area is detected using the mouse tracking program and compared with the heat map image, so that the screen area in which the player is interested can be known.