• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.183-186
• /
• 2020

방대한 비디오 데이터의 지능형 분석을 수행하는 기계를 위한 비디오 부호화 기술의 필요성이 대두되면서 MPEG 에서는 VCM(Video Coding for Machine) 표준화를 시작하였다. VCM 은 지능형 머신(machine)의 임무 수행을 위한 비디오 또는 비디오 특징(feature)의 압축 표준 기술로 기술 탐색 단계의 표준화를 진행하고 있다. 본 논문에서는 머신비전(machine vision) 네트워크에서 추출되는 대용량의 특징 압축을 위한 전처리 단계로 보다 효과적인 특징 표현 방법을 제시한다. 제안하는 특징 표현 방법은 정규화, 양자화 과정을 거쳐 특징 데이터 크기를 감소시킨다. 실험에서 특징을 4 개의 값으로 양자화 했을 때, 원본 대비 16 배의 데이터 크기가 감소되지만 mAP 평가 성능은 35.4592 로 높은 수준으로 유지함을 확인하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.661-662
• /
• 2021

본 논문에서는 인공신경망 기반의 슈퍼 해상도(Super-resolution, SR) 기법을 이용하여 저해상도(Low-resolution, LR) 헤어 시뮬레이션을 고해상도(High-resolution, HR)로 노이즈 없이 표현할 수 있는 기법을 제안한다. LR과 HR 머리카락 간의 쌍은 헤어 시뮬레이션을 통해 얻을 수 있으며, 이렇게 얻어진 데이터를 이용하여 HR-LR 데이터 쌍을 설정한다. 학습할 때 사용되는 데이터는 머리카락의 위치를 지오메트리 이미지로 변환하여 사용한다. 우리가 제안하는 헤어 네트워크는 LR 이미지를 HR 이미지로 업스케일링 시키는 이미지 합성기를 위해 사용된다. 테스트 결과로 얻어진 HR 이미지가 HR 머리카락으로 다시 변환되면, 하나의 매핑 함수로 표현하기 어려운 머리카락의 찰랑거리는(Elastic) 움직임을 잘 표현할 수 있다. 합성 결과에 대한 성능으로는 전통적인 물리 기반 시뮬레이션보다 빠른 성능을 보였으며, 복잡한 수치해석을 몰라도 쉽게 실행이 가능하다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.123-126
• /
• 2020

딥러닝이 정답을 찾아가는 연구과정이라면 미술은 정답이나 오답의 단정적 결과보다는 미추(아름다움과 추함)를 포함하는 과정적, 창조적 행위에 가깝다고 할 수 있다. 다시 말하면 미술은 0과 1로만 환원할 수 없는 세계를 기술하여 감동을 주는 유기적 규칙이 내재되어 있고 때로는 과학이 만들어낸 결론을 뒤집는 반상식적 추론을 하기도 한다. 그러므로 딥러닝은 예술적 방식을 통하여 과학의 상식적 추론과의 좋은 거리(Fine distance)를 유지할 필요성이 있는데, 이를 위해서 기존 딥러닝의 이미지 생성과 관련하여 Distance, Classification, Optimization 등의 문제를 미술 표현 기법과 목적이 담겨있는 창작자의 Statement 키워드와의 유사성과 차이점을 비교 분석할 필요가 있다고 생각한다. 시각적 표현과 관련된 딥러닝의 성능은 아직 사람의 표현능력에 못 미치고 있어 본 논문에서는 콜라주 기법에 의한 비디오 생성을 위한 탐색적 실험 분석을 목적으로 GAN을 활용한 콜라주 비디오를 제작하고 그 문제점과 개선점을 제안하고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.193-194
• /
• 2021

영화, 드라마 등과 같은 콘텐츠에서 표현되는 감정은 등장인물의 대화와 표정뿐만이 아니라, 영상이 표현하는 다양한 정보 중 하나인 촬영기법, 장면의 배경 등을 통해서도 표현된다. 특히 핸드헬드 샷은 불안정하지만 현장감과 자유분방한 감정을 관객에게 전달하며 긴장감, 공포 등 배우들의 감정선을 따라가게 하는 효과가 있다. 따라서 영상 콘텐츠에서 감정 정보를 분석하기 위해서는 핸드헬드 샷을 검출하는 것은 기초적인 작업에 해당한다. 본 논문에서는 핸드헬드 샷을 양방향 LSTM을 활용하여 구별하는 방법을 제안한다. 제안된 방법으로 인식한 핸드헬드의 인식 정확도는 97%였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.135-136
• /
• 2021

최근 지상파 UHD 방송에서는 자막을 비디오 패킷에 삽입하여 전달하는 기존 방식이 아닌 별도의 전송로로 전달하는 폐쇄형 자막(closed caption) 방식을 적용하고 있다. 또한 자막에는 문자 뿐만 아니라 이미지까지 포함하여 청각장애인의 프로그램 이해도를 높이는데 활용할 수 있다. 따라서 본 논문에서는 청각장애 시청자가 방송 콘텐츠 내용의 이해도를 향상시키기 위하여 지상파 UHD 방송에서 기존의 문자 자막과 움직이는 이미지 자막(=감정표현 자막)을 수신하여 동시에 표현할 수 있는 수신시스템을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.151-153
• /
• 2021

포인트 클라우드는 특정 개체 혹은 장면을 다수의 3 차원 포인터를 사용하여 표현하는 데이터의 표현 방식 중 하나로 3D 데이터를 정밀하게 수집하고 표현할 수 있는 방법이다. 하지만 방대한 양의 데이터를 필요로 하기 때문에 효율적인 압축이 필수적이다. 이에 따라 국제 표준화 단체인 Moving Picture Experts Group 에서는 포인트 클라우드 데이터의 효율적인 압축 방법 중 하나로 Video based Point Cloud Compression(V-PCC)에 대한 표준을 제정하였다. V-PCC 는 포인트 클라우드 정보를 Occupancy, Geometry, Texture 와 같은 다수의 2D 영상으로 변환하고 각 2D 영상을 전통적인 2D 비디오 코덱을 활용하여 압축하는 방법이다. 본 논문에서는 V-PCC 에서 변환하는 Occupancy 의 정보를 활용하여 효율적으로 Texture 영상을 압축할 수 있은 방법을 소개한다. 또한 제안방법이 V-PCC 에서 약 1%의 부호화 효율을 얻을 수 있음을 보인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.253-256
• /
• 2021

본 논문에서는 합성곱 신경망을 통해 학습된 DoF(피사계 심도, Depth of field) 네트워크 아키텍처를 이용하여 객체 인식, 시점 추적, 문자 인식, 비사실적 렌더링 등 다양한 애플리케이션에 적용할 수 있는 사후 필터링 기법에 대해 살펴본다. 일반적으로 영상은 포커싱과 아웃포커싱에 의해 사용자의 관심표현이 결정되며, 이를 이용하여 영상 내 중요도를 판단한다. 영상 내에는 수많은 콘텐츠들이 혼재되어 있기 때문에 사용자가 집중적으로 보고 있는 콘텐츠를 찾아내기 어렵다. 본 논문에서는 사용자가 흥미롭고 집중적으로 보고 있는 영역을 DoF 네트워크로 학습시키고, 이를 통해 이전 기법으로는 표현할 수 없었던 DoF 기반 객체 인식, 시점 추적, 문자 인식, 비사실적 렌더링을 효율적으로 표현해낸다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.269-271
• /
• 2021

본 논문에서는 실제 현실에서 표현되는 소리의 특징인 파동(Sound wave)과 흐름(Sound flow) 그리고 회절(Diffraction of sound)을 가상환경에서 실시간으로 표현할 수 있는 방법을 제안한다. 우리의 접근 방식은 소리가 재생되는 위치로부터 장애물 여부를 판단하고, 장애물이 존재할 시, 장애물로 인해 반사와 회절된 새로운 소리 위치를 계산한다. 이 과정에서 레이트레이싱 기반으로 장애물과의 충돌 여부를 판단하고, 충돌에 의해 굴절된 벡터를 이용하여 장애물 너머에서 들리는 소리의 크기를 계산하며, 충돌된 레이의 개수에 따라 소리의 크기를 감쇠시킨다. 본 논문에서 제안하는 방법을 이용한 소리의 회절은 물리 기반 접근법에서 나타나는 회절 형태를 실시간으로 표현했으며, 장애물에 따라서 회절 패턴이 변경되고, 이에 따라 소리의 크기가 자연스럽게 조절되는 결과를 보여준다. 이 같은 실험은 실제 현실에서 나타나는 소리의 퍼짐과 같은 특징을 거의 유사하게 복원해냈다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.124-127
• /
• 2020

관계 추출은 문장에서 두 개의 엔티티가 주어졌을 때 두 개의 엔티티에 대한 의미적 이해를 통해 관계를 분류하는 작업이다. 이와 같이 관계 추출에서 관계를 분류하기 위해서는 두 개의 엔티티에 대한 정보가 필요하다. 본 연구에서는 관계 추출을 하기 위해 문장에서 엔티티들의 표현을 다르게하여 관계 추출의 성능을 비교 실험하였다. 첫번째로는 문장에서 [CLS] 토큰(Token)으로 관계를 분류하는 Standard 엔티티 정보 표현과 두번째로는 엔티티의 앞과 뒤에 Special Token을 추가하여 관계를 분류하는 Entity-Markers 엔티티 정보 표현했다. 이를 기반으로 문장의 문맥 정보를 학습한 사전 학습(Pre-trained)모델인 BERT-Large와 ALBERT-Large를 적용하여 실험을 진행하였다. 실험 결과 Special Token을 추가한 Entity-Markers의 성능이 높았으며, BERT-Large에서 더 높은 성능 결과를 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.3-7
• /
• 2019

자연어 표상은 자연어가 가진 정보를 컴퓨터에게 전달하기 위해 표현하는 방법이다. 현재 자연어 표상은 학습을 통해 고정된 벡터로 표현하는 것이 아닌 문맥적 정보에 의해 벡터가 변화한다. 그 중 BERT의 경우 Transformer 모델의 encoder를 사용하여 자연어를 표상하는 기술이다. 하지만 BERT의 경우 학습시간이 많이 걸리며, 대용량의 데이터를 필요로 한다. 본 논문에서는 빠른 자연어 표상 학습을 위해 의미 정보와 BERT를 결합한 개념 언어 모델을 제안한다. 의미 정보로 단어의 품사 정보와, 명사의 의미 계층 정보를 추상적으로 표현했다. 실험을 위해 ETRI에서 공개한 한국어 BERT 모델을 비교 대상으로 하며, 개체명 인식을 학습하여 비교했다. 두 모델의 개체명 인식 결과가 비슷하게 나타났다. 의미 정보가 자연어 표상을 하는데 중요한 정보가 될 수 있음을 확인했다.