• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권10호
• /
• pp.3685-3707
• /
• 2021

In recent years, facial attribute editing has been successfully used to effectively change face images of various attributes based on generative adversarial networks and encoder-decoder models. However, existing models have a limitation in that they may change an unintended part in the process of changing an attribute or may generate an unnatural result. In this paper, we propose a model that improves the learning of the attention mask by adding a spatial attention mechanism based on the unified selective transfer network (referred to as STGAN) using semi-supervised learning. The proposed model can edit multiple attributes while preserving details independent of the attributes being edited. This study makes two main contributions to the literature. First, we propose an encoder-decoder model structure that learns and edits multiple facial attributes and suppresses distortion using an attention mask. Second, we define guide masks and propose a method and an objective function that use the guide masks for multiple facial attribute editing through semi-supervised learning. Through qualitative and quantitative evaluations of the experimental results, the proposed method was proven to yield improved results that preserve the image details by suppressing unintended changes than existing methods.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.11-14
• /
• 2018

The aim of this study is to rectify the misclassified image features and enhance the performance of image classification tasks by incorporating a channel- coding technique, widely used in telecommunication. Specifically, the proposed algorithm employs the error - correcting mechanism of convolutional coding combined with the convolutional neural networks (CNNs) that are the state - of- the- arts image classifier s. We develop an encoder and a decoder to employ the error - correcting capability of the convolutional coding. In the encoder, the label values of the image data are converted to convolutional codes that are used as target outputs of the CNN, and the network is trained to minimize the Euclidean distance between the target output codes and the actual output codes. In order to correct misclassified features, the outputs of the network are decoded through the trellis structure with Viterbi algorithm before determining the final prediction. This paper demonstrates that the proposed architecture advances the performance of the neural networks compared to the traditional one- hot encoding method.

• Journal of Information Processing Systems
• /
• 제18권2호
• /
• pp.188-196
• /
• 2022

Recently, neural architecture search (NAS) has received increasing attention as it can replace human experts in designing the architecture of neural networks for different tasks and has achieved remarkable results in many challenging tasks. In this study, a path-based computation neural architecture encoder (PCE) was proposed. Our PCE first encodes the computation of information on each path in a neural network, and then aggregates the encodings on all paths together through an attention mechanism, simulating the process of information computation along paths in a neural network and encoding the computation on the neural network instead of the structure of the graph, which is more consistent with the computational properties of neural networks. We performed an extensive comparison with eight encoding methods on two commonly used NAS search spaces (NAS-Bench-101 and NAS-Bench-201), which included a comparison of the predictive capabilities of performance predictors and search capabilities based on two search strategies (reinforcement learning-based and Bayesian optimization-based) when equipped with different encoders. Experimental evaluation shows that PCE is an efficient encoding method that effectively ranks and predicts neural architecture performance, thereby improving the search efficiency of neural architectures.

• 한국정보통신학회논문지
• /
• 제16권4호
• /
• pp.765-770
• /
• 2012

본 논문에서는 인트라 모드 결정으로 인해 발생되는 연산 복잡도 문제를 줄이기 위해 DCT 기반 인트라 예측을 사용하는 효율적인 하드웨어 구조를 제안한다. 제안된 하드웨어 구조는 처음 입력 블록에 대해 DCT를 수행하고 DCT 계수의 특성을 이용하여 에지 방향성을 예측한다. 그리고 예측된 에지 방향에 해당하는 모드에 대해서만 화면 내 예측을 수행함으로써 복잡도 문제를 해결하였다. DCT 하드웨어 구조는 4개의 덧셈기와 4개의 뺄셈기, 2개의 쉬프트 연산기로 구성된 Transform_PE를 이용하여 Multitransform_PE를 구현하였고 $4{\times}4$ 블록 DCT를 1 사이클에 계산한다. 또한, 15개의 덧셈기, 15개의 쉬프트 연산기로 구성된 Intra_pred_PE를 통해 2 사이클에 하나의 화면 내 예측을 수행한다. 따라서 하나의 매크로블록을 인코딩할 때 517 사이클을 소요하며 기존의 하드웨어 구조 보다 수행 사이클 수에 있어서 17%의 성능이 향상됨을 보였다. 본 논문의 하드웨어 구조는 DCT 기반 인트라 예측 알고리즘을 사용하며 Verilog HDL을 이용하여 구현되었고, 매그나칩 공정 $0.18{\mu}m$ 셀 라이브러리로 합성 결과 최대 125MHz에서 동작함을 확인하였다.

• 한국산학기술학회논문지
• /
• 제7권4호
• /
• pp.567-574
• /
• 2006

이 논문은 3차원 손실 정수 웨이브릿 변환을 이용한 손실 의료 영상 압축에 대한 방법을 보여준다. 또한 의료영상에 3차원 불균형 트리 웨이브릿 분할법과 3차원 불균형 수평단면상 의존성 트리를 이용한 불균형 트리 구조 알고리즘을 제공 한다. 그리고 3차원 웨이브릿 분할법에서 정수 웨이브릿 필터들을 이용한 리프팅 방법을 보여준다. 여러 정수 필터들과 16개의 코딩유닛 수를 이용하여 의료영상을 우리의 알고리즘으로 만든 인코더를 이용하여 테스트를 했습니다. 코딩 유닛 수 16 개를 사용하여 전에 사용 되었던 방법인 전체 영상 코딩 유닛에 비해 코딩 지연을 줄일 수 있었고, RAM의 용량도 줄일 수 있었다. 또한 불균형의 트리 구조를 사용하여 2차원을 3 레벨 이상으로 사용할 수 있어서, 부호화와 복호화에서 각 픽셀에서 트리의 길이를 마음대로 조정할 수 있는 결과가 되었다. 결론적으로 사이즈가 적은 코딩 유닛과 불균형 웨이브릿 변환을 의료 영상에 적용하여 전에 했던 코딩방법보다도 정수 필터인 I(5,3) 필터 에서는 더욱더 좋은 결과를 보여 준다.

• 전력전자학회논문지
• /
• 제6권2호
• /
• pp.202-208
• /
• 2001

스위치드 리럭턴스 모터(Switched Relutance Motor : 이하 SRM)는 이중 돌극형으로 되어있으며, 상권선은 고정자만 사용한다. 다른 어느 전동기보다도 간단한 구조를 가지고 있어 제작단가가 저렴하고, 기계적으로 견고하며, 고온 등의 열악한 환경에서도 신뢰성이 높으며, 브러쉬 등이 없어 유지비가 거의 들지 않는 장점을 지니고 있다. 그러나 SRM은 상여자를 위하여 회전자의 위치정보를 알아야하므로 위치 검출기가 필요하고, 정속도 운전을 위하여 타코 발전기나 엔코더가 부가적으로 필요하다. 그러나 본 논문에서는 회전자의 속도측정을 얻기 위하여 고가의 엔코더를 사용하지 않고, 단지 간단한 슬롯 디스크로부터 위치를 검출하여 속도를 추정할 수 있는 알고리즘을 제시하고 개발하였다. 속도 추정 알고리즘을 적용한 가변속 디지털 제어시스템을 구현하기 위하여 TI사의 TMS320F240-20MIPS 고정 소수점 연산용 프로세서를 사용하였다. 개발한 시스템을 실험한 결과 넓은 범위에 걸쳐 속도제어가 가능하였고, 단일 펄스모드, 하드 쵸핑모드 및 소프트 쵸핑모드 뿐만 아니라, 전류제어 동작모드에서 가변속 제어가 가능하였다. 그리고 어드밴스각 제어가 가능하였다.

• 한국컴퓨터정보학회논문지
• /
• 제25권5호
• /
• pp.37-46
• /
• 2020

최근 얼굴 속성 편집(facial attribute editing)의 연구는 GAN(Generative Adversarial Net)과 인코더-디코더(encoder-decoder) 구조를 활용하여 사실적인 결과를 얻고 있다. 최신 연구 중 하나인 SaGAN(Spatial attention GAN)은 공간적 주의 기제(spatial attention mechanism)를 활용하여 얼굴 영상에서 원하는 속성만을 변경할 방법을 제안하였다. 그러나 불충분한 얼굴 영역 정보로 인하여 때로 부자연스러운 결과를 얻는 경우가 발생한다. 본 논문에서는 기존 연구의 한계점을 개선하기 위하여 유도 마스크(guide mask)를 학습에 활용하고, 다중작업 학습(multitask learning) 접근을 적용한 개선된 SaGAN(MSaGAN)을 제안한다. 폭넓은 실험을 통해 마스크 손실 함수와 신경망 구조에 따른 얼굴 속성 편집의 결과를 비교하여 제안하는 방법이 기존보다 더 자연스러운 결과를 효율적으로 얻을 수 있음을 보인다.

• 한국음향학회지
• /
• 제43권2호
• /
• pp.243-252
• /
• 2024

최근에 연구되기 시작한 폴리(Foley) 음향 생성 모델 중 벡터 양자화 변분 오토인코더(Vector Quantized-Variational AutoEncoder, VQ-VAE) 구조와 Pixelsnail 등 생성모델을 활용한 생성 기법은 중요한 연구대상 중 하나이다. 한편, 딥러닝 기반의 음향 신호의 압축/복원 분야에서는 기존의 VQ-VAE 구조에 비해 잔여 벡터 양자화 기술이 더 적합한 것으로 보고되고 있으며, 따라서 본 논문에서는 폴리 음향 생성 분야에서도 잔여 벡터 양자화 기술이 효과적으로 적용될 수 있을지 연구하고자 한다. 이를 위하여 본 논문에서는 기존의 VQ-VAE 기반의 폴리 음향 생성 모델에 잔여 벡터 양자화 기술을 적용하되, Pixelsnail 등 기존의 다른 모델과 호환이 가능하고 연산 자원의 소모를 늘리지 않는 모델을 고안하여 그 효과를 확인하고자 하였다. 효과를 검증하기 위하여 DCASE2023 Task7의 데이터를 활용하여 실험을 진행하였으며, 그 결과 평균적으로 0.3 가량의 Fréchet audio distance 의 향상을 보이는 것을 확인하였다. 다만 그 성능 향상의 정도가 제한적이었으며, 이는 연산 자원의 소모를 유지하기 위하여 시간-주파수축의 분해능이 저하된 영향으로 판단된다.

• 방송공학회논문지
• /
• 제13권2호
• /
• pp.188-199
• /
• 2008

기존의 부호화 기술은 부호화기의 복잡도가 복호화기에 비해 매우 높은 구조로 이루어져 있다. 하지만 최근에 부호화기 복잡도의 대부분을 차지했던 움직임 예측/보상과정을 없애는 경량화 부호화 구조에 대한 연구가 중요해졌다. Wyner-Ziv 부호화 기술은 이의 대표적인 기술로서 부호화기는 단순히 현재 프레임에 대한 패리티 정보만을 생성하며 프레임 간 유사성을 이용하는 어떠한 처리절차도 행하지 않기 때문에 종래의 기술에 비해 매우 간단한 구조를 갖는다. 하지만 Wyner-Ziv 부호화 구조에서는 잡음이 많은 보조영상을 복호화에 이용 할 경우 채널 코드의 복호화 오류가 발생한다. 이러한 복호화 오류는 특히 영상 간 유사성이 적어 보조정보를 잘 만들 수 없는 경우 더 많이 발생하며 복원된 영상에 마치 Salt & Pepper와 같은 형태의 잡음으로 나타난다. 이러한 잡음은 비록 그 발생빈도가 적더라도 복원된 영상의 주관적인 화질을 상당히 떨어뜨리는 요소로 작용하므로 이전에는 공간적 유사성을 이용하여 이러한 오류를 정정하는 선택적 미디언 필터를 사용한 경량화 부호화 방법을 제안하였었다. 하지만 이전 방법에서는 텍스처가 복잡한 영상의 경우, 필터적용에 따른 텍스처의 손실이 오류정정으로 얻는 이득보다 더 큰 경우가 발생하는 문제점이 있었다. 따라서 본 논문에서는 선택적 미디언 필터에 복원영상과 보조정보 내 잡음에 관한 정보를 제공함으로써 필터링에 따른 텍스처의 손실을 최소화하는 향상된 경량화 부호화 방법을 제안한다. 실험결과는 이전 방법에 비해 최대 0.84dB에 이르는 성능향상을 보였다.

• 한국방사선학회논문지
• /
• 제18권5호
• /
• pp.541-549
• /
• 2024

Convolutional neural network(CNN), recurrent neural network(RNN)와 같은 다양한 인공 신경망이 연구되고 있으며, 타 인공지능 기반 모델의 기초 구조로 활용되고 있다. 그 중, 트랜스포머를 기반으로 하는 인공 신경망은 자연어 처리 분야에서 그 성능이 입증되었고, 활발하게 연구되고 있는 구조이다. 최근 트랜스포머 기반 인공 신경망의 내부구조 변경을 통해 영상처리가 가능한 Vision transformer(ViT) 모델이 개발되었다. 비젼 영상처리에 있어 ViT 모델의 정확도와 성능은 다양한 연구를 통해 입증되었다. 본 연구에서는 흉부 X-선 영상을 이용하여 폐렴을 진단할 수 있는 ViT 기반 모델을 개발하고, 개발 모델의 학습효율 및 성능을 정량적으로 평가하였다. ViT 기반 모델의 구조는 encoder block의 개수를 다르게 하여 설계하였고, 신경망 학습 시 패치의 크기를 다르게 설정하였다. 또한 개발한 ViT 기반 모델을 검증하기 위하여 기존 CNN 기반 모델인 VGGNet, GoogLeNet 및 ResNet 모델과 성능 비교를 수행하였다. 연구결과 ViT 기반 모델의 학습효율 및 성능은 encoder block의 개수 및 학습 패치 크기에 따라 변화함을 확인하였고 F1 score가 최소 0.875, 최대 0.919로 측정되었다. 32 × 32 크기의 패치를 이용하여 학습한 ViT 기반 모델의 학습효율은 기존 CNN 기반 모델에 비해 우수한 것으로 확인되었으며, 본 연구에서 설계한 모든 ViT 기반 모델이 VGGNet 보다 폐렴 진단의 정확도가 높은 결과를 확인하였다. 결론적으로 본 연구에서 개발한 ViT 기반 모델은 흉부 X-선 영상을 이용한 폐렴 진단에 잠재적으로 사용될 수 있으며, 본 연구를 통해 ViT 기반 모델의 임상적 활용가능성을 향상시킬 수 있을 것이다.