• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권5호
• /
• pp.1778-1797
• /
• 2021

Document image binarization is an important pre-processing step in document analysis and archiving. The state-of-the-art models for document image binarization are variants of encoder-decoder architectures, such as FCN (fully convolutional network) and U-Net. Despite their success, they still suffer from three limitations: (1) reduced feature map resolution due to consecutive strided pooling or convolutions, (2) multiple scales of target objects, and (3) reduced localization accuracy due to the built-in invariance of deep convolutional neural networks (DCNNs). To overcome these three challenges, we propose an improved semantic segmentation model, referred to as DP-LinkNet, which adopts the D-LinkNet architecture as its backbone, with the proposed hybrid dilated convolution (HDC) and spatial pyramid pooling (SPP) modules between the encoder and the decoder. Extensive experiments are conducted on recent document image binarization competition (DIBCO) and handwritten document image binarization competition (H-DIBCO) benchmark datasets. Results show that our proposed DP-LinkNet outperforms other state-of-the-art techniques by a large margin. Our implementation and the pre-trained models are available at https://github.com/beargolden/DP-LinkNet.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권12호
• /
• pp.4275-4291
• /
• 2021

With the unprecedented growth of textual information on the Internet, an efficient automatic summarization system has become an urgent need. Recently, the neural network models based on the encoder-decoder with an attention mechanism have demonstrated powerful capabilities in the sentence summarization task. However, for paragraphs or longer document summarization, these models fail to mine the core information in the input text, which leads to information loss and repetitions. In this paper, we propose an abstractive document summarization method by applying guidance signals of key sentences to the encoder based on the hierarchical encoder-decoder architecture, denoted as KI-HABS. Specifically, we first train an extractor to extract key sentences in the input document by the hierarchical bidirectional GRU. Then, we encode the key sentences to the key information representation in the sentence level. Finally, we adopt key information representation guided selective encoding strategies to filter source information, which establishes a connection between the key sentences and the document. We use the CNN/Daily Mail and Gigaword datasets to evaluate our model. The experimental results demonstrate that our method generates more informative and concise summaries, achieving better performance than the competitive models.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.931-934
• /
• 2019

Research using artificial intelligence to generate captions for an image has been studied extensively. However, these systems are unable to create creative stories that include more than one sentence based on image content. A story is a better way that humans use to foster social cooperation and develop social norms. This paper proposes a framework that can generate a relatively short story to describe based on the context of an image. The main contributions of this paper are (1) An unsupervised framework which uses recurrent neural network structure and encoder-decoder model to construct a short story for an image. (2) A huge English novel dataset, including horror and romantic themes that are manually collected and validated. By investigating the short stories, the proposed model proves that it can generate more creative contents compared to existing intelligent systems which can produce only one concise sentence. Therefore, the framework demonstrated in this work will trigger the research of a more robust AI story writer and encourages the application of the proposed model in helping story writer find a new idea.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권10호
• /
• pp.3685-3707
• /
• 2021

In recent years, facial attribute editing has been successfully used to effectively change face images of various attributes based on generative adversarial networks and encoder-decoder models. However, existing models have a limitation in that they may change an unintended part in the process of changing an attribute or may generate an unnatural result. In this paper, we propose a model that improves the learning of the attention mask by adding a spatial attention mechanism based on the unified selective transfer network (referred to as STGAN) using semi-supervised learning. The proposed model can edit multiple attributes while preserving details independent of the attributes being edited. This study makes two main contributions to the literature. First, we propose an encoder-decoder model structure that learns and edits multiple facial attributes and suppresses distortion using an attention mask. Second, we define guide masks and propose a method and an objective function that use the guide masks for multiple facial attribute editing through semi-supervised learning. Through qualitative and quantitative evaluations of the experimental results, the proposed method was proven to yield improved results that preserve the image details by suppressing unintended changes than existing methods.

• 한국음향학회지
• /
• 제43권2호
• /
• pp.243-252
• /
• 2024

최근에 연구되기 시작한 폴리(Foley) 음향 생성 모델 중 벡터 양자화 변분 오토인코더(Vector Quantized-Variational AutoEncoder, VQ-VAE) 구조와 Pixelsnail 등 생성모델을 활용한 생성 기법은 중요한 연구대상 중 하나이다. 한편, 딥러닝 기반의 음향 신호의 압축/복원 분야에서는 기존의 VQ-VAE 구조에 비해 잔여 벡터 양자화 기술이 더 적합한 것으로 보고되고 있으며, 따라서 본 논문에서는 폴리 음향 생성 분야에서도 잔여 벡터 양자화 기술이 효과적으로 적용될 수 있을지 연구하고자 한다. 이를 위하여 본 논문에서는 기존의 VQ-VAE 기반의 폴리 음향 생성 모델에 잔여 벡터 양자화 기술을 적용하되, Pixelsnail 등 기존의 다른 모델과 호환이 가능하고 연산 자원의 소모를 늘리지 않는 모델을 고안하여 그 효과를 확인하고자 하였다. 효과를 검증하기 위하여 DCASE2023 Task7의 데이터를 활용하여 실험을 진행하였으며, 그 결과 평균적으로 0.3 가량의 Fréchet audio distance 의 향상을 보이는 것을 확인하였다. 다만 그 성능 향상의 정도가 제한적이었으며, 이는 연산 자원의 소모를 유지하기 위하여 시간-주파수축의 분해능이 저하된 영향으로 판단된다.

• Korean Chemical Engineering Research
• /
• 제58권3호
• /
• pp.408-415
• /
• 2020

본 연구에서는 auto-encoder와 self-organizing map을 결합한 auto-encoder with self-organizing map(AE-SOM) 기법을 이용하여 EVA 생산공정의 이상을 검출 및 진단하였고, Granger의 인과분석을 통해 이상 검출 데이터의 이상 전파 방향을 확인하였다. 분석 데이터는 1년 7개월 간의 조업데이터를 이용하였으며, autoclave 반응기의 조업 변수를 주로 분석하였다. 데이터 전처리 과정에서 데이터의 표준화를 먼저 진행하고, 조업의 각 grade의 sample 수를 동일하게 200개 임의로 추출하였다. 이후 AE-SOM을 적용하여 각 grade의 best matching unit (BMU)를 도출하였다. 각각의 BMU를 기준으로 조업 데이터가 얼마나 벗어났는지를 기준으로 데이터의 이상을 판별하였다. 공정 이상이 발견될 시 이상원인을 contribution plot을 이용하여 확인하였고 이상원인 변수의 인과성을 Granger의 인과분석을 통해 분석하였다. 그 결과 조업 시 발생한 2번의 셧다운의 전조를 모두 검출하였으며 이상이 발생한 원인변수에서 기인한 공정 이상의 전파 방향을 분석하였다.

• 한국인터넷방송통신학회논문지
• /
• 제9권6호
• /
• pp.55-61
• /
• 2009

본 논문은 유비쿼터스 센서 네트워크와 이동로봇에 내장된 회전 센서를 이용하여 실내에서의 이동로봇에 위치를 인식하고 이를 바탕으로 인터넷을 통한 원격제어 시스템 개발을 제안한다. 사용한 USN(Ubiquitous Sensor Network)은 ZigBee 기반으로 위치 인식 엔진을 탑재하고 RSSI(Received Signal Strength Indicator) 신호를 사용하여 노드간의 거리를 측정한다. 본 논문에서는 노드 간의 정확한 거리 정보를 얻고 이를 바탕으로 위치를 추정하기 위해 실험 입 출력 데이터를 가지고 퍼지 모델을 구하였고 거리의 오차를 수정하였다. 또한, RSSI 값의 부정확으로 인한 위치 인식의 오류를 보정하기 위해 이동로봇에 내장된 회전 센서를 이용하여 이동로봇의 좌표를 구하고 이를 위치 좌표의 보정에 사용하여 위치 인식의 정확성을 개선하였다. 제안된 방법에 의한 위치 인식을 기반으로 인터넷을 통한 원격제어 시스템을 개발하였다. 제안된 방법이 USN에 의해 추정된 위치 정보만을 사용하는 경우보다 정확하게 이동로봇의 위치를 추정하고 인터넷을 통한 원격 주행이 가능함을 보였다.

• 대한전자공학회논문지SP
• /
• 제40권5호
• /
• pp.417-425
• /
• 2003

ITU-T(International Telecommunication Union-Telecommunication standardization sector)와 MPEG(Moving Picture Experts Group)에 의해서 최근 표준화가 완성된 H.264는 가변 블록 크기 움직임 추정, 복수참조영상, 1/4화소 움직임 예측/보상, 4×4 정수 DCT(Integer Discrete Cosine Transform), 율-왜곡 최적화(Rate-Distortion Optimization) 등의 새로운 부호화 기술로 H.263, MPEG-4 등 기존 비디오 표준에 비해 더 좋은 부호화 효율을 제공하고 있다. 그러나 새로운 부호화 기술들은 H.264 의 전반적인 복잡도를 심화시키는 주된 요인이기도 하다. 따라서, H.254 의 실제 응용을 용이하게 하기 위해서는 이러한 기술에 대한 고속 알고리즘이 요구된다. 본 논문에서는 율-왜곡 최적화를 통한 부호화 모드 결정시 부호화기의 복잡도에서 가장 큰 비중을 차지하는 가변 블록 크기 움직임 추정 및 공간예측 부호화를 효율적으로 생략하여 부호화 모드 결정을 빠르게 수행하는 고속 모드 결정법을 제안한다. 실험결과, 제안된 방법은 부호화 효율의 손실이 거의 없으면서도 계산법을 약 4배 향상시킨다.

• 한국전자통신학회논문지
• /
• 제15권4호
• /
• pp.717-724
• /
• 2020

감성 컴퓨팅은 인간의 상호 작용에서 중요한 역할을 하기 때문에 인간을 인식하는 인공 지능을 통해 감정을 이해하고 식별한다. 우울증, 자폐증, 주의력 결핍 과잉 행동 장애 및 게임 중독과 같은 정신 질환을 잘 이해함으로써 감정과 관련된 문제들을 잘 관리할 수 있을 것이다. 이러한 문제들을 해결하기 위해 감정 인식을 위한 다양한 연구가 수행되었는데 기계학습을 적용하는데 있어서는 알고리즘의 복잡성을 줄이고 정확도를 향상시키기 위한 노력이 필요하다. 본 논문에서는 이러한 노력중의 하나로 Stack AutoEncoder (SAE)를 이용하여 차원을 감소하는 방법과 Long-Short-Term-Memory/Recurrent Neural Networks (LSTM / RNN) 분류를 이용한 감성 분류에 대해 연구한 결과를 제시한다. 제안된 방법은 모델의 복잡성을 줄이고 분류기의 성능을 크게 향상시킨 결과를 가져왔다.

• 한국융합학회논문지
• /
• 제13권1호
• /
• pp.13-21
• /
• 2022

최근 딥러닝 기반의 자연어처리 연구는 사전 훈련된 언어 모델을 통해 대부분의 자연어처리 분야에서 우수한 성능을 보인다. 특히 오토인코더 (auto-encoder) 기반의 언어 모델은 다양한 한국어 이해 분야에서 뛰어난 성능과 쓰임을 증명하고 있다. 그러나 여전히 디코더 (decoder) 기반의 한국어 생성 모델은 간단한 문장 생성 과제에도 어려움을 겪고 있으며, 생성 모델이 가장 일반적으로 쓰이는 대화 분야에서의 세부 연구와 학습 가능한 데이터가 부족한 상황이다. 따라서 본 논문은 한국어 생성 모델을 위한 멀티턴 대화 데이터를 구축하고 전이 학습을 통해 생성 모델의 대화 능력을 개선하여 성능을 비교 분석한다. 또한, 검색 모델을 통해 외부 지식 정보에서 추천 응답 후보군을 추출하여 모델의 부족한 대화 생성 능력을 보완하는 방법을 제안한다.