• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권10호
• /
• pp.3729-3749
• /
• 2021

At present, deep convolution network-based salient object detection (SOD) has achieved impressive performance. However, it is still a challenging problem to make full use of the multi-scale information of the extracted features and which appropriate feature fusion method is adopted to process feature mapping. In this paper, we propose a new adjacency auxiliary network (AANet) based on multi-scale feature fusion for SOD. Firstly, we design the parallel connection feature enhancement module (PFEM) for each layer of feature extraction, which improves the feature density by connecting different dilated convolution branches in parallel, and add channel attention flow to fully extract the context information of features. Then the adjacent layer features with close degree of abstraction but different characteristic properties are fused through the adjacent auxiliary module (AAM) to eliminate the ambiguity and noise of the features. Besides, in order to refine the features effectively to get more accurate object boundaries, we design adjacency decoder (AAM_D) based on adjacency auxiliary module (AAM), which concatenates the features of adjacent layers, extracts their spatial attention, and then combines them with the output of AAM. The outputs of AAM_D features with semantic information and spatial detail obtained from each feature are used as salient prediction maps for multi-level feature joint supervising. Experiment results on six benchmark SOD datasets demonstrate that the proposed method outperforms similar previous methods.

• 디지털정책학회지
• /
• 제3권1호
• /
• pp.27-32
• /
• 2024

본 논문은 초해상도 결과의 품질을 향상시키기 위해 질감 특징을 세분화하여 각각을 대조하고, 그 결과를 가중치로 이용하는 초해상도 방법을 제안하였다. 초해상도에서 중요한 평가 기준인 품질의 향상을 위해서는 경계 영역과 같은 세부사항에서의 정확하고 명확한 복원 결과가 필요하며, 인공물과 같은 불필요한 잡음을 최소화하는 것이 중요하다. 제안하는 방법은 품질 향상을 위해 기존 CNN(Convolutional Neural Network) 기반의 초해상도 방법에서 특징 추정을 위해 다중 경로의 잔차 블록 구조와 skip-connection을 구성하였다. 추가적인 질감 분석을 위한 선명 및 흐림 이미지 결과를 추가로 학습하였다. 이를 활용하여 초해상도 수행 결과 또한 각각을 대조하여 가중치를 할당하는 방법을 이용해 영상의 세부사항 영역과 평활화 영역에 대해 개선된 품질을 얻을 수 있도록 하였다. 제안하는 방법의 실험 결과 평가 기준으로 활용되는 PSNR과 SSIM 값이 기존 알고리즘 대비 높은 결과 값을 얻어 품질이 개선됨을 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권12호
• /
• pp.3218-3241
• /
• 2023

Financial fraud undermines the sustainable development of financial markets. Financial statements can be regarded as the key source of information to obtain the operating conditions of listed companies. Current research focuses more on mining financial digital data instead of looking into text data. However, text data can reveal emotional information, which is an important basis for detecting financial fraud. The audit opinion of the financial statement is especially the fair opinion of a certified public accountant on the quality of enterprise financial reports. Therefore, this research was carried out by using the data features of 4,153 listed companies' financial annual reports and audits of text opinions in the past six years, and the paper puts forward a financial fraud detection model integrating audit opinions. First, the financial data index database and audit opinion text database were built. Second, digitized audit opinions with deep learning Bert model was employed. Finally, both the extracted audit numerical characteristics and the financial numerical indicators were used as the training data of the LightGBM model. What is worth paying attention to is that the imbalanced distribution of sample labels is also one of the focuses of financial fraud research. To solve this problem, data enhancement and Focal Loss feature learning functions were used in data processing and model training respectively. The experimental results show that compared with the conventional financial fraud detection model, the performance of the proposed model is improved greatly, with Area Under the Curve (AUC) and Accuracy reaching 81.42% and 78.15%, respectively.

• 한국ITS학회 논문지
• /
• 제18권3호
• /
• pp.95-105
• /
• 2019

최근 들어 도로 노면 파손의 위치 정보를 수집하기 위한 영상 처리 기술에 대한 연구가 활발히 진행되고 있다. 대표적으로 차량에 탑재가 가능한 스마트폰이나 블랙박스를 통해 영상을 얻고 이를 영상처리 알고리즘을 사용하여 인식하는 기술이 주로 사용된다. GPS 모듈과 연계하여 실제 파손 위치를 파악할 때 가장 중요한 기술은 영상 처리 알고리즘인데, 근래에는 대부분 인공지능을 통한 알고리즘이 연구 주제로 주목받고 있다. 이와 같은 맥락에서 본 연구에서도 영역 기반의 합성곱 방식 계열의 객체인식 (Object Detection) 방법을 사용한 인공지능 영상 처리 알고리즘에 대하여 논의하고자 한다. 도로 노면 파손 객체 인식 성능을 향상시키기 위하여 도로 노면 파손 영상 600여 장과 일반적인 도로 주행 영상 1500여 장으로 학습 데이터베이스를 구성하였다. 또한 배경 객체 인식 방법을 적용한 지도 학습을 수행하여 도로 노면 파손의 오탐을 감소시켰다. 그 결과 동일한 테스트용 데이터베이스를 통해 알고리즘의 인식 성능을 mAP 평균값 기준 9.44%만큼 향상시킨 새로운 방법을 소개하고자 한다.

• 한국측량학회지
• /
• 제38권4호
• /
• pp.363-373
• /
• 2020

정사영상 생성을 위한 많은 연구들이 진행되어 왔다. 기존의 방법은 정사영상을 제작할 경우, 폐색지역을 탐지하고 복원하기 위해 항공영상의 외부표정요소와 정밀 3D 객체 모델링 데이터가 필요하며, 일련의 복잡한 과정을 자동화하는 것은 어렵다. 본 논문에서는 기존의 방법에서 탈피하여 딥러닝(DL)을 이용하여 엄밀정사영상을 제작하는 새로운 방법을 제안하였다. 딥러닝은 여러 분야에서 더욱 급속하게 활용되고 있으며, 최근 생성적 적대 신경망(GAN)은 영상처리 및 컴퓨터비전 분야에서 많은 관심의 대상이다. GAN을 구성하는 생성망은 실제 영상과 유사한 결과가 생성되도록 학습을 수행하고, 판별망은 생성망의 결과가 실제 영상으로 판단될 때까지 반복적으로 수행한다. 본 논문에서 독일 사진측량, 원격탐사 및 공간정보학회(DGPF)가 구축하고 국제 사진측량 및 원격탐사학회(ISPRS)가 제공하는 데이터 셋 중에서 라이다 반사강도 데이터와 적외선 정사영상을 GAN기반의 Pix2Pix 모델 학습에 사용하여 엄밀정사영상을 생성하는 두 가지 방법을 제안하였다. 첫 번째 방법은 라이다 반사강도영상을 입력하고 고해상도의 정사영상을 목적영상으로 사용하여 학습하는 방식이고, 두 번째 방법에서도 입력영상은 첫 번째 방법과 같이 라이다 반사강도영상이지만 목적영상은 라이다 점군집 데이터에 칼라를 지정한 저해상도의 영상을 이용하여 재귀적으로 학습하여 점진적으로 화질을 개선하는 방법이다. 두 가지 방법으로 생성된 정사영상을 FID(Fréchet Inception Distance)를 이용하여 정량적 수치로 비교하면 큰 차이는 없었지만, 입력영상과 목적영상의 품질이 유사할수록, 학습 수행 시 epoch를 증가시키면 우수한 결과를 얻을 수 있었다. 본 논문은 딥러닝으로 엄밀정사영상 생성 가능성을 확인하기 위한 초기단계의 실험적 연구로서 향후 보완 및 개선할 사항을 파악할 수 있었다.

• 한국융합학회논문지
• /
• 제7권4호
• /
• pp.123-131
• /
• 2016

본 연구는 2016 구글 딥마인드 챌린지 매치에서 최고 수준의 딥러닝 인공신경망을 갖고 있는 인공지능 알파고와 인간지능의 대표로 상징되는 바둑 최고수의 대국 분석 및 문헌 연구로 인공지능 시대에 적합한 학습자의 역량 교육에 대해 논의했다. 알파고는 지금까지 알려져 있는 바둑의 정석과 상식을 넘어서는 새로운 바둑의 패러다임을 보여주는 기발한 수를 두었고, 이세돌은 알파고도 생각하지 못한 '신의 한 수' 로 인공지능 수퍼 컴퓨터를 이길 수 있었다. 이는 인간의 집념과 도전, 인간 본성의 통찰과 직관의 승리였다. 인공지능 시대에 기계를 조정하고 통제할 수 있는 학습자 역량을 기르기 위한 융합과학 교육은 자연으로부터의 감성적 체험과 토포필리아 교육으로 인공지능이 갖지 못한 인간 본성의 다채로운 감성과 통찰, 긍정적 정서를 함양시킬 수 있는 방향이어야 한다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.672-684
• /
• 2020

시차 기반 영상처리에 대한 연구들이 증가함에 따라 저해상도 및 모션 블러된 라이트필드 영상을 복원하는 연구는 필수적이 되었다. 이러한 기법들은 라이트필드 영상 향상 과정으로 알려져 있으나 두 개 이상의 문제를 동시에 해결하는 기존의 연구는 거의 존재하지 않는다. 본 논문에서는 라이트필드 공간 영역 초해상도 복원과 모션 블러 제거를 동시 수행하는 프레임워크를 제안한다. 특히, 저해상도 및 6-DOF 모션 블러된 라이트필드 데이터셋으로 훈련하는 간단한 네트워크를 생성한다. 또한 성능을 향상하기 위해 생성적 적대 신경망의 지역 영역 최적화 기법을 제안하였다. 제안한 프레임워크는 정량적, 정성적 측정을 통해 평가하고 기존의 state-of-the-art 기법들과 비교하여 우수한 성능을 나타냄을 보인다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권12호
• /
• pp.4420-4438
• /
• 2021

Image dehazing is an ill-posed problem which is far from being solved. Traditional image dehazing methods often yield mediocre effects and possess substandard processing speed, while modern deep learning methods perform best only in certain datasets. The haze removal effect when processed by said methods is unsatisfactory, meaning the generalization performance fails to meet the requirements. Concurrently, due to the limited processing speed, most dehazing algorithms cannot be employed in the industry. To alleviate said problems, a lightweight fast dehazing network based on a multiple scale-patch framework (MSP) is proposed in the present paper. Firstly, the multi-scale structure is employed as the backbone network and the multi-patch structure as the supplementary network. Dehazing through a single network causes problems, such as loss of object details and color in some image areas, the multi-patch structure was employed for MSP as an information supplement. In the algorithm image processing module, the image is segmented up and down for processed separately. Secondly, MSP generates a clear dehazing effect and significant robustness when targeting real-world homogeneous and nonhomogeneous hazy maps and different datasets. Compared with existing dehazing methods, MSP demonstrated a fast inference speed and the feasibility of real-time processing. The overall size and model parameters of the entire dehazing model are 20.75M and 6.8M, and the processing time for the single image is 0.026s. Experiments on NTIRE 2018 and NTIRE 2020 demonstrate that MSP can achieve superior performance among the state-of-the-art methods, such as PSNR, SSIM, LPIPS, and individual subjective evaluation.

• 대한임베디드공학회논문지
• /
• 제18권3호
• /
• pp.89-100
• /
• 2023

Recently, on-device artificial intelligence (AI) solutions using mobile devices and embedded edge devices have emerged in various fields, such as computer vision, to address network traffic burdens, low-energy operations, and security problems. Although vision transformer deep learning models have outperformed conventional convolutional neural network (CNN) models in computer vision, they require more computations and parameters than CNN models. Thus, they are not directly applicable to embedded edge devices with limited hardware resources. Many researchers have proposed various model compression methods or lightweight architectures for vision transformers; however, there are only a few studies evaluating the effects of model compression techniques of vision transformers on performance. Regarding this problem, this paper presents a performance evaluation of vision transformers on embedded platforms. We investigated the behaviors of three vision transformers: DeiT, LeViT, and MobileViT. Each model performance was evaluated by accuracy and inference time on edge devices using the ImageNet dataset. We assessed the effects of the quantization method applied to the models on latency enhancement and accuracy degradation by profiling the proportion of response time occupied by major operations. In addition, we evaluated the performance of each model on GPU and EdgeTPU-based edge devices. In our experimental results, LeViT showed the best performance in CPU-based edge devices, and DeiT-small showed the highest performance improvement in GPU-based edge devices. In addition, only MobileViT models showed performance improvement on EdgeTPU. Summarizing the analysis results through profiling, the degree of performance improvement of each vision transformer model was highly dependent on the proportion of parts that could be optimized in the target edge device. In summary, to apply vision transformers to on-device AI solutions, either proper operation composition and optimizations specific to target edge devices must be considered.

• 디지털정책학회지
• /
• 제2권3호
• /
• pp.1-7
• /
• 2023

본 논문은 단일 영상을 이용하여 초해상도 방법을 수행하기 위해 질감-공간 영역을 분리한 뒤 세부정보를 중심으로 특징을 분류하는 방법을 제안한다. CNN(Convolutional Neural Network) 기반의 초해상도는 세부정보를 개선하기 위한 특징 추정 과정에서의 복잡한 절차와 중복된 특징 정보의 생성으로 인해 초해상도에서 가장 중요한 기준인 품질 저하가 발생할 수 있다. 제안하는 방법은 절차적 복잡성을 줄이고 중복 특징 정보의 생성을 최소화하여 초해상도 결과의 품질을 개선하기 위해 입력 영상을 질감과 공간의 두 채널로 분리하였다. 질감 채널에서는 세부정보 복원을 위해 다중스케일로 변환한 영상에 단계별 skip-connection을 적용한 잔차 블록 구조를 적용하여 특징 정제 과정을 수행함으로써 특징 추출을 개선하였고, 공간 채널에서는 평활화된 형태의 특징을 활용하여 잡음을 제거하고 구조적 특징을 유지하도록 하였다. 제안하는 방법을 이용해 실험한 결과 기존 초해상도 방법대비 PSNR 및 SSIM 성능 평가에서 향상된 결과를 보여 품질이 개선됨을 확인할 수 있었다.