• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권11호
• /
• pp.549-554
• /
• 2016

컨셉넷은 일반상식을 노드(개념)와 에지(관계)로 표현해 놓은 그래프 형태의 지식 베이스이다. 완전한 지식 베이스를 구축하는 것은 매우 어려운 문제이기 때문에 지식 베이스는 미완결된 형태의 데이터를 담고 있는 경우가 많다. 불완전한 지식을 담고 있는 지식 베이스로부터의 추론 결과는 신뢰하기 어렵기 때문에 지식의 완결성을 높이기 위한 방법이 필요하다. 본 논문에서는 신경 텐서망을 이용하여 컨셉넷의 지식 미완결성 문제를 완화해 보고자 한다. 컨셉넷에서 추출한 사실주장(assertion)을 이용하여 신경 텐서망을 학습시킨다. 학습된 신경 텐서망은 두 개의 개념 정보를 입력으로 받고, 그 두 개념이 특정 관계로 연결될 수 있는지를 나타내는 점수값을 출력한다. 이와 같이 신경 텐서망은 노드들의 연결 차수(degree)를 높여, 컨셉넷의 완결성을 증대시킬 수 있다. 본 연구에서 학습시킨 신경 텐서망은 평가데이터에 대해서 약 87.7%의 정확도를 보였다. 또한 컨셉넷에 연결이 없는 노드 쌍에 대하여 85.01%의 정확도로 새로운 관계를 예측할 수 있었다.

• International Journal of Computer Science & Network Security
• /
• 제22권10호
• /
• pp.237-245
• /
• 2022

The prominence of IoTs (Internet of Things) and exponential advancement of computer networks has resulted in massive essential applications. Recognizing various cyber-attacks or anomalies in networks and establishing effective intrusion recognition systems are becoming increasingly vital to current security. MLTs (Machine Learning Techniques) can be developed for such data-driven intelligent recognition systems. Researchers have employed a TFDNNs (Tensor Flow Deep Neural Networks) and DCNNs (Deep Convolution Neural Networks) to recognize pirated software and malwares efficiently. However, tuning the amount of neurons in multiple layers with activation functions leads to learning error rates, degrading classifier's reliability. HTFDNNs ( Hybrid tensor flow DNNs) and MRNs (Modified Residual Networks) or Resnet CNNs were presented to recognize software piracy and malwares. This study proposes HTFDNNs to identify stolen software starting with plagiarized source codes. This work uses Tokens and weights for filtering noises while focusing on token's for identifying source code thefts. DLTs (Deep learning techniques) are then used to detect plagiarized sources. Data from Google Code Jam is used for finding software piracy. MRNs visualize colour images for identifying harms in networks using IoTs. Malware samples of Maling dataset is used for tests in this work.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.3-13
• /
• 2018

자동문서분류(Text Classification)는 주어진 텍스트 문서를 이에 적합한 카테고리로 분류하는 텍스트 마이닝 기술 중의 하나로서 스팸메일 탐지, 뉴스분류, 자동응답, 감성분석, 쳇봇 등 다양한 분야에 활용되고 있다. 일반적으로 자동문서분류 시스템은 기계학습 알고리즘을 활용하며, 이 중에서 텍스트 데이터에 적합한 알고리즘인 나이브베이즈(Naive Bayes), 지지벡터머신(Support Vector Machine) 등이 합리적 수준의 성능을 보이는 것으로 알려져 있다. 최근 딥러닝 기술의 발전에 따라 자동문서분류 시스템의 성능을 개선하기 위해 순환신경망(Recurrent Neural Network)과 콘볼루션 신경망(Convolutional Neural Network)을 적용하는 연구가 소개되고 있다. 그러나 이러한 최신 기법들이 아직 완벽한 수준의 문서분류에는 미치지 못하고 있다. 본 논문은 그 이유가 텍스트 데이터가 단어 차원 중심의 벡터로 표현되어 텍스트에 내재한 의미 정보를 훼손하는데 주목하고, 선행 연구에서 그 효능이 검증된 시멘틱 텐서공간모델에 기반하여 심층 신경망 아키텍처를 제안하고 이를 활용한 문서분류기의 성능이 대폭 상승함을 보인다.

• ETRI Journal
• /
• 제40권4호
• /
• pp.421-434
• /
• 2018

The application of deep neural networks (DNNs) to connect the world with cyber physical systems (CPSs) has attracted much attention. However, DNNs require a large amount of memory and computational cost, which hinders their use in the relatively low-end smart devices that are widely used in CPSs. In this paper, we aim to determine whether DNNs can be efficiently deployed and operated in low-end smart devices. To do this, we develop a method to reduce the memory requirement of DNNs and increase the inference speed, while maintaining the performance (for example, accuracy) close to the original level. The parameters of DNNs are decomposed using a hybrid of canonical polyadic-singular value decomposition, approximated using a tensor power method, and fine-tuned by performing iterative one-shot hybrid fine-tuning to recover from a decreased accuracy. In this study, we evaluate our method on frequently used networks. We also present results from extensive experiments on the effects of several fine-tuning methods, the importance of iterative fine-tuning, and decomposition techniques. We demonstrate the effectiveness of the proposed method by deploying compressed networks in smartphones.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제8권4호
• /
• pp.79-86
• /
• 2019

본 논문에서 인공 신경망을 이용한 시계열 데이터 예측 사례에 대해 서술한다. 본 연구에서는 텐서 플로우 라이브러리를 사용하여 배치 기반의 인공 신경망과 스타케스틱 기반의 인공신경망을 구현하였다. 실험을 통해, 구현된 각 신경망에 대해 훈련 에러와 시험에러를 측정하였다. 신경망 훈련과 시험을 위해서 미국의 인디아나주의 공식 웹사이트로부터 8개월간 수집된 세금 데이터를 사용하였다. 실험 결과, 배치 기반의 신경망 기법이 스타케스틱 기법보다 좋은 성능을 보였다. 또한, 좋은 성능을 보인 배치 기반의 신경망을 이용하여 약 7개월 간 종합 세수 예측을 수행하고 예측된 결과와 실제 데이터를 수집하여 비교 실험을 진행 하였다. 실험 결과, 예측된 종합 세수 금액 결과가 실제값과 거의 유사하게 측정되었다.

• 수산해양기술연구
• /
• 제58권3호
• /
• pp.272-280
• /
• 2022

The first step is to determine the principal dimensions of the design ship, such as length between perpendiculars, beam, draft and depth when accomplishing the design of a new vessel. To make this process easier, a database with a large amount of existing ship data and a regression analysis technique are needed. Recently, deep learning, a branch of artificial intelligence (AI) has been used in regression analysis. In this paper, deep learning neural networks are used for regression analysis to find the regression function between the input and output data. To find the neural network structure with the highest accuracy, the errors of neural network structures with varying the number of the layers and the nodes are compared. In this paper, Python TensorFlow Keras API and MATLAB Deep Learning Toolbox are used to build deep learning neural networks. Constructed DNN (deep neural networks) makes helpful in determining the principal dimension of the ship and saves much time in the ship design process.

• 문화기술의 융합
• /
• 제9권4호
• /
• pp.487-494
• /
• 2023

본 연구에서는 무료 딥러닝 도구인 R과 텐서플로우에 대한 성능 비교를 수행하였다. 실험에서는 각 도구를 사용하여 6종류의 심층 신경망을 구축하고 10년간의 한국 온도 데이터셋을 사용하여 신경망을 학습시켰다. 구축된 신경망의 입력층 노드 갯수는 10개, 출력층은 5개로 설정 하였으며, 은닉층은 5, 10, 20개로 설정하여 실험을 진행 하였다. 학습 데이터는 2013년 3월 1일부터 2023년 3월 29일까지 서울시 강남구에서 수집된 온도 데이터 3681건을 사용하였다. 성능 비교를 위해, 학습된 신경망을 사용하여, 5일간의 온도를 예측하고 예측된 값과 실제값을 사용하여 평균 제곱근 오차(root mean square error, RMSE)값을 측정하였다. 실험결과, 은닉층이 1개인 경우, R의 학습 오차는 0.04731176이었으며, 텐서플로우는 0.06677193으로 측정되었으며, 은닉층이 2개인 경우에는 R이 0.04782134, 텐서플로 우는 0.05799060로 측정되었다. 전체적으로 R이 더 우수한 성능을 보였다. 우리는 기계학습을 처음 접하는 사용자들에게 두 도구에 대한 정량적 성능 정보를 제공함으로써, 도구 선택에서 발생하는 어려움을 해소하고자 하였다.

• 한국정보기술학회논문지
• /
• 제16권11호
• /
• pp.85-95
• /
• 2018

스마트폰의 보급이 확산되고 대중화됨에 따라 대부분의 사람들은 사진을 촬영하기 위해 모바일 카메라를 애용하고 있다. 하지만 저조도 환경에서 사진을 촬영할 때 광량이 부족한 이유로 원치 않는 잡음이 발생할 수 있다. 이런 잡음을 제거하기 위해, 최근 심층 합성곱 신경망에 기반한 잡음 제거 기법이 제안되었다. 이 기법은 성능 측면에서 큰 진전을 보였을지라도 여전히 텍스처 및 에지 표현 능력이 부족하다. 따라서 본 논문에서는 영상의 구조를 향상시키기 위해 에지의 방향 정보를 나타내는 호그 영상을 활용하고자 한다. 그리고 잡음 영상과 호그 영상을 스택으로 쌓은 후, 입력 텐서를 형성하여 심층 합성곱 신경망을 학습시키는 기법을 제안하고자 한다. 실험 결과를 통해, 제안한 기법은 기존의 기법보다 정량적인 화질 평가에서 더 우수한 결과를 얻을 수 있었으며 시각적인 측면에서도 텍스처 및 에지의 향상을 달성할 수 있었다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권7호
• /
• pp.440-445
• /
• 2017

전자상거래 발전에 따라 온라인 쇼핑을 이용하는 사람들이 증가하였고 제품 또한 다양해지고 있다. 이러한 추세로 구매자가 만족할 수 있는 정확한 추천시스템의 중요성이 증대되었으며 정확도를 높이기 위한 새로운 방법의 연구가 계속되고 있다. 순환신경망은 시퀀스 학습에 적합한 딥 러닝 방법 중 하나이며 본 연구에서는 추천시스템의 정확도를 높이는 방법으로 구매자의 제품 접근순서를 순환신경망에 적용하여 알고리즘 성능평가를 하였다. 알고리즘 성능평가에는 대표적인 순환신경망 알고리즘과 최적화 알고리즘으로 진행하였다. 순환신경망 알고리즘으로는 RNN, LSTM, GRU 그리고 최적화 알고리즘으로는 Adagrad, RMSProp, Adam optimizer를 사용하였다. 실험 도구로는 구글의 오픈소스 라이브러리인 텐서플로우를 사용하였고 데이터는 RecSys Challenge 2015에서 제공하는 e-commerce session 데이터를 활용하였다. 실험 결과 실험 데이터에 적합한 최적의 하이퍼파라미터를 발굴하고 적용하여 RecSys Challenge 2015 참가자들의 결과와 비교하였다. 상품 접근 순서만을 학습시킨 결과이기 때문에 등수가 높지는 않았지만 기존 추천시스템에 접목한다면 정확도 향상에 기여할 수 있을 것으로 보인다.

• 전자통신동향분석
• /
• 제33권4호
• /
• pp.14-22
• /
• 2018

Deep neural networks (DNNs) are widely used in various domains such as speech and image recognition. DNN software frameworks such as Tensorflow and Caffe contributed to the popularity of DNN because of their easy programming environment. In addition, many companies are developing neuromorphic processing units (NPU) such as Tensor Processing Units (TPUs) and Graphical Processing Units (GPUs) to improve the performance of DNN processing. However, there is a large gap between NPUs and DNN software frameworks due to the lack of framework support for various NPUs. A bridge for the gap is a DNN software platform including DNN optimized compilers and DNN libraries. In this paper, we review the technical trends of DNN software platforms.