• 제목/요약/키워드: Neural Network Language Model

검색결과 170건 처리시간 0.022초

Dialog-based multi-item recommendation using automatic evaluation

  • Euisok Chung;Hyun Woo Kim;Byunghyun Yoo;Ran Han;Jeongmin Yang;Hwa Jeon Song
    • ETRI Journal
    • /
    • 제46권2호
    • /
    • pp.277-289
    • /
    • 2024
  • In this paper, we describe a neural network-based application that recommends multiple items using dialog context input and simultaneously outputs a response sentence. Further, we describe a multi-item recommendation by specifying it as a set of clothing recommendations. For this, a multimodal fusion approach that can process both cloth-related text and images is required. We also examine achieving the requirements of downstream models using a pretrained language model. Moreover, we propose a gate-based multimodal fusion and multiprompt learning based on a pretrained language model. Specifically, we propose an automatic evaluation technique to solve the one-to-many mapping problem of multi-item recommendations. A fashion-domain multimodal dataset based on Koreans is constructed and tested. Various experimental environment settings are verified using an automatic evaluation method. The results show that our proposed method can be used to obtain confidence scores for multi-item recommendation results, which is different from traditional accuracy evaluation.

Doc2Vec을 활용한 CNN기반 한국어 신문기사 분류에 관한 연구 (A Study on Categorization of Korean News Article based on CNN using Doc2Vec)

  • 김도우;구명완
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.67-71
    • /
    • 2016
  • 본 논문에서는 word2vec과 doc2vec을 함께 CNN에 적용한 문서 분류 방안을 제안한다. 먼저 어절, 형태소, WPM(Word Piece Model)을 각각 사용하여 생성한 토큰(token)으로 doc2vec을 활용하여 문서를 vector로 표현한 후, 초보적인 문서 분류에 적용한 결과 WPM이 분류율 79.5%가 되어 3가지 방법 중 최고 성능을 보였다. 다음으로 CNN의 입력자질로써 WPM을 이용하여 생성한 토큰을 활용한 word2vec을 범주 10개의 문서 분류에 사용한 실험과 doc2vec을 함께 사용한 실험을 수행하였다. 실험 결과 word2vec만을 활용하였을 때 86.89%의 분류율을 얻었고, doc2vec을 함께 적용한 결과 89.51%의 분류율을 얻었다. 따라서 제안한 모델을 통해서 분류율이 2.62% 향상됨을 확인하였다.

  • PDF

DCS에 퍼지제어 알고리즘 구현방법에 관한 연구 (A Study on Realization method of Fuzzy Control Algorithm for DCS)

  • 허윤기;변증남
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1995년도 하계학술대회 논문집 B
    • /
    • pp.995-998
    • /
    • 1995
  • As the modern industrial processes become more complex, it is getting more difficult to model and control the processes. Naturally, an advanced type of DCS(Distributed Control System) with higher level functions is being sought Advanced DCS is a DCS with advanced functions such as fault diagnosis, GPC(Generalized Predictive Control), NN(Neural Network), and Fuzzy Control. In this thesis, we have studied a fuzzy control algorithm for realizing an advanced DCS. Its algorithm is implemented in a form of function code which is a process control language, being used by the industrial engineers. To verify the realized function code of the fuzzy control, the function code is applied to a continuous casting process of the Pohang Iron & Steel Works in Kwangyang. The rules of the fuzzy control were collected via interviews of the field operators and their operation documents. Finally, usability of the function code of the fuzzy control is shown via simulation for the continuous casting process model.

  • PDF

인공지능 기반의 말더듬 자동분류 방법: 합성곱신경망(CNN) 활용 (AI-based stuttering automatic classification method: Using a convolutional neural network)

  • 박진;이창균
    • 말소리와 음성과학
    • /
    • 제15권4호
    • /
    • pp.71-80
    • /
    • 2023
  • 본 연구는 말더듬 화자들의 음성 데이터를 기반으로 하여, 인공지능 기술을 활용한 말더듬 자동 식별 방법을 개발하는 것을 주목적으로 진행되었다. 특히, 한국어를 모국어로 하는 말더듬 화자들을 대상으로 CNN(convolutional neural network) 알고리즘을 활용한 식별기 모델을 개발하고자 하였다. 이를 위해 말더듬 성인 9명과 정상화자 9명을 대상으로 음성 데이터를 수집하고, Google Cloud STT(Speech-To-Text)를 활용하여 어절 단위로 자동 분할한 후 유창, 막힘, 연장, 반복 등의 라벨을 부여하였다. 또한 MFCCs(mel frequency cepstral coefficients)를 추출하여 CNN 알고리즘을 기반한 말더듬 자동 식별기 모델을 수립하고자 하였다. 연장의 경우 수집결과가 5건으로 나타나 식별기 모델에서 제외하였다. 검증 결과, 정확도는 0.96으로 나타났고, 분류성능인 F1-score는 '유창'은 1.00, '막힘'은 0.67, '반복'은 0.74로 나타났다. CNN 알고리즘을 기반한 말더듬 자동분류 식별기의 효과를 확인하였으나, 막힘 및 반복유형에서는 성능이 미흡한 것으로 나타났다. 향후 말더듬의 유형별 충분한 데이터 수집을 통해 추가적인 성능 검증이 필요함을 확인하였다. 향후 말더듬 화자의 발화 빅데이터 확보를 통해 보다 신뢰성 있는 말더듬 자동 식별 기술의 개발과 함께 이를 통한 좀 더 고도화된 평가 및 중재 관련 서비스가 창출되기를 기대해 본다.

한글 음소 단위 딥러닝 모형을 이용한 감성분석 (Sentiment Analysis Using Deep Learning Model based on Phoneme-level Korean)

  • 이재준;권순범;안성만
    • 한국IT서비스학회지
    • /
    • 제17권1호
    • /
    • pp.79-89
    • /
    • 2018
  • Sentiment analysis is a technique of text mining that extracts feelings of the person who wrote the sentence like movie review. The preliminary researches of sentiment analysis identify sentiments by using the dictionary which contains negative and positive words collected in advance. As researches on deep learning are actively carried out, sentiment analysis using deep learning model with morpheme or word unit has been done. However, this model has disadvantages in that the word dictionary varies according to the domain and the number of morphemes or words gets relatively larger than that of phonemes. Therefore, the size of the dictionary becomes large and the complexity of the model increases accordingly. We construct a sentiment analysis model using recurrent neural network by dividing input data into phoneme-level which is smaller than morpheme-level. To verify the performance, we use 30,000 movie reviews from the Korean biggest portal, Naver. Morpheme-level sentiment analysis model is also implemented and compared. As a result, the phoneme-level sentiment analysis model is superior to that of the morpheme-level, and in particular, the phoneme-level model using LSTM performs better than that of using GRU model. It is expected that Korean text processing based on a phoneme-level model can be applied to various text mining and language models.

FMM 신경망에서 연관도요소를 이용한 규칙 추출 기법 (A Rule Extraction Method Using Relevance Factor for FMM Neural Networks)

  • 이승강;이재혁;김호준
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권5호
    • /
    • pp.341-346
    • /
    • 2013
  • 본 연구에서는 수정된 구조의 FMM 신경망으로부터 패턴 인식을 위한 규칙 추출 방법을 제안한다. 제안된 방법은 학습데이터에서 특징값에 대한 빈도 요소를 반영하는 하이퍼박스 정의를 기반으로 하는데, 이로부터 특징과 패턴클래스 간의 상호 연관도 요소를 정의 하였다. 이는 기존의 모델에서 사용되는 하이퍼박스 중첩테스트 및 축소(contraction) 기법을 사용하지 않아도 하이퍼박스의 중첩에 의한 분류의 모호성을 해결할 수 있게 한다. 본 연구에서는 패턴 클래스의 각 차원별로 퍼지 분할을 기반으로 하는 수정된 하이퍼박스 멤버쉽 함수와 이를 사용하는 학습방법을 제시한다. 제안된 기법으로부터 특정패턴의 분류를 위한 자극성(excitatory) 특징 및 억제성(inhibitory) 특징을 구분하고 이들 정보는 규칙 생성과정에 적용된다. 수화 인식에 관한 실험에 제안된 방법론을 적용함으로써 제안된 이론의 타당성을 실험적으로 고찰하였다.

CNN 기반 감성 변화 패턴을 이용한 가짜뉴스 탐지 (Fake News Detection Using CNN-based Sentiment Change Patterns)

  • 이태원;박지수;손진곤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권4호
    • /
    • pp.179-188
    • /
    • 2023
  • 최근 가짜뉴스는 뉴스 콘텐츠 형식을 가장하고 중요한 사건이 발생할 때마다 등장하여 사회적 혼란을 초래한다. 이에 가짜뉴스를 탐지하기 위한 연구로 인공지능 기술이 사용된다. 자연어 처리를 통해 가짜뉴스를 자동으로 인지 및 차단하거나, 네트워크 인과 추론과 결합함으로써 허위 정보를 확산시키는 소셜미디어 인플루언스 계정을 감지하는 등의 가짜뉴스 탐지 접근법이 딥러닝을 통해 구현될 수 있었다. 그러나 가짜뉴스 탐지는 여러 자연어 처리 분야 중에서도 해결이 어려운 문제로 분류된다. 가짜뉴스가 가지는 형식 및 표현의 다양성으로 특성 추출의 난도가 높고, 뉴스가 속한 범주에 따라 하나의 특성이 서로 다른 의미를 가질 수도 있는 등 다양한 한계점이 존재한다. 본 논문에서는 가짜뉴스를 탐지하기 위한 추가적인 식별 기준으로 감성 변화 패턴을 제시한다. 합성곱 신경망을 가짜뉴스 데이터 세트에 적용하여 콘텐츠 특성에 기반한 분석을 수행하고, 감성 변화 패턴을 추가로 분석함으로써 성능이 개선된 모델을 제안한다. 뉴스를 구성하는 문장에 대하여 감성 극성을 산출하고 장단기 메모리를 적용함으로써 문장 순서에 의존적인 결괏값을 얻을 수 있다. 이를 감성 변화의 패턴으로 정의하고 뉴스의 콘텐츠 특성과 결합하여 가짜뉴스 탐지를 위한 제안 모델의 독립변수로 활용한다. 제안 모델과 비교 모델을 딥러닝으로 학습시키고 가짜뉴스 데이터 세트를 이용한 실험을 진행하여 감성 변화 패턴이 가짜뉴스 탐지 성능을 개선할 수 있음을 확인한다.

압축강도 기반의 콘크리트 품질관리를 위한 웹 전산모델 개발 (Numerical Web Model for Quality Management of Concrete based on Compressive Strength)

  • 이군재;김학영;이혜진;황승현;양근혁
    • 한국건축시공학회지
    • /
    • 제21권3호
    • /
    • pp.195-202
    • /
    • 2021
  • 콘크리트의 품질관리는 주로 압축강도의 예측과 제어를 뜻한다. 이를 위해 관련 업계에서는 콘크리트 배합설계 및 재령별 강도에 관한 상당수의 데이터베이스를 구축하고 있으나, 기술유출 등의 이유로 공유되지 못해 결과적으로 품질관리를 위한 비용과 노력은 과도하게 낭비되고 있다. 본 연구에서는 웹 기반 전산모델 프로그램을 개발하여 사용자에게 콘크리트의 강도 예측 결과를 비롯한 다양한 최적 값을 제시하고, 사용자가 입력한 배합특성과 결과는 다시 DB로 수집될 수 있도록 유도하는 지속가능한 DB 수집 시스템을 구축한다. 해당 프로그램은 콘크리트 관련 전반적 기술을 다루고 있으며, 특히 압축강도의 예측은 다수의 DB를 기반으로 모델링된 인공신경망 기법을 적용하여 평균 89.2% 수준의 정확도에서 예측 값을 제공한다.

회선 신경망을 활용한 자모 단위 한국형 감성 분석 모델 개발 및 검증 (Development and Validation of the Letter-unit based Korean Sentimental Analysis Model Using Convolution Neural Network)

  • 성원경;안재영;이중정
    • 한국전자거래학회지
    • /
    • 제25권1호
    • /
    • pp.13-33
    • /
    • 2020
  • 본 연구는 자모 단위의 임베딩과 회선 신경망을 활용한 한국어 감성 분석 알고리즘을 제안한다. 감성 분석은 텍스트에서 나타난 사람의 태도, 의견, 성향과 같은 주관적인 데이터 분석을 위한 자연어 처리 기술이다. 최근 한국어 감성 분석을 위한 연구는 꾸준히 증가하고 있지만, 범용 감성 사전을 사용하지 못하고 각 분야에서 자체적인 감성 사전을 구축하여 사용하고 있다. 이와 같은 현상의 문제는 한국어 특성에 맞지 않게 형태소 분석을 수행한다는 것이다. 따라서 본 연구에서는 감성 분석 절차 중 형태소 분석을 배제하고 초성, 중성, 종성을 기반으로 음절 벡터를 생성하여 감성 분석을 하는 모델을 개발하였다. 그 결과 단어 학습 문제와 미등록 단어의 문제점을 최소화할 수 있었고 모델의 정확도는 88% 나타내었다. 해당 모델은 입력 데이터의 비 정형성에 대한 영향을 적게 받으며, 텍스트의 맥락에 따른 극성 분류가 가능하게 되었다. 한국어 특성을 고려하여 개발된 본 모델이 한국어 감성 분석을 수행하고자 하는 비전문가에게 보다 쉽게 이용될 수 있기를 기대한다.

퍼지와 인공 신경망을 이용한 침입탐지시스템의 탐지 성능 비교 연구 (Comparison of Detection Performance of Intrusion Detection System Using Fuzzy and Artificial Neural Network)

  • 양은목;이학재;서창호
    • 디지털융복합연구
    • /
    • 제15권6호
    • /
    • pp.391-398
    • /
    • 2017
  • 본 논문에서는 "퍼지 컨트롤 언어를 이용한 공격 특징 선택기반 네트워크 침입탐지 시스템"[1]과 "RNN을 이용한 공격 분류를 위한 지능형 침입탐지 시스템 모델"[2]의 성능을 비교 하였다. 이 논문에서는 KDD CUP 99 데이터 셋[3]을 이용하여 두 기법의 침입 탐지 성능을 비교하였다. KDD CUP 99 데이터 셋에는 훈련을 위한 데이터 셋과 훈련을 통해 기존의 침입을 탐지 할 수 있는 테스트 데이터 셋이 있다. 또한 훈련 데이터 및 테스트 데이터에 존재 하지 않는 침입의 유형을 탐지할 수 있는가를 테스트 할 수 있는 데이터도 존재한다. 훈련 및 테스트 데이터에서 좋은 침입탐지 성능을 보이는 두 개의 논문을 비교하였다. 비교한 결과 존재하는 침입을 탐지 하는 성능은 우수하지만 기존에 존재하지 않는 침입을 탐지 하는 성능은 부족한 부분이 있다. 공격 유형 중 DoS, Probe, R2L는 퍼지를 이용하는 것이 탐지율이 높았고, U2L은 RNN을 이용하는 것이 탐지율이 높았다.