• 제목/요약/키워드: BLEU

검색결과 71건 처리시간 0.028초

대한민국 정부의 코로나 19 브리핑을 기반으로 구축된 수어 데이터셋 연구 (Sign Language Dataset Built from S. Korean Government Briefing on COVID-19)

  • 심호현;성호렬;이승재;조현중
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권8호
    • /
    • pp.325-330
    • /
    • 2022
  • 본 논문은 한국 수어에 대하여 수어 인식, 수어 번역, 수어 영상 시분할과 같은 수어에 관한 딥러닝 연구를 위한 데이터셋의 수집 및 실험을 진행하였다. 수어 연구를 위한 어려움은 2가지로 볼 수 있다. 첫째, 손의 움직임과 손의 방향, 표정 등의 종합적인 정보를 가지는 수어의 특성에 따른 인식의 어려움이 있다. 둘째, 딥러닝 연구를 진행하기 위한 학습데이터의 절대적 부재이다. 현재 알려진 문장 단위의 한국 수어 데이터셋은 KETI 데이터셋이 유일하다. 해외의 수어 딥러닝 연구를 위한 데이터셋은 Isolated 수어와 Continuous 수어 두 가지로 분류되어 수집되며 시간이 지날수록 더 많은 양의 수어 데이터가 수집되고 있다. 하지만 이러한 해외의 수어 데이터셋도 방대한 데이터셋을 필요로 하는 딥러닝 연구를 위해서는 부족한 상황이다. 본 연구에서는 한국 수어 딥러닝 연구를 진행하기 위한 대규모의 한국어-수어 데이터셋을 수집을 시도하였으며 베이스라인 모델을 이용하여 수어 번역 모델의 성능 평가 실험을 진행하였다. 본 논문을 위해 수집된 데이터셋은 총 11,402개의 영상과 텍스트로 구성되었다. 이를 이용하여 학습을 진행할 베이스라인 모델로는 수어 번역 분야에서 SOTA의 성능을 가지고 있는 TSPNet 모델을 이용하였다. 본 논문의 실험에서 수집된 데이터셋에 대한 특성을 정량적으로 보이고, 베이스라인 모델의 실험 결과로는 BLEU-4 score 3.63을 보였다. 또한, 향후 연구에서 보다 정확하게 데이터셋을 수집할 수 있도록, 한국어-수어 데이터셋 수집에 있어서 고려할 점을 평가 결과에 대한 고찰로 제시한다.

기계번역 성능평가를 위한 핵심어 전달율 측정방안 (Evaluation Method of Machine Translation System)

  • 유초롱;이영직;박준
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.241-245
    • /
    • 2003
  • 본 논문은 기계번역 시스템의 성능평가를 위한 '핵심어 전달율 측정' 방안에 대해서 기술한다. 기계번역 시스템의 성능평가는 두 가지 측면으로 고려될 수 있다. 첫 번째는 객관적인 평가로 IBM에서 주창한 BLEU score 측정이나 NIST의 NIST score 측정이 그 예이다. 객관적인 평가는 평가자의 주관적인 판단이나 언어적인 특성을 배제한 방법으로 프로그램을 통해 자동으로 fluency와 adequacy를 측정하여 성능을 평가한다. 다음은 주관적인 평가이다. 주관적인 평가는 평가자의 평가를 통해 번역의 품질을 평가하는 방법이다. 주관적 평가 방법의 대표적인 것으로는 NESPOLE이나 LDC가 있다. 주관적인 평가는 평가자의 정확한 판단으로 신뢰할만한 성능평가 결과를 도출하지만, 시간과 비용이 많이 들고, 재사용할 수 없다는 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해, 번역대상 문장에서 핵심어를 추출하고, 그 핵심어가 기계번역 시스템의 수행결과에 전달된 정도를 자동으로 측정하는 새로운 평가방법인 '핵심어 전달율 측정' 방안을 제안한다. 이는 성능평가의 비용과 시간을 절약하고, 주관적 평가와 유사한 신뢰성 있는 평가결과를 얻을 수 있는 좋은 지표가 될 수 있을 것으로 기대한다.

  • PDF

한베 통계기계번역의 성능 향상을 위한 내포문 추출 및 복원 기법 (Embedded clause extraction and restoration for the performance enhancement in Korean-Vietnamese statistical machine translation)

  • 조승우;김영길;권홍석;이의현;이원기;조형미;이종혁
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.280-284
    • /
    • 2016
  • 본 논문에서는 기호로 둘러싸인 내포문이 포함된 문장의 번역 성능을 높이는 방법을 제안한다. 입력 문장에서 내포문을 추출하여 여러 문장으로 나타내고, 각각의 문장들을 번역한다. 그리고 번역된 문장들을 복원정보를 활용하여 최종 번역 문장을 생성한다. 이러한 방법론은 입력 문장의 길이를 줄여주며, 그로 인하여 문장 구조가 단순해져 번역 품질이 향상된다. 본 논문에서는 한국어-베트남어 통계 기반 번역기에 대하여 제안한 방법론을 적용하고 실험하였다. 그 결과 BLEU 점수가 약 1.5 향상된 것을 확인할 수 있었다.

  • PDF

생성적 적대적 신경망을 이용한 생성기반 멀티턴 챗봇 (Generative Multi-Turn Chatbot Using Generative Adversarial Network)

  • 김진태;김학수;권오욱;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.25-30
    • /
    • 2018
  • 기존의 검색 기반 챗봇 시스템과 다르게 생성 기반 챗봇 시스템은 사전에 정의된 응답에 의존하지 않고 채팅 말뭉치를 학습한 신경망 모델을 사용하여 응답을 생성한다. 생성 기반 챗봇 시스템이 사람과 같이 자연스러운 응답을 생성하려면 이전 문맥을 반영해야 할 필요가 있다. 기존 연구에서는 문맥을 반영하기 위해 이전 문맥과 입력 발화를 통합하여 하나의 벡터로 표현했다. 이러한 경우 이전 문맥과 입력 발화가 분리되어 있지 않아 이전 문맥이 필요하지 않는 경우 잡음으로 작용할 수 있다. 본 논문은 이러한 문제를 해결하기 위해 입력 발화와 이전 문맥을 각각의 벡터로 표현하는 방법을 제안한다. 또한 생성적 적대적 신경망을 통해 챗봇 시스템을 보강하는 방법을 제안한다. 채팅 말뭉치(55,000 개의 학습 데이터, 5,000개의 검증 데이터, 5,260 개의 평가 데이터)를 사용한 실험에서 제안한 문맥 반영 방법과 생성적 적대적 신경망을 통한 챗봇 시스템 보강 방법은 BLEU와 임베딩 기반 평가의 성능 향상에 도움을 주었다.

  • PDF

한국 발효 소스의 서양요리 적용에 대한 연구 - 고추장, 된장, 간장, 식초를 중심으로 - (Study on Korean Fermented Sauce applied to Western Cuisine - Focused on Red Pepper Paste, Soybean Paste, Soy Sauce and Vinegar -)

  • 김지형;유은이
    • 동아시아식생활학회지
    • /
    • 제27권2호
    • /
    • pp.223-234
    • /
    • 2017
  • The purpose of this study was to determine the possibilities of Korean fermented sauces including red pepper paste, soybean paste, soy sauce, and vinegar as ingredients for Western cuisine. Western cuisine professionals from US and Europe were interviewed for their experienced opinions. To classify the categories, the selected statements were given to other groups of foreign chefs, Korean cuisine professionals and students majoring culinary arts. The first category pointed out that Korean fermented sauces are healthy with 'umami' taste using only natural ingredients. They believe it has high possibilities of matching with many of other foods and also has unique tastes. Korean cuisine professionals were mostly occupied in this category. The second category had negative opinions matching with Western cuisines since Korean fermented sauces are rough and have a strong taste & smell. This category had many Western cuisine professionals. The last category was composed of mainly students majoring in culinary arts. They pointed out that Korean fermented sauces use natural ingredients and have a unique flavor with long-term shelf life. Use of Q methodology was significantly different from previous studies researched by quantitative methods especially for the Korea food service industry.

외식고객의 충성도 분류에 따른 관계편익 지각 차이에 대한 연구 (Customer Loyalty and Perception Differences in Relational Benefit: Focusing on Restaurant Industries)

  • 김형민;윤지영
    • 한국조리학회지
    • /
    • 제24권1호
    • /
    • pp.50-62
    • /
    • 2018
  • The purpose of this study was to overview the meaning of customer loyalty to segment customers based on their loyalty and to analyze the difference of loyal customers' perception of relational benefits in the restaurant industries. A self-administered questionnaire was distributed to 500 adults with dining experience at restaurants. Participants were given a brief description of loyalty and were made to choose a specific restaurant they felt loyal to and one with no loyalty. Attitudinal and behavioral loyalty were used in cluster analysis resulting 4 cluster groups. Each group was named true, spurious, latent, and low loyalty. After the groups were separated, ANOVA was used to see if the score of perceived relational benefit showed difference. All four relational benefit including social, psychological, economic, and customization benefit showed significant difference(p<.001). True loyal customers perceived relational benefit as the highest while low loyal customers showed the lowest. For latent and spurious loyal customers, it was found that latent loyal customers showed higher perception than spurious customers.

Understanding recurrent neural network for texts using English-Korean corpora

  • Lee, Hagyeong;Song, Jongwoo
    • Communications for Statistical Applications and Methods
    • /
    • 제27권3호
    • /
    • pp.313-326
    • /
    • 2020
  • Deep Learning is the most important key to the development of Artificial Intelligence (AI). There are several distinguishable architectures of neural networks such as MLP, CNN, and RNN. Among them, we try to understand one of the main architectures called Recurrent Neural Network (RNN) that differs from other networks in handling sequential data, including time series and texts. As one of the main tasks recently in Natural Language Processing (NLP), we consider Neural Machine Translation (NMT) using RNNs. We also summarize fundamental structures of the recurrent networks, and some topics of representing natural words to reasonable numeric vectors. We organize topics to understand estimation procedures from representing input source sequences to predict target translated sequences. In addition, we apply multiple translation models with Gated Recurrent Unites (GRUs) in Keras on English-Korean sentences that contain about 26,000 pairwise sequences in total from two different corpora, colloquialism and news. We verified some crucial factors that influence the quality of training. We found that loss decreases with more recurrent dimensions and using bidirectional RNN in the encoder when dealing with short sequences. We also computed BLEU scores which are the main measures of the translation performance, and compared them with the score from Google Translate using the same test sentences. We sum up some difficulties when training a proper translation model as well as dealing with Korean language. The use of Keras in Python for overall tasks from processing raw texts to evaluating the translation model also allows us to include some useful functions and vocabulary libraries as well.

한베 통계기계번역의 성능 향상을 위한 내포문 추출 및 복원 기법 (Embedded clause extraction and restoration for the performance enhancement in Korean-Vietnamese statistical machine translation)

  • 조승우;김영길;권홍석;이의현;이원기;조형미;이종혁
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.280-284
    • /
    • 2016
  • 본 논문에서는 기호로 둘러싸인 내포문이 포함된 문장의 번역 성능을 높이는 방법을 제안한다. 입력 문장에서 내포문을 추출하여 여러 문장으로 나타내고, 각각의 문장들을 번역한다. 그리고 번역된 문장들을 복원정보를 활용하여 최종 번역 문장을 생성한다. 이러한 방법론은 입력 문장의 길이를 줄여주며, 그로 인하여 문장 구조가 단순해져 번역 품질이 향상된다. 본 논문에서는 한국어-베트남어 통계 기반 번역기에 대하여 제안한 방법론을 적용하고 실험하였다. 그 결과 BLEU 점수가 약 1.5 향상된 것을 확인할 수 있었다.

  • PDF

어린이 기호식품에 대한 학부모 인식 조사 (A Study on the Parents' Perceptions of Children's Favorite Foods)

  • 정지혜;송경희;윤지영
    • 대한지역사회영양학회지
    • /
    • 제14권1호
    • /
    • pp.67-76
    • /
    • 2009
  • The purpose of this study was to investigate the parents' perceptions of children's favorite foods. Mothers of elementary school students in Seoul were asked in a survey about their perceptions of children's favorite foods and their opinions of the related policy. Respondents pointed out the problems of children's favorite foods including insufficient sanitation, concerns with food additives, untrustworthy manufacturer, unsafe food distribution system and overuse of MSG. Overall hazardous perceptions of children's favorite foods were 2.71 out of 4.00. Most respondents believed that the children's favorite foods contained some harmful ingredients or over nutrients, and 69.2% of those respondents knew exactly which ingredients may cause children's health problems. The hazardous perception of chocolate, yogurt, sport drink and fruit drink were low compared to others, whereas hazardous perceptions and accuracy were high in candies, icebars, hamburgers and pizza, In terms of comprehensive countermeasures against unsafe children's foods, the respondents perceived that the establishment of standard amounts of nutrient value and food additives was the most important issue.

한국어와 영어의 명사구 기계 번역 (Korea-English Noun Phrase Machine Translation)

  • 조희영;서형원;김재훈;양성일
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.273-278
    • /
    • 2006
  • 이 논문에서 통계기반의 정렬기법을 이용한 한영/영한 양방향 명사구 기계번역 시스템을 설계하고 구현한다. 정렬기법을 이용한 기계번역 시스템을 구축하기 위해서는 않은 양의 병렬말뭉치(Corpus)가 필요하다. 이 논문에서는 병렬 말뭉치를 구축하기 위해서 웹으로부터 한영 대역쌍을 수집하였으며 수집된 병렬 말뭉치와 단어 정렬 도구인 GIZA++ 그리고 번역기(decoder)인 PARAOH(Koehn, 2004), RAMSES(Patry et al., 2002), MARIE(Crego et at., 2005)를 사용하여 한영/영한 양방향 명사구 번역 시스템을 구현하였다. 약 4만 개의 명사구 병렬 말뭉치를 학습 말뭉치와 평가 말뭉치로 분리하여 구현된 시스템을 평가하였다. 그 결과 한영/영한 모두 약 37% BLEU를 보였으나, 영한 번역의 성공도가 좀더 높았다. 앞으로 좀더 많은 양의 병렬 말뭉치를 구축하여 시스템의 성능을 향상시켜야 할 것이며, 지속적으로 병렬 말뭉치를 구축할 수 있는 텍스트 마이닝 기법이 개발되어야 할 것이다. 무엇보다도 한국어 특성에 적합한 단어 정렬 모델이 연구되어야 할 것이다. 또한 개발된 시스템을 다국어 정보검색 시스템에 직접 적용해서 그 효용성을 평가해보아야 할 것이다.

  • PDF