• 제목/요약/키워드: Jointly Learning Model

검색결과 13건 처리시간 0.024초

Simultaneous neural machine translation with a reinforced attention mechanism

  • Lee, YoHan;Shin, JongHun;Kim, YoungKil
    • ETRI Journal
    • /
    • 제43권5호
    • /
    • pp.775-786
    • /
    • 2021
  • To translate in real time, a simultaneous translation system should determine when to stop reading source tokens and generate target tokens corresponding to a partial source sentence read up to that point. However, conventional attention-based neural machine translation (NMT) models cannot produce translations with adequate latency in online scenarios because they wait until a source sentence is completed to compute alignment between the source and target tokens. To address this issue, we propose a reinforced learning (RL)-based attention mechanism, the reinforced attention mechanism, which allows a neural translation model to jointly train the stopping criterion and a partial translation model. The proposed attention mechanism comprises two modules, one to ensure translation quality and the other to address latency. Different from previous RL-based simultaneous translation systems, which learn the stopping criterion from a fixed NMT model, the modules can be trained jointly with a novel reward function. In our experiments, the proposed model has better translation quality and comparable latency compared to previous models.

Latent Structural SVM을 확장한 결합 학습 모델 (Jointly Learning Model using modified Latent Structural SVM)

  • 이창기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.70-73
    • /
    • 2013
  • 자연어처리에서는 많은 모듈들이 파이프라인 방식으로 연결되어 사용되나, 이 경우 앞 단계의 오류가 뒷 단계에 누적되는 문제와 앞 단계에서 뒷 단계의 정보를 사용하지 못한다는 단점이 있다. 본 논문에서는 파이프라인 방식의 문제를 해결하기 위해 사용되는 일반적인 결합 학습 방법을 확장하여, 두 작업이 동시에 태깅된 학습 데이터뿐만 아니라 한 작업만 태깅된 학습데이터도 동시에 학습에 사용할 수 있는 결합 학습 모델을 Latent Structural SVM을 확장하여 제안한다. 실험 결과, 기존의 한국어 띄어쓰기와 품사 태깅 결합 모델의 품사 태깅 성능이 96.99%였으나, 본 논문에서 제안하는 결합 학습 모델을 이용하여 대용량의 한국어 띄어쓰기 학습데이터를 추가로 학습한 결과 품사 태깅 성능이 97.20%까지 향상 되었다.

  • PDF

Predicting Reports of Theft in Businesses via Machine Learning

  • JungIn, Seo;JeongHyeon, Chang
    • International Journal of Advanced Culture Technology
    • /
    • 제10권4호
    • /
    • pp.499-510
    • /
    • 2022
  • This study examines the reporting factors of crime against business in Korea and proposes a corresponding predictive model using machine learning. While many previous studies focused on the individual factors of theft victims, there is a lack of evidence on the reporting factors of crime against a business that serves the public good as opposed to those that protect private property. Therefore, we proposed a crime prevention model for the willingness factor of theft reporting in businesses. This study used data collected through the 2015 Commercial Crime Damage Survey conducted by the Korea Institute for Criminal Policy. It analyzed data from 834 businesses that had experienced theft during a 2016 crime investigation. The data showed a problem with unbalanced classes. To solve this problem, we jointly applied the Synthetic Minority Over Sampling Technique and the Tomek link techniques to the training data. Two prediction models were implemented. One was a statistical model using logistic regression and elastic net. The other involved a support vector machine model, tree-based machine learning models (e.g., random forest, extreme gradient boosting), and a stacking model. As a result, the features of theft price, invasion, and remedy, which are known to have significant effects on reporting theft offences, can be predicted as determinants of such offences in companies. Finally, we verified and compared the proposed predictive models using several popular metrics. Based on our evaluation of the importance of the features used in each model, we suggest a more accurate criterion for predicting var.

과학과교육 강의에서 예비 초등교사들의 학습환경에 대한 인식과 과학 교수효능감 (The Perceptions of Pre-service Elementary Teachers in Regards to the Learning Environment in Science Education Courses and Their Science Teaching Efficacy Belief)

  • 전경문
    • 한국초등과학교육학회지:초등과학교육
    • /
    • 제25권1호
    • /
    • pp.8-14
    • /
    • 2006
  • This study examined how pre-service elementary teachers' perceptions regarding the learning environment (learning focus/ability-meritocracy/cooperative climate) and achievement goals (mastery/performance-approach/performance-avoidance) in science education courses jointly contributed to their science teaching efficacy beliefs (personal science teaching efficacy belief/science teaching outcome expectancy). A path analysis supported a causal model in which the perception of the learning focus influenced the mastery goal, which in turn influenced the personal science teaching efficacy belief and science teaching outcome expectancy. The perception of learning focus also had a direct effect on science teaching outcome expectancy. The perception of ability-meritocracy influenced personal science teaching efficacy belief via the performance-approach (positively) or, conversely, the performance-avoidance goal (negatively). No link .was deduced from the perception of cooperative climate. The educational implications of these findings were also discussed.

  • PDF

Jointly Learning of Heavy Rain Removal and Super-Resolution in Single Images

  • ;김문철
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.113-117
    • /
    • 2020
  • Images were taken under various weather such as rain, haze, snow often show low visibility, which can dramatically decrease accuracy of some tasks in computer vision: object detection, segmentation. Besides, previous work to enhance image usually downsample the image to receive consistency features but have not yet good upsample algorithm to recover original size. So, in this research, we jointly implement removal streak in heavy rain image and super resolution using a deep network. We put forth a 2-stage network: a multi-model network followed by a refinement network. The first stage using rain formula in the single image and two operation layers (addition, multiplication) removes rain streak and noise to get clean image in low resolution. The second stage uses refinement network to recover damaged background information as well as upsample, and receive high resolution image. Our method improves visual quality image, gains accuracy in human action recognition task in datasets. Extensive experiments show that our network outperforms the state of the art (SoTA) methods.

  • PDF

멀티 파티 시스템에서 딥러닝을 위한 프라이버시 보존 기술 (Privacy Preserving Techniques for Deep Learning in Multi-Party System)

  • 고혜경
    • 문화기술의 융합
    • /
    • 제9권3호
    • /
    • pp.647-654
    • /
    • 2023
  • 딥러닝은 이미지, 텍스트와 같이 복잡한 데이터를 분류 및 인식하는데 유용한 방법으로 딥러닝 기법의 정확도는 딥러닝이 인터넷상의 AI 기반의 서비스를 유용하게 하는데 기초가 되었다. 그러나 딥러닝에서 훈련에 사용되는 방대한 양의 사용자 데이터는 사생활 침해 문제를 야기하였고 사진이나 보이스와 같이 사용자이 개인적이고 민감한 데이터를 수집한 기업들이 데이터들을 무기한으로 소유한다. 사용자들은 자신의 데이터를 삭제할 수 없고 사용되는 목적도 제한할 수 없다. 예를 들면, 환자 진료기록에 대한 딥러닝 기술을 적용하기 원하는 의료기관들과 같은 데이터소유자들은 사생활과 기밀유지 문제로 환자의 데이터를 공유할 수 없고 딥러닝 기술의 혜택을 받기 어렵다. 우리는 멀티 파티 시스템에서 다수의 작업자들이 입력 데이터집합을 공유하지 않고 신경망 모델을 공동으로 사용할 수 있는 프라이버시 보존 기술을 적용한 딥러닝 방법을 설계한다. 변형된 확률적 경사 하강에 기초한 최적화 알고리즘을 이용하여 하위 집합을 선택적으로 공유할 수 있는 방법을 이용하였고 결과적으로 개인정보를 보호하면서 학습 정확도를 증가시킨 학습을 할 수 있도록 하였다.

Deep Image Annotation and Classification by Fusing Multi-Modal Semantic Topics

  • Chen, YongHeng;Zhang, Fuquan;Zuo, WanLi
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권1호
    • /
    • pp.392-412
    • /
    • 2018
  • Due to the semantic gap problem across different modalities, automatically retrieval from multimedia information still faces a main challenge. It is desirable to provide an effective joint model to bridge the gap and organize the relationships between them. In this work, we develop a deep image annotation and classification by fusing multi-modal semantic topics (DAC_mmst) model, which has the capacity for finding visual and non-visual topics by jointly modeling the image and loosely related text for deep image annotation while simultaneously learning and predicting the class label. More specifically, DAC_mmst depends on a non-parametric Bayesian model for estimating the best number of visual topics that can perfectly explain the image. To evaluate the effectiveness of our proposed algorithm, we collect a real-world dataset to conduct various experiments. The experimental results show our proposed DAC_mmst performs favorably in perplexity, image annotation and classification accuracy, comparing to several state-of-the-art methods.

가우시안 프로세스 회귀분석을 이용한 지하수위 추세분석 및 장기예측 연구 (Groundwater Level Trend Analysis for Long-term Prediction Basedon Gaussian Process Regression)

  • 김효건;박은규;정진아;한원식;김구영
    • 한국지하수토양환경학회지:지하수토양환경
    • /
    • 제21권4호
    • /
    • pp.30-41
    • /
    • 2016
  • The amount of groundwater related data is drastically increasing domestically from various sources since 2000. To justify the more expansive continuation of the data acquisition and to derive valuable implications from the data, continued employments of sophisticated and state-of-the-arts statistical tools in the analyses and predictions are important issue. In the present study, we employed a well established machine learning technique of Gaussian Process Regression (GPR) model in the trend analyses of groundwater level for the long-term change. The major benefit of GPR model is that the model provide not only the future predictions but also the associated uncertainty. In the study, the long-term predictions of groundwater level from the stations of National Groundwater Monitoring Network located within Han River Basin were exemplified as prediction cases based on the GPR model. In addition, a few types of groundwater change patterns were delineated (i.e., increasing, decreasing, and no trend) on the basis of the statistics acquired from GPR analyses. From the study, it was found that the majority of the monitoring stations has decreasing trend while small portion shows increasing or no trend. To further analyze the causes of the trend, the corresponding precipitation data were jointly analyzed by the same method (i.e., GPR). Based on the analyses, the major cause of decreasing trend of groundwater level is attributed to reduction of precipitation rate whereas a few of the stations show weak relationship between the pattern of groundwater level changes and precipitation.

딥러닝 기반 지하공동구 제어반 문열림 인식 (Deep Learning-based Object Detection of Panels Door Open in Underground Utility Tunnel)

  • 김경환;김지은;정우석
    • 한국재난정보학회 논문집
    • /
    • 제19권3호
    • /
    • pp.665-672
    • /
    • 2023
  • 연구목적: 지하공동구는 도시 지하에 전기, 수도, 가스 등의 인프라를 공동 수용하는 시설로 공기 흐름이 부족하여 계절에 상관없이 결로가 자주 발생한다. 결로는 전기 설비의 누전 화재를 일으키는 원인이 되므로 지하공동구 내의 조명 등 각종 시설물 관리를 위해 필요한 제어반은 결로에 노출되지 않도록 문이 닫힌 상태로 관리되어야 한다. 본 논문에서는 딥러닝 객체인식 기술을 활용하여 수km 거리에 반복 배치된 공동구 제어반의 문 열림 여부를 이동 카메라 조건과 조명이 꺼진 조건에서도 인식하고자 한다. 연구방법: 지하공동구를 순찰하는 로봇이 촬영한 영상데이터를 이용하여 딥러닝 객체인식 모델인 YOLO를 모자이크 이미지 증강기법으로 학습시켜 제어반 문 열림과 문 닫힘을 인식한다. 연구결과: 모자이크 이미지 증강기법으로 학습시킨 모델과 사용하지 않은 모델의 성능을 비교한 결과, 모자이크 학습 모델이 더 우수한 성능(모든 클래스에 대한 mAP가 0.994 이상임)을 보이는 것을 확인하였다. 결론: 지하공동구의 조명이 꺼진 상태에서도, 공동구 내부 시설물이 복잡한 환경에서도 제어반의 문열림 여부를 우수한 성능으로 인식하여 지하공동구 재난안전관리에 도움이 될 것으로 기대된다.

확장된 RNN을 활용한 사람재인식 시스템에 관한 연구 (A Study on Person Re-Identification System using Enhanced RNN)

  • 최석규;허문걸
    • 한국인터넷방송통신학회논문지
    • /
    • 제17권2호
    • /
    • pp.15-23
    • /
    • 2017
  • 사람의 빈번한 자세 변화, 그리고 background clutter과 occlusion으로 인해 Person Re-identificatio는 컴퓨터 비전 분야에서 가장 어려운 부분이다. 비겹침 카메라의 이미지는 어떤 사람을 다른 사람과 구별하기 어렵게 한다. 더욱 나은 성능 일치를 달성하기 위해 대부분의 방법은 특징 선택과 거리 메트릭을 개별적으로 사용한다. 그렇게 차별화된 표현과 적절한 거리를 얻을 수 있고, 사람과 중요한 특징의 무시 사이의 유사성을 설명할 수 있다. 이러한 상황은 우리가 이 문제를 다루는 새로운 방법을 고려하도록 한다. 본 논문에서는 Person Re-identification를 위한 3단 계층네트워크를 갖는 향상되고 반복적인 신경 회로망을 제안하였다. 특히 RNN(Revurrent Neural Network) 모델은 반복적인 EM(Expectation Maximum) 알고리즘과 3단 계층 네트워크를 포함하고, 차별적 특징과 지표 거리를 공동으로 학습한다. 반복적인 EM 알고리즘은 RNN 이전에 연속해 있는 CNN(Convoutional Neural Network)의 특징 추출 능력을 충분히 사용할 수 있다. 자율 학습을 통해 EM 프레임 워크는 패치의 레이블을 변경하고 더 큰 데이터 세트를 훈련할 수 있다. 네트워크를 더 잘 훈련시키기 위해 3단 계층 네트워크를 통해 CNN, RNN 및 풀링 계층이 공동으로 특징 추출을 할 수 있다. 실험 결과에 따르면 비전처리 분야에서 다른 연구자의 접근 방식과 비교할 때 이 방법은 경쟁력 있는 정확도를 얻을 수 있다. 이 방법에 대한 다른 요소의 영향은 향후 연구에서 분석되고 평가될 것이다.