• 제목/요약/키워드: Encoder Model

검색결과 355건 처리시간 0.033초

비프로파일링 기반 전력 분석의 성능 향상을 위한 오토인코더 기반 잡음 제거 기술 (Improving Non-Profiled Side-Channel Analysis Using Auto-Encoder Based Noise Reduction Preprocessing)

  • 권동근;진성현;김희석;홍석희
    • 정보보호학회논문지
    • /
    • 제29권3호
    • /
    • pp.491-501
    • /
    • 2019
  • 최근 보안 디바이스의 물리적 취약성을 찾을 수 있는 부채널 분석 분야에서 딥러닝을 활용한 연구가 활발히 진행되고 있다. 하지만, 최신 딥러닝 기반 부채널 분석 기술 연구는 템플릿 공격 등과 같은 프로파일링 기반 부채널 분석 환경에서 파형을 옳게 분류하기 위한 연구에 집중되어 있다. 본 논문에서는 이전 연구들과 다르게 딥러닝을 신호 전처리 기법으로 활용하여 차분 전력 분석, 상관 전력 분석 등과 같은 논프로파일링 기반 부채널 분석의 성능을 고도화할 수 있는 방법을 제안한다. 제안기법은 오토인코더를 부채널 분석 환경에 적합하게 변경하여 부채널 정보의 노이즈를 제거하는 전처리 기법으로, 기존 노이즈 제거 오토인코더는 임의로 추가한 노이즈에 대한 학습을 하였다면 제안하는 기법은 노이즈가 제거된 라벨을 사용하여 실제 데이터의 노이즈를 학습한다. 제안기법은 논프로파일링 환경에서 수행 가능한 전처리 기법이며 하나의 뉴런 네트워크의 학습만을 통해 수행할 수 있다. 본 논문에서는 실험을 통해 제안기법의 노이즈 제거 성능을 입증하였으며, 주성분분석 및 선형판별분석과 같은 기존 전처리 기법들과 비교하여 우수하다는 것을 보인다.

Sentence-Chain Based Seq2seq Model for Corpus Expansion

  • Chung, Euisok;Park, Jeon Gue
    • ETRI Journal
    • /
    • 제39권4호
    • /
    • pp.455-466
    • /
    • 2017
  • This study focuses on a method for sequential data augmentation in order to alleviate data sparseness problems. Specifically, we present corpus expansion techniques for enhancing the coverage of a language model. Recent recurrent neural network studies show that a seq2seq model can be applied for addressing language generation issues; it has the ability to generate new sentences from given input sentences. We present a method of corpus expansion using a sentence-chain based seq2seq model. For training the seq2seq model, sentence chains are used as triples. The first two sentences in a triple are used for the encoder of the seq2seq model, while the last sentence becomes a target sequence for the decoder. Using only internal resources, evaluation results show an improvement of approximately 7.6% relative perplexity over a baseline language model of Korean text. Additionally, from a comparison with a previous study, the sentence chain approach reduces the size of the training data by 38.4% while generating 1.4-times the number of n-grams with superior performance for English text.

양방향 인재매칭을 위한 BERT 기반의 전이학습 모델 (A BERT-based Transfer Learning Model for Bidirectional HR Matching)

  • 오소진;장문경;송희석
    • Journal of Information Technology Applications and Management
    • /
    • 제28권4호
    • /
    • pp.33-43
    • /
    • 2021
  • While youth unemployment has recorded the lowest level since the global COVID-19 pandemic, SMEs(small and medium sized enterprises) are still struggling to fill vacancies. It is difficult for SMEs to find good candidates as well as for job seekers to find appropriate job offers due to information mismatch. To overcome information mismatch, this study proposes the fine-turning model for bidirectional HR matching based on a pre-learning language model called BERT(Bidirectional Encoder Representations from Transformers). The proposed model is capable to recommend job openings suitable for the applicant, or applicants appropriate for the job through sufficient pre-learning of terms including technical jargons. The results of the experiment demonstrate the superior performance of our model in terms of precision, recall, and f1-score compared to the existing content-based metric learning model. This study provides insights for developing practical models for job recommendations and offers suggestions for future research.

포인터 네트워크를 이용한 멘션탐지 (Mention Detection with Pointer Networks)

  • 박천음;이창기
    • 정보과학회 논문지
    • /
    • 제44권8호
    • /
    • pp.774-781
    • /
    • 2017
  • 멘션(mention)은 명사 또는 명사구를 중심어로 가지며, 수식어를 포함하여 어떤 의미를 정의하는 구(chunk)를 구성한다. 문장 내에서 멘션을 추출하는 것을 멘션탐지라 한다. 멘션들 중에서 서로 같은 의미의 멘션들을 찾아내는 것을 상호참조해결이라 한다. 포인터 네트워크는 RNN encoder-decoder 모델을 기반으로, 주어진 입력 열에 대응되는 위치를 출력 결과로 갖는 모델이다. 본 논문에서는 멘션탐지에 포인터 네트워크를 이용할 것을 제안한다. 멘션탐지에 포인터 네트워크를 적용하면 기존의 순차 문제로는 해결할 수 없었던 중첩된 멘션탐지 문제를 해결할 수 있다. 실험 결과, 본 논문에서 제안한 멘션탐지의 성능이 규칙기반 보다 7.65%p 이상 높은 F1 80.07%를 보였으며, 이를 이용한 상호참조해결 성능이 CoNLL F1 56.67%(멘션 경계), 60.11%(중심어 경계)로 규칙기반 멘션탐지를 이용한 상호참조해결에 비하여 7.68%p, 1.5%p 더 좋은 성능을 보였다.

Contextual Modeling in Context-Aware Conversation Systems

  • Quoc-Dai Luong Tran;Dinh-Hong Vu;Anh-Cuong Le;Ashwin Ittoo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권5호
    • /
    • pp.1396-1412
    • /
    • 2023
  • Conversation modeling is an important and challenging task in the field of natural language processing because it is a key component promoting the development of automated humanmachine conversation. Most recent research concerning conversation modeling focuses only on the current utterance (considered as the current question) to generate a response, and thus fails to capture the conversation's logic from its beginning. Some studies concatenate the current question with previous conversation sentences and use it as input for response generation. Another approach is to use an encoder to store all previous utterances. Each time a new question is encountered, the encoder is updated and used to generate the response. Our approach in this paper differs from previous studies in that we explicitly separate the encoding of the question from the encoding of its context. This results in different encoding models for the question and the context, capturing the specificity of each. In this way, we have access to the entire context when generating the response. To this end, we propose a deep neural network-based model, called the Context Model, to encode previous utterances' information and combine it with the current question. This approach satisfies the need for context information while keeping the different roles of the current question and its context separate while generating a response. We investigate two approaches for representing the context: Long short-term memory and Convolutional neural network. Experiments show that our Context Model outperforms a baseline model on both ConvAI2 Dataset and a collected dataset of conversational English.

저지연 HEVC 부호화기를 위한 효율적인 프레임별 양자화 파라미터 할당 방법 (Efficient QP-per-frame Assignment Method for Low-delay HEVC Encoder)

  • 박상효;장의선
    • 방송공학회논문지
    • /
    • 제21권3호
    • /
    • pp.349-356
    • /
    • 2016
  • 본 논문에서는 HEVC 부호화기에서의 주어진 Group of picture(GOP) 구조에 맞추어 양자화 파라미터(Quantization parameter, QP)를 효율적으로 할당하는 방법을 제안한다. HEVC에서는 주어진 GOP 설정에 따라 각 비디오 프레임에 다른 QP값들을 할당할 수 있다. 특히, 낮은 QP값은 중요한 프레임에 할당시키고, 높은 QP값은 덜 중요한 프레임들에 할당하는 QP 변화 전략을 통해 압축률 증가를 꾀할 수 있다. 그러나 지금까지 효율적으로 QP를 할당하는 방법에 대한 정밀한 분석은 철저히 이루어진 바가 없다. HEVC 참조소프트웨어 부호화기에서도 단지 단조로운 QP 할당 방식만을 사용하고 있을 뿐이다. 본 제안기술은 QP할당을 각 GOP마다 적응적으로 하는 방식으로써, 그 기반은 GOP간의 시간적인 동적 활동 특성들을 활용한다는 것에 있다. 실험 결과, 저지연 부호화 환경설정에서 제안기술은 HEVC 테스트 모델(HM)과 비교하여 BD-rate의 관점으로 7.3%의 압축률을 더 이루었으며, 타 QP 할당방식 연구보다도 평균적으로 압축성능이 우월함을 확인하였다.

H.264/AVC를 위한 효율적인 이진 산술 부호화기 설계 (Design of an Efficient Binary Arithmetic Encoder for H.264/AVC)

  • 문전학;김윤섭;이성수
    • 대한전자공학회논문지SD
    • /
    • 제46권12호
    • /
    • pp.66-72
    • /
    • 2009
  • 본 논문에서는 H.264/AVC에서 사용되는 엔트로피 부호화 방법 중 하나인 CABAC를 위한 효율적인 이진 산술 부호화기를 제안한다. 기존의 이진 산술 부호화 알고리즘은 연산의 복잡도와 각 단계간의 데이터 의존도가 매우 높기 때문에 빠른 연산이 어렵다. 따라서 연산 과정의 복잡도와 데이터 의존도를 줄이기 위하여 재정규화 과정을 효율적으로 처리할 수 있는 2단 파이프라인 구조를 사용한다. 하드웨어 면적을 줄이기 위해서 문맥 모델 갱신기는 transIdxMPS 표를 간단한 식으로 표현하고, transIdxLPS 표와 rangeTabLPS 표를 함께 구현한다. 산술 연산기는 입력 값의 발생 확률에 따라 일반 모드, 우회 모드, 종결 모드로 나누어 설계하여 각 모드마다 최대 속도로 동작할 수 있게 한다. 제안하는 이진 산술 부호화기는 0.18um 표준 셀 라이브러리에서 7282 게이트의 면적을 사용하며 입력 심벌 당 소요되는 사이클 수는 약 1을 갖는다.

고해상도 비디오 인코더 IP 설계에 대한 연구 (A Study on the Full-HD HEVC Encoder IP Design)

  • 이석호;조승현;김현미;이제현
    • 전자공학회논문지
    • /
    • 제52권12호
    • /
    • pp.167-173
    • /
    • 2015
  • 본 논문에서는 고해상도(Full-HD)급의 비디오를 처리할 수 있는 고효율 비디오 코딩(HEVC) 표준을 따르는 인코더 IP 설계에 대하여 기술한다. 설계된 IP는 HEVC 메인 프로파일 4.1급에 해당되며, 프레임 레이트는 60 fps 로 실시간 인코딩 가능하다. 하드웨어 및 소프트웨어 IP 설계 전에 C 언어로 전체 참조 모델을 개발하였으며 고속처리를 위한 병렬처리구조와 저 전력을 위한 스킵모드를 제안하였다. 또한 IP 관련 펌웨어 및 드라이버 프로그램을 작성하였다. IP 검증을 위한 플랫폼을 개발하였고 설계된 통합 IP를 FPGA 보드로 구현하여 다양한 영상에 대하여 여러 인코딩 조건에서 기능 및 성능을 검증하였다. HM-13.0대비 동일 PSNR에서 약 35% 정도의 비트율 감소와 저전력 모드에서 약 25% 정도의 전력 소모 감소 효과가 있었다.

H/W-S/W 병행설계를 이용한 CABAC의 효율적인 하드웨어 구현 (An Efficient Hardware Implementation of CABAC Using H/W-S/W Co-design)

  • 조영주;고형화
    • 한국항행학회논문지
    • /
    • 제18권6호
    • /
    • pp.600-608
    • /
    • 2014
  • 본 논문에서는 CABAC (context adaptive binary arithmetic coding)를 하드웨어로 구현하기 위하여 병행설계 (co-design) 기법을 사용하였다. H.264/AVC의 부호기 전체를 C언어로 개발하고, CABAC만을 하드웨어 IP로 설계하고, H.264/AVC의 나머지 부분은 소프트웨어로 설계하였다. CABAC의 문맥모델러 부분을 하드웨어로 설계하여 연산값을 지속적으로 업데이트시킴으로써 메모리를 효율적으로 사용하고 스트림을 절감시키는 설계를 하였다. 설계된 IP는 Xilinx ML410 보드의 Virtex-4 FX60 FPGA에 다운로드하여 MicroBlaze CPU를 이용하여 H.264/AVC의 참조 소프트웨어인 JM과 연동하도록 설계하였다. 기능 시뮬레이션은 ModelSim을 이용하였다. 기존의 CABAC 하드웨어 모듈이 레지스터 레벨에서 설계하여 개발기간이 오래 걸리는데 비하여 본 논문의 설계 기법은 소프트웨어 엔지니어가 쉽게 하드웨어를 개발하는 것이 가능해지는 장점이 있으며 설계시간도 짧다. 또한, 동일한 방법으로 구현된 CAVLC 모듈과 Slice 사용량을 비교해볼 때, 1/3 이하로 감축됨을 보였다. 본 연구에서 제시한 개발 방법은 임베디드 환경에서 고성능 동영상 압축 부호화시 하드웨어 가속기가 필요한 부분을 설계할 때 유용할 것으로 보인다.

조음장애 아동의 언어학습을 위한 인공지능 애플리케이션 UX/UI 연구 (Artificial intelligence application UX/UI study for language learning of children with articulation disorder)

  • 양은미;박대우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.174-176
    • /
    • 2022
  • 본 논문에서는인공지능(AI; Artificial Intelligence)알고리즘을 활용한 조음 장애 아동들의 '개인화된 맞춤형 학습' 모바일 애플리케이션을 제시한다. 조음과 관련된 빅데이터(Big Data)를 수집-정제-가공한 데이터 셋(Data Set)으로 학습자의 조음 상황 및 정도를 분석, 판단, 예측한다. 특히, 인공지능 활용 시 기존 애플리케이션에 비해 어떻게 개선되고 고도화할수 있는지를 UX/UI(GUI) 측면에서 바라보고 프로토타입 모델을 설계해 보았다. 지금까지 시각적 경험에 많이 치중해 있었다면, 이제는 데이터를 어떻게 가공하여 사용자에게 UX/UI(GUI) 경험을 제공할 수 있는지가 중요한 시점이다. 제시한 모바일 애플리케이션의 UX/UI(GUI)는 딥러닝(Deep Learning)의 CRNN(Convolution Recurrent Neural Network)과 Auto Encoder GPT-3 (Generative Pretrained Transformer)를 활용하여 학습자의 조음 정도와 상황에 맞게 제공하고자 하였다. 인공지능 알고리즘의 활용은 조음 장애 아동들에게 완성도 높은 학습환경을 제공하여 학습효과를 높일 수 있를 것이다. '개인화된 맞춤형 학습'으로 조음의 완성도를 높여서, 대화에 대한 두려움이나 불편함을 갖지 않길 바란다.

  • PDF