• 제목/요약/키워드: Language detector

검색결과 36건 처리시간 0.019초

Improving Elasticsearch for Chinese, Japanese, and Korean Text Search through Language Detector

  • Kim, Ki-Ju;Cho, Young-Bok
    • Journal of information and communication convergence engineering
    • /
    • 제18권1호
    • /
    • pp.33-38
    • /
    • 2020
  • Elasticsearch is an open source search and analytics engine that can search petabytes of data in near real time. It is designed as a distributed system horizontally scalable and highly available. It provides RESTful APIs, thereby making it programming-language agnostic. Full text search of multilingual text requires language-specific analyzers and field mappings appropriate for indexing and searching multilingual text. Additionally, a language detector can be used in conjunction with the analyzers to improve the multilingual text search. Elasticsearch provides more than 40 language analysis plugins that can process text and extract language-specific tokens and language detector plugins that can determine the language of the given text. This study investigates three different approaches to index and search Chinese, Japanese, and Korean (CJK) text (single analyzer, multi-fields, and language detector-based), and identifies the advantages of the language detector-based approach compared to the other two.

Low-Complexity and Low-Power MIMO Symbol Detector for Mobile Devices with Two TX/RX Antennas

  • Jang, Soohyun;Lee, Seongjoo;Jung, Yunho
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제15권2호
    • /
    • pp.255-266
    • /
    • 2015
  • In this paper, a low-complexity and low-power soft output multiple input multiple output (MIMO) symbol detector is proposed for mobile devices with two transmit and two receive antennas. The proposed symbol detector can support both the spatial multiplexing mode and spatial diversity mode in single hardware and shows the optimal maximum likelihood (ML) performance. By applying a multi-stage pipeline structure and using a complex multiplier based on the polar-coordinate, the complexity of the proposed architecture is dramatically decreased. Also, by applying a clock-gating scheme to the internal modules for MIMO modes, the power consumption is also reduced. The proposed symbol detector was designed using a hardware description language (HDL) and implemented using a 65nm CMOS standard cell library. With the proposed architecture, the proposed MIMO detector takes up an area of approximately $0.31mm^2$ with 183K equivalent gates and achieves a 150Mbps throughput. Also, the power estimation results show that the proposed MIMO detector can reduce the power consumption by a maximum of 85% for the various test cases.

연속된 수화 인식을 위한 자동화된 Coarticulation 검출 (Automatic Coarticulation Detection for Continuous Sign Language Recognition)

  • 양희덕;이성환
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권1호
    • /
    • pp.82-91
    • /
    • 2009
  • 수화 적출은 연속된 손 동작에서 의미 있는 수화 단어를 검출 및 인식하는 것을 말한다. 수화는 손의 움직임과 모양의 변화가 다양하기 때문에 수화 문장에서 수화를 적출하는 것은 쉬운 문제가 아니다. 특히, 자연스러운 수화 문장에는 의미 있는 수화, 수화가 아닌 손동작이 무작위로 발생한다. 본 논문에서는 CRF(Conditional Random Field)에 기반한 적응적 임계치 모델을 제안한다. 제한된 모델은 수화 어휘집에 정의된 수화 손동작과 수화가 아닌 손동작을 구별하기 위한 적응적 임계치 역할을 수행한다. 또한, 수화 적출 및 인식의 성능 향상을 위해 손 모양 기반 수화 인증기, 짧은 수화 적출기, 부사인(subsign) 추론기를 제안된 시스템에 적용하였다. 실험 결과, 제안된 방법은 연속된 수화 동작 데이타에서 88%의 적출률, 사전에 적출된 수화 동작 데이타에서 94%의 인식률을 보였으며, 적응적 임계치 모델, 짧은 수화 적출기, 손 모양 기반 수화 인증기, 부사인 추론기를 사용하지 않은 CRF 모델은 연속된 수화 동작 데이터에서 74%의 적출률, 사전에 적출된 수화 동작 데이타에서 90%의 인식률을 보였다.

영상 기반 위치 인식을 위한 대규모 언어-이미지 모델 기반의 Bag-of-Objects 표현 (Large-scale Language-image Model-based Bag-of-Objects Extraction for Visual Place Recognition)

  • 정승운;박병재
    • 센서학회지
    • /
    • 제33권2호
    • /
    • pp.78-85
    • /
    • 2024
  • We proposed a method for visual place recognition that represents images using objects as visual words. Visual words represent the various objects present in urban environments. To detect various objects within the images, we implemented and used a zero-shot detector based on a large-scale image language model. This zero-shot detector enables the detection of various objects in urban environments without additional training. In the process of creating histograms using the proposed method, frequency-based weighting was applied to consider the importance of each object. Through experiments with open datasets, the potential of the proposed method was demonstrated by comparing it with another method, even in situations involving environmental or viewpoint changes.

PEEP-Talk: 개인화 외국어 학습을 위한 딥러닝 기반 영어 교육 플랫폼 (PEEP-Talk: Deep Learning-based English Education Platform for Personalized Foreign Language Learning)

  • 이승준;장윤나;박찬준;김민우;;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.293-299
    • /
    • 2021
  • 본 논문은 외국어 학습을 위한 딥러닝 기반 영어 교육 플랫폼인 PEEP-Talk (Personalized English Education Platform)을 제안한다. PEEP-Talk는 딥러닝 기반 페르소나 대화 시스템과 영어 문법 교정 피드백 기능이 내장된 교육용 플랫폼이다. 또한 기존 페르소나 대화시스템과 다르게 대화의 흐름이 벗어날 시 이를 자동으로 판단하여 대화 주제를 실시간으로 변경할 수 있는 CD (Context Detector) 모듈을 제안하며 이를 적용하여 실제 사람과 대화하는 듯한 느낌을 사용자에게 줄 수 있다. 본 논문은 PEEP-Talk의 각 모듈에 대한 정량적인 분석과 더불어 CD 모듈을 객관적으로 판단할 수 있는 새로운 성능 평가지표인 CDM (Context Detector Metric)을 기반으로 PEEP-Talk의 강건함을 검증하였다. 이와 더불어 PEEP-Talk를 카카오톡 채널을 이용하여 배포하였다.

  • PDF

Sign Language Translation Using Deep Convolutional Neural Networks

  • Abiyev, Rahib H.;Arslan, Murat;Idoko, John Bush
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권2호
    • /
    • pp.631-653
    • /
    • 2020
  • Sign language is a natural, visually oriented and non-verbal communication channel between people that facilitates communication through facial/bodily expressions, postures and a set of gestures. It is basically used for communication with people who are deaf or hard of hearing. In order to understand such communication quickly and accurately, the design of a successful sign language translation system is considered in this paper. The proposed system includes object detection and classification stages. Firstly, Single Shot Multi Box Detection (SSD) architecture is utilized for hand detection, then a deep learning structure based on the Inception v3 plus Support Vector Machine (SVM) that combines feature extraction and classification stages is proposed to constructively translate the detected hand gestures. A sign language fingerspelling dataset is used for the design of the proposed model. The obtained results and comparative analysis demonstrate the efficiency of using the proposed hybrid structure in sign language translation.

다중 안테나 통신 시스템을 위한 효율적인 심볼 검출기 설계 연구 (Efficient Symbol Detector for Multiple Antenna Communication Systems)

  • 장수현;한철희;최성남;곽재섭;정윤호
    • 대한전자공학회논문지SD
    • /
    • 제47권3호
    • /
    • pp.41-50
    • /
    • 2010
  • 본 논문에서는 2개의 송수신 안테나를 갖는 MIMO 통신 시스템을 위한 면적 효율적인 심볼 검출기의 구조를 제안한다. 제안된 심볼 검출기는 MIMO 전송 기법 중 공간 다이버시티 모드뿐 아니라 공간 다중화 모드를 모두 지원하며, ML 수준의 성능을 제공한다. 또한, 다단 (multi-stage) 파이프라인 구조와 극좌표 형태의 복소수 승산 방법을 사용하여 연산 블록의 공유와 연산기의 단순화를 진행하였고, 이를 통해 하드웨어 복잡도를 크게 감소시켰다. 제안된 하드웨어 구조는 하드웨어 설계 언어(HDL)를 이용하여 설계 되었고, Xilinx Virtex-5 XC5VLX220 FPGA에 기반하여 구현되었다. 그 결과 기존의 설계 구조와 비교시 35.3% 감소된 logic slices, 85.3% 감소된 DSP48s (dedicated multiplier)로 구현 가능함을 확인하였다.

MIMO 통신 시스템을 위한 저전력 심볼 검출기 설계 연구 (Low Power Symbol Detector for MIMO Communication Systems)

  • 황유선;장수현;정윤호
    • 한국항행학회논문지
    • /
    • 제14권2호
    • /
    • pp.220-226
    • /
    • 2010
  • 본 논문에서는 2개의 송 수신 안테나를 갖는 MIMO 통신 시스템을 위한 저전력 심볼 검출기의 구조를 제안한다. 제안된 심볼 검출기는 MIMO 전송 기법 중 공간 다이버시티(spatial diversity, SD) 모드뿐 아니라 공간 다중화(spatial multiplexing, SM) 모드를 모두 지원하며, ML 수준의 성능을 제공한다. 또한, 연산 블록의 공유와 MIMO 모드에 따라 구분되는 클럭 신호를 사용하여 하드웨어의 전력 소모량을 크게 감소시켰다. 제안된 하드웨어 구조는 하드웨어 설계 언어 (HDL)을 이용하여 설계되었고, $0.13{\mu}m$ CMOS standard 셀 라이브러리를 사용하여 합성되었다. 전력 소모량은 Synopsys Power CompilerTM을 사용하여 측정되었고, 그 결과 기존의 설계 구조대비 제안된 구조의 경우 최대 85%까지의 평균 소모 전력을 감소시킬 수 있음을 확인할 수 있었다.

형태소 분석을 이용한 플랜-기반 대화체 모델 (Plan-Based Dialogue Model Using Morphological Analysis)

  • 고종국;이종혁;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.112-116
    • /
    • 1995
  • 본 논문에서는 한-일 대화체 기계번역 시스템을 위한 대화체 모델을 제시한다. 이 대화체 모델에서는 구문분석과 의미분석을 거치지 않고 형태소 분석만을 이용하여 대화체 모델을 구현하였다. 대화체모델은 담화문으로부터 목표를 추출하는 GOAL DETECTOR, 추출된 목표에 맞는 플랜을 제시하는 PROPOSER, 제시된 플랜의 적합성 여부를 결정하는 PROJECTOR, 플랜의 실행 후 결과를 시스템의 환경에 반영하는 EXECUTOR 및 영역에 대한 지식을 표현하는 영역지식(Domain Knowledge)으로 구성이 된다.

  • PDF

A Study on DNN-based STT Error Correction

  • Jong-Eon Lee
    • International journal of advanced smart convergence
    • /
    • 제12권4호
    • /
    • pp.171-176
    • /
    • 2023
  • This study is about a speech recognition error correction system designed to detect and correct speech recognition errors before natural language processing to increase the success rate of intent analysis in natural language processing with optimal efficiency in various service domains. An encoder is constructed to embedded the correct speech token and one or more error speech tokens corresponding to the correct speech token so that they are all located in a dense vector space for each correct token with similar vector values. One or more utterance tokens within a preset Manhattan distance based on the correct utterance token in the dense vector space for each embedded correct utterance token are detected through an error detector, and the correct answer closest to the detected error utterance token is based on the Manhattan distance. Errors are corrected by extracting the utterance token as the correct answer.