• 제목/요약/키워드: Word Input

검색결과 225건 처리시간 0.028초

사용자 사전과 형태소 토큰을 사용한 트랜스포머 기반 형태소 분석기 (A Morpheme Analyzer based on Transformer using Morpheme Tokens and User Dictionary)

  • 김동현;김도국;김철희;신명선;서영덕
    • 스마트미디어저널
    • /
    • 제12권9호
    • /
    • pp.19-27
    • /
    • 2023
  • 형태소는 한국어에서 의미를 가진 최소단위이기 때문에, 한국어 언어모델의 성능을 높이기 위해서는 정확한 형태소 분석기의 개발이 필요하다. 기존의 형태소 분석기는 대부분 어절 단위 토큰을 입력 값으로 학습하여 형태소 분석 결과를 제시한다. 하지만 한국어의 어절은 어근에 조사나 접사가 부착된 형태이기 때문에 어근이 같은 어절이어도 조사나 접사로 인해 의미가 달라지는 성향이 있다. 따라서 어절 단위 토큰을 사용하여 형태소를 학습하면 조사나 접사에 대한 오분류가 발생할 수 있다. 본 논문에서는 형태소 단위의 토큰을 사용하여 한국어 문장에 내재된 의미를 과악하고, Transformer를 사용한 시퀀스 생성 방식의 형태소 분석기를 제안한다. 또한, 미등록 단어 문제를 해결하기 위해 학습 말뭉치 데이터를 기반으로 사용자 사전을 구축하였다. 실험 과정에서 각 형태소 분석기가 출력 한 형태소와 품사 태그를 함께 정답 데이터와 비교하여 성능을 측정하였으며, 실험 결과 본 논문에서 제시한 형태소 분석기가 기존 형태소 분석기에 비해 성능이 높음을 증명하였다.

e-커머스 플랫폼 판매자 신호가 수익에 미치는 영향: 키워드 구체성의 조절 효과를 중심으로 (The Effect of E-commerce Platform Seller Signals on Revenue: Focusing on the Moderating Effect of Keyword Specificity)

  • 이중원;유재현
    • 경영정보학연구
    • /
    • 제25권2호
    • /
    • pp.103-123
    • /
    • 2023
  • e-커머스 플랫폼 문헌에서 유효한 관점 중 하나는 정보 비대칭 상황에서의 판매자 신호전략이다. 본 연구에서는 판매자의 신호전략이 소비자의 의사결정에 미치는 영향을 체계적으로 탐색하기 위해 신호이론과 쇼핑목표이론을 기반으로 연구모델을 구성하였다. 구체적으로 소비자의 쇼핑 목표에 따라 판매자가 제공하는 신호 효과(i.e., 평판, 온라인 구전 비율, 가격)에 차이가 있는지 분석하였다. 실증분석을 위해서는 대표적인 e-커머스 플랫폼인 아마존을 대상으로 26,246개의 데이터를 수집하여 가우시안 코플라 방법을 활용하였다. 분석결과, 판매자가 제공하는 신호는 수익에 긍정적인 영향을 미치는 것으로 나타났으며, 이러한 효과는 소비자의 쇼핑목표에 따라 조절되는 것으로 분석되었다. 본 연구는 쇼핑목표이론을 기반으로 소비자가 입력하는 키워드에 따라 판매자의 신호전략 효과에 차이가 있다는 점을 발견함으로써 신호이론 및 전자상거래 문헌에 기여하였다.

Memory Organization for a Fuzzy Controller.

  • Jee, K.D.S.;Poluzzi, R.;Russo, B.
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1993년도 Fifth International Fuzzy Systems Association World Congress 93
    • /
    • pp.1041-1043
    • /
    • 1993
  • Fuzzy logic based Control Theory has gained much interest in the industrial world, thanks to its ability to formalize and solve in a very natural way many problems that are very difficult to quantify at an analytical level. This paper shows a solution for treating membership function inside hardware circuits. The proposed hardware structure optimizes the memoried size by using particular form of the vectorial representation. The process of memorizing fuzzy sets, i.e. their membership function, has always been one of the more problematic issues for the hardware implementation, due to the quite large memory space that is needed. To simplify such an implementation, it is commonly [1,2,8,9,10,11] used to limit the membership functions either to those having triangular or trapezoidal shape, or pre-definite shape. These kinds of functions are able to cover a large spectrum of applications with a limited usage of memory, since they can be memorized by specifying very few parameters ( ight, base, critical points, etc.). This however results in a loss of computational power due to computation on the medium points. A solution to this problem is obtained by discretizing the universe of discourse U, i.e. by fixing a finite number of points and memorizing the value of the membership functions on such points [3,10,14,15]. Such a solution provides a satisfying computational speed, a very high precision of definitions and gives the users the opportunity to choose membership functions of any shape. However, a significant memory waste can as well be registered. It is indeed possible that for each of the given fuzzy sets many elements of the universe of discourse have a membership value equal to zero. It has also been noticed that almost in all cases common points among fuzzy sets, i.e. points with non null membership values are very few. More specifically, in many applications, for each element u of U, there exists at most three fuzzy sets for which the membership value is ot null [3,5,6,7,12,13]. Our proposal is based on such hypotheses. Moreover, we use a technique that even though it does not restrict the shapes of membership functions, it reduces strongly the computational time for the membership values and optimizes the function memorization. In figure 1 it is represented a term set whose characteristics are common for fuzzy controllers and to which we will refer in the following. The above term set has a universe of discourse with 128 elements (so to have a good resolution), 8 fuzzy sets that describe the term set, 32 levels of discretization for the membership values. Clearly, the number of bits necessary for the given specifications are 5 for 32 truth levels, 3 for 8 membership functions and 7 for 128 levels of resolution. The memory depth is given by the dimension of the universe of the discourse (128 in our case) and it will be represented by the memory rows. The length of a world of memory is defined by: Length = nem (dm(m)+dm(fm) Where: fm is the maximum number of non null values in every element of the universe of the discourse, dm(m) is the dimension of the values of the membership function m, dm(fm) is the dimension of the word to represent the index of the highest membership function. In our case then Length=24. The memory dimension is therefore 128*24 bits. If we had chosen to memorize all values of the membership functions we would have needed to memorize on each memory row the membership value of each element. Fuzzy sets word dimension is 8*5 bits. Therefore, the dimension of the memory would have been 128*40 bits. Coherently with our hypothesis, in fig. 1 each element of universe of the discourse has a non null membership value on at most three fuzzy sets. Focusing on the elements 32,64,96 of the universe of discourse, they will be memorized as follows: The computation of the rule weights is done by comparing those bits that represent the index of the membership function, with the word of the program memor . The output bus of the Program Memory (μCOD), is given as input a comparator (Combinatory Net). If the index is equal to the bus value then one of the non null weight derives from the rule and it is produced as output, otherwise the output is zero (fig. 2). It is clear, that the memory dimension of the antecedent is in this way reduced since only non null values are memorized. Moreover, the time performance of the system is equivalent to the performance of a system using vectorial memorization of all weights. The dimensioning of the word is influenced by some parameters of the input variable. The most important parameter is the maximum number membership functions (nfm) having a non null value in each element of the universe of discourse. From our study in the field of fuzzy system, we see that typically nfm 3 and there are at most 16 membership function. At any rate, such a value can be increased up to the physical dimensional limit of the antecedent memory. A less important role n the optimization process of the word dimension is played by the number of membership functions defined for each linguistic term. The table below shows the request word dimension as a function of such parameters and compares our proposed method with the method of vectorial memorization[10]. Summing up, the characteristics of our method are: Users are not restricted to membership functions with specific shapes. The number of the fuzzy sets and the resolution of the vertical axis have a very small influence in increasing memory space. Weight computations are done by combinatorial network and therefore the time performance of the system is equivalent to the one of the vectorial method. The number of non null membership values on any element of the universe of discourse is limited. Such a constraint is usually non very restrictive since many controllers obtain a good precision with only three non null weights. The method here briefly described has been adopted by our group in the design of an optimized version of the coprocessor described in [10].

  • PDF

스택-포인터 네트워크와 부분 트리 정보를 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing Using Stack-Pointer Networks and Subtree Information)

  • 최용석;이공주
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권6호
    • /
    • pp.235-242
    • /
    • 2021
  • 본 연구에서는 포인터 네트워크 모델을 의존 구문 분석에 맞게 확장한 스택-포인터 네트워크 모델을 이용하여 한국어 의존 구문 분석기를 구현한다. 스택-포인터 네트워크 모델 기반 의존 구문 분석기는 인코더-디코더로 구성되어 있으며 다른 의존 구문 분석기와 달리 내부 스택을 갖고 있어 루트부터 시작하는 하향식 구문 분석이 가능하다. 디코더의 각 단계에서는 의존소를 찾기 위해 부모 노드뿐만 아니라 이미 파생된 트리 구조에서 조부모와 형제 노드를 참조할 수 있다. 기존 연구에서는 단순하게 해당 노드들의 합을 계산하여 입력으로 사용하였고, 형제 노드의 경우에는 가장 최근에 방문했던 것만을 사용할 수 있었다. 본 연구에서는 그래프 어텐션 네트워크를 도입하여 이미 파생된 부분 트리를 표현하고 이를 스택-포인터 네트워크의 입력으로 사용하도록 구문 분석기를 수정한다. 세종 코퍼스와 모두의 코퍼스를 대상을 실험한 결과 레이어 2의 그래프 어텐션 네트워크를 이용하여 부분 트리를 표현했을 때 특히 문장 단위의 구문 분석 정확도에서 많은 성능 향상을 확인할 수 있었다.

Radix 4 Polar code의 부호 및 복호 (Encoding & Decoding of Radix 4 Polar Code)

  • 이문호;최은지;양재승;박주용
    • 대한전자공학회논문지TC
    • /
    • 제46권10호
    • /
    • pp.14-27
    • /
    • 2009
  • Polar code는 터키 Erdal Arikan교수가 2006년 입력된 채널을 나누면 Cutoff Rate이 향상되는데 착안하여 Polar code를 제안했다. 채널분극은 주어진 B-DMC(Binary-input Discrete Memoryless Channel) W에서 대칭 용량의 높은 비율을 가진 연속적인 code로 이루어져 있다. 대칭 용량은 동등한 확률을 가진 채널의 입력을 이용하여 높은 비율을 얻는데 채널분극은 주어진 B-DMC W의 N개의 독립적인 출력을 모은 것이다. 즉, N은 Binary입력 채널 {$W^{(i)}_N\;:\;1{\leq}\;i\;{\leq}\;N$} 일 때, N이 커지게 되고, I{WN(i)}에서 값이 1에 가까워지면 그 값은 I(W)로 접근되고, I{WN(i)} 값이 0에 가까워지면 1-I(W)에 접근된다. 여기에서 I(W)는 신뢰성 있는 통신상에서의 동등한 주파수를 가진 W의 입력으로 높은 비율을 나타낸다. 이로써 {WN(i)}는 결국 채널코딩을 위한 적합한 상태라고 볼 수 있다. Polar code를 바탕으로, 본 논문은 Arikan의 Polar code의 부호화와 복호화를 분석하고 새롭게 Radix4의 Polar code 부호화를 제안했다.

텍스트 마이닝을 이용한 특허정보검색 개발에 관한 연구 (A Study on Development of Patent Information Retrieval Using Textmining)

  • 고광수;정원교;신영근;박상성;장동식
    • 한국산학기술학회논문지
    • /
    • 제12권8호
    • /
    • pp.3677-3688
    • /
    • 2011
  • 특허정보검색의 목적은 다양한 목적성을 지니고 있다. 일반적으로 특허정보검색은 제한된 키워드들에 의한 검색으로 이루어지며, 선행 특허권과 유사특허를 파악하기 위하여 반복적인 검색과 검토의 노력이 필요하다. 본 논문에서는 특허문서의 전체 텍스트를 분석하여 특징치를 찾아내는 내용기반 검색방법을 제안하고 검색결과를 질의문서와 유사한 문서 순으로 우선 배치하여 검색에 효율을 높일 수 있는 방법을 제안한다. 즉, 제안된 알고리즘은 텍스트 분석과정을 통해 각 문서별로 특징치가 부여되고 문서 간 특징치 비교를 통해 유사문서를 찾고 문서를 랭킹하여 유사정보를 제공한다. 텍스트 분석과정은 Stop-word과정, 핵심단어 추출과정, 핵심단어 가중치 산출 과정으로 이루어진다. 실험결과에서는 정확도 측정을 실시하여 일반검색엔진과 본 논문에서 제안한 알고리즘의 검색 정확도를 비교하였다. 본 논문은 검색결과를 질의한 문서와 유사한 문서 순으로 랭킹하기 때문에 검색이용자가 검색결과 검토과정에서 유사한 문서를 먼저 검토할 수 있도록 하여 검토시간을 줄이고 검색의 효율을 높일 수 있다. 또한 특허문서 전체 텍스트를 입력받아 사용하기 때문에 특허검색에 익숙하지 않는 이용자도 검색을 쉽고 빠르게 이용할 수 있다. 그리고 내용 기반 검색이 이루어지기 때문에 키워드 및 검색 식을 이용하는 방법보다 검색범위를 넓힐 수 있어서 검색에 누락되는 데이터를 줄일 수 있는 효과를 가진다.

핵심어 검출을 위한 단일 끝점 DTW알고리즘 (A Single-End-Point DTW Algorithm for Keyword Spotting)

  • 최용선;오상훈;이수영
    • 대한전자공학회논문지SP
    • /
    • 제41권3호
    • /
    • pp.209-219
    • /
    • 2004
  • 본 논문에서는 핵심어 검출 시스템을 실시간 적용이 가능한 하드웨어로 구현하기 위해 연산량이 적고 구조가 간단한 단일 끝점 DTW 방법을 제안한다. 제안된 알고리즘은 일반적 DTW가 양쪽 끝점을 요구하는데 비하여 단지 한쪽 끝점만 필요하므로 이용하기에 편리하며, 국부 검색의 연속이 전역 경로를 이루게 되므로 매우 적은 연산량을 가진다. 그리고, 제안한 단일 끝점 DTW가 보다 나은 성능을 지니도록 하기 위해 새로운 경사 가중치와 거리 측정법을 가지도록 하였다. 이외에도, 단일 끝점 DTW는 특징벡터 정규화를 적용하여 특징벡터 각각의 차원에서 데이터들이 같은 표준편차를 가지게 하며 모든 프레임이 같은 에너지를 가지도록 정규화 되었다 또한, 주어진 학습 패턴들에 클러스터링을 적용한 후, 각 클러스터 내에서 평균을 계산하여 구한 패턴을 해당 핵심어를 대표하는 여러 개의 기준패턴으로 삼았다. 이러한 기준패턴들과 입력 음성의 특징벡터가 이미 정해진 문턱값 보다 작은 거리 내에 있을 때 핵심어는 검출된다. 제안된 알고리즘을 고립단어 음성인식과 핵심어 검출 실험에 적용하여 다른 방법을 이용한 결과보다 성능이 뛰어남을 확인하였다.

한국어 연결단어의 이음소 인식과 어절 형성에 관한 연구 (A Study on the Diphone Recognition of Korean Connected Words and Eojeol Reconstruction)

  • 김경선;정홍
    • 한국음향학회지
    • /
    • 제14권4호
    • /
    • pp.46-63
    • /
    • 1995
  • 본 논문에서는 시간지연신경망을 이용한 한국어 무제한 어휘 연결단어 인식 시스템에 대해 기술하였다. 인식단위로는 인접한 두음소의 천이과정을 포한하는 이음소 (diphone)를 사용하였으며 그 개수는 329개이다. 한국어 연결단어 인식과정은 음성신호의 특징 추출 과정, 이음소 인식과정과 후처리 과정의 세 단계로 구분된다. 특징 추출 단계에서는 입력 음성의 이음소 구간을 분리하여 16차의 필터밸크 (filter-bank) 계수를 구한다. 이음소 인식은 3단계의 계층적 구조로 이루어졌으며 총 30개의 시간지연신경망을 이용해 이음소를 인식한다. 특히, 사용된 시간지연신경망은 인식률을 높이기 위하여 기존의 시간 지연신경망 구조를 변경하였다. 후처리 단계는 음소 천이확률과 음소 혼동확률을 이용한 이음소 오인식 수정과정과 인식된 이음소를 결합하여 어절을 형성하는 과정으로 이루어진다.

  • PDF

한국어 화자의 영어 어말 폐쇄음 파열의 인지와 발음 연구 (Korean speakers' perception and production of English word-final voiceless stop release)

  • 이보림;이숙향;박천배;강석근
    • 대한음성학회지:말소리
    • /
    • 제38호
    • /
    • pp.41-70
    • /
    • 1999
  • Researches on perception have, in recent years, been increasingly popular as a means of accounting for cross-linguistic sound patterns (Ohala, 1992; Hemming, 1995; Jun, 1995; Steriade, 1997 among others). In loanword phonology, Silverman(1990, 1992) argues that words from a source language are scanned through the perceptual level and that the features perceived by a speaker are stored in the input to be processed according to his/her native language's phonological constraints. The purpose of this paper is to test the validity of Silverman's proposal by examining the correlation between perception and production of Korean learners of English. We specifically focussed on perception and production of stop release by contrasting English loanwords with English words loarned through education to see if there were any significant differences. The results showed that there was no substantive correlation between the Korean speakers' perception of the loanwords pronounced by English speakers and their own production of those words. In the case of English words, however, the Korean speakers' production was closely related with their perception, although some inter-speaker variations were observed. With Optimality Theory (Prince & Smolenksy, 1993) as a theoretical framework of analysis, it was shown that the theory is a useful means of implementing a phonetics-phonology interface and relating perceptual processes with speech production. Specifically, under the assumption that loanwords with [t]~[t/sup h/] alternation (e.g.,'cut') are originally borrowed into Korean as two different input forms, all the alternations could be straightforwardly accounted for in terms of a unified ranking of constraints.

  • PDF

트리 구조를 이용한 수식 인식 연구 (A Study on Equation Recognition Using Tree Structure)

  • 박병준;김현식;김완태
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권4호
    • /
    • pp.340-345
    • /
    • 2018
  • 수식은 일반 문장에 비해 복잡한 구조와 다양한 문자와 기호가 사용되어 단순한 키보드 입력만으로는 모든 문자 집합을 입력할 수 없어 한글이나 워드 같은 문서편집기 내에서도 자체적으로 구현된 수식 편집기를 사용하고 있다. 수식을 올바르게 표현하기 위해 구문을 해석할 수 있는 의미가 될 수 있는 사전 학습 정보가 필요하다. 문자가 입력되더라도 크기와 위치 서로간의 관계에 따라 다른 수식으로 표현될 수 있기 때문이다. 즉 표현될 위치와 크기 등 문자와 기호들 간의 상호관계를 고려하여 수식의 형태를 트리 모델로 표현한다. 문자인식 응용의 한 분야로 문자나 기호(부호)를 인식하는 기술을 이미 널리 알려졌지만, 수식을 입력과 해석하는 방법은 일반적인 텍스트에 비해 복잡한 분석 과정이 필요하다. 본 논문에서는 수식의 문자를 인식하고 표현되는 위치와 크기의 결정을 빠르게 해석하는 수식 인식기를 구현하였다.