• 대한한의학원전학회지
• /
• 제32권3호
• /
• pp.47-57
• /
• 2019

Objectives : We aim to assist in choosing an appropriate method for word extraction when analyzing East Asian Traditional Medical texts based on unsupervised learning. Methods : In order to assign ranks to substrings, we conducted a test using one method(BE:Branching Entropy) for exterior boundary value, three methods(CS:cohesion score, TS:t-score, SL:simple-ll) for interior boundary value, and six methods(BExSL, BExTS, BExCS, CSxTS, CSxSL, TSxSL) from combining them. Results : When Miss Rate(MR) was used as the criterion, the error was minimal when the TS and SL were used together, while the error was maximum when CS was used alone. When number of segmented texts was applied as weight value, the results were the best in the case of SL, and the worst in the case of BE alone. Conclusions : Unsupervised-Learning-Based Word Extraction is a method that can be used to analyze texts without a prepared set of vocabulary data. When using this method, SL or the combination of SL and TS could be considered primarily.

• International Journal of Computer Science & Network Security
• /
• 제23권9호
• /
• pp.120-128
• /
• 2023

In this work, we have presented ATSA, a hierarchical attention deep learning model for Arabic sentiment analysis. ATSA was proposed by addressing several challenges and limitations that arise when applying the classical models to perform opinion mining in Arabic. Arabic-specific challenges including the morphological complexity and language sparsity were addressed by modeling semantic composition at the Arabic morphological analysis after performing tokenization. ATSA proposed to perform phrase-chunks sentiment embedding to provide a broader set of features that cover syntactic, semantic, and sentiment information. We used phrase structure parser to generate syntactic parse trees that are used as a reference for ATSA. This allowed modeling semantic and sentiment composition following the natural order in which words and phrase-chunks are combined in a sentence. The proposed model was evaluated on three Arabic corpora that correspond to different genres (newswire, online comments, and tweets) and different writing styles (MSA and dialectal Arabic). Experiments showed that each of the proposed contributions in ATSA was able to achieve significant improvement. The combination of all contributions, which makes up for the complete ATSA model, was able to improve the classification accuracy by 3% and 2% on Tweets and Hotel reviews datasets, respectively, compared to the existing models.

• 창의정보문화연구
• /
• 제5권2호
• /
• pp.145-156
• /
• 2019

본 연구에서는 명명된 실체 인식 기법에 기초한 정보 추출 모듈을 개발하고 평가하였다. 본 논문의 제시된 목적을 위해, 모듈은 사전 지식 없이 임의의 문서에서 우편 주소 정보를 추출하는 문제에 적용하도록 설계되었다. 정보 기술 실무의 관점에서, 우리의 접근방식은 유니그램 기반 키워드 매칭과 비교하여 일반화된 기법인 확률론적 n-gram(바이오그램 또는 트리그램) 방법이라고 말할 수 있다. 모델을 순차적으로 적용하지 않고 문장검출, 토큰화, POS 태그를 재귀적으로 적용하는 것이 우리의 접근법과 자연어 처리에 채택된 전통적인 방법 사이의 주요한 차이점이다. 이 논문에서는 약 2천 개의 문서를 포함한 시험 결과를 제시한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.441-445
• /
• 2020

토큰화(Tokenization)는 사람이 작성한 자연어 문장을 기계가 잘 이해할 수 있도록 최소 단위인 토큰으로 분리하는 작업을 말하여, 이러한 토큰화는 자연어처리 전반적인 태스크들의 전처리에 필수적으로 사용되고 있다. 최근 자연어처리 분야에서 높은 성능을 보이며, 다양한 딥러닝 모델에 많이 활용되고 있는 SentencePiece 토큰화는 여러 단어에서 공통적으로 출현하는 부분단어들을 기준으로, BPE 알고리즘을 이용하여 문장을 압축 표현하는 토큰화 방법이다. 본 논문에서는 한국어 기반 특허 문헌의 초록 자연어 데이터를 기반으로 SentencePiece를 비롯한 여러 토큰화 방법에 대하여 소개하며, 해당 방법을 응용한 기계번역 (Neural Machine Translation) 태스크를 수행하고, 토큰화 방법별 비교 평가를 통해 특허 분야 자연어 데이터에 최적화된 토큰화 방법을 제안한다. 그리고 본 논문에서 제안한 방법을 사용하여 특허 초록 한-영 기계번역 태스크에서 성능이 향상됨을 보였다.

• 한국정보통신학회논문지
• /
• 제19권3호
• /
• pp.529-536
• /
• 2015

최근 개인정보보호법의 시행으로 개인 정보를 암호화하여 저장하는 메커니즘이 보안 시스템에 적용되고 있다. 개인 정보에 대한 암 복호화 메커니즘을 적용할 경우 초기에 기 저장되어 있는 대용량의 개인 정보를 암호화해야 한다. 이때 서버의 자원 부족이 발생할 수 있다. 또한 많은 시간이 소요된다. 본 논문에서는 위와 같은 문제점을 해결하고자 저 사양 다중 장비를 사용하여 대량의 개인 정보를 분산 병렬처리로 암호화하는 방법을 제안하고 테스트 환경을 구축하여 성능을 측정하였다. 그리고 고 사양 장비의 성능과 비교하였다. 측정 결과 장비를 3대로 확장하여 분산 병렬처리를 수행하는 경우 약 128% 이상, 5대로 확장하였을 경우 158% 이상 성능이 향상되는 것을 확인할 수 있었다.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.742-747
• /
• 2017

본 논문에서는 문장의 분류에 있어 성능이 입증된 word2vec을 활용한 Convolutional Neural Network(CNN) 모델을 기반으로 하여 문서 분류에 적용 시 성능을 향상시키기 위해 doc2vec을 함께 CNN에 적용하고 기반 모델의 구조를 개선한 문서 분류 방안을 제안한다. 먼저 토큰화 방법을 선정하기 위한 초보적인 실험을 통하여, 어절 단위, 형태소 분석, Word Piece Model(WPM) 적용의 3가지 방법 중 WPM이 분류율 79.5%를 산출하여 문서 분류에 유용함을 실증적으로 확인하였다. 다음으로 WPM을 활용하여 생성한 단어 및 문서의 벡터 표현을 기반 모델과 제안 모델에 입력하여 범주 10개의 한국어 신문 기사 분류에 적용한 실험을 수행하였다. 실험 결과, 제안 모델이 분류율 89.88%를 산출하여 기반 모델의 분류율 86.89%보다 2.99% 향상되고 22.80%의 개선 효과를 보였다. 본 연구를 통하여, doc2vec이 동일한 범주에 속한 문서들에 대하여 유사한 문서 벡터 표현을 생성하기 때문에 문서의 분류에 doc2vec을 함께 활용하는 것이 효과적임을 검증하였다.

• 한국비블리아학회지
• /
• 제32권1호
• /
• pp.133-150
• /
• 2021

이 연구의 목적은 공공도서관의 도서 분류를 위해 표제를 대상으로 머신러닝 기법의 적용 가능성을 조사하는데 있다. 데이터 분석은 아나콘다 플랫폼의 쥬피터 노트북을 통하여 파이썬의 싸이킷런 라이브러리를 이용하였다. 한글 형태소 분석을 위해 KoNLPy 분석기와 Okt 클래스를 사용하였다. 분석 대상은 공공도서관의 KORMARC 레코드에서 추출된 2,000건의 표제 필드와 KDC 분류기호(300대와 600대)이었다. 6가지 머신러닝 모델을 이용하여 데이터를 분석한 결과, 도서 분류에 머신러닝 적용 가능성이 있다고 판단되었다. 사용된 모델 중 표제 분류의 정확도는 신경망 모델이 가장 높았다. 표제 분류의 정확도 향상을 위해 도서 표제에 대한 조사와 표제의 토큰화 및 불용어에 대한 연구 필요성을 제안하였다.

• 사물인터넷융복합논문지
• /
• 제8권5호
• /
• pp.17-25
• /
• 2022

최근 종단 장치(Edge Device)의 수가 증가함에 따라 빅데이터가 생성되었고 특히 정제되지 않은 HTML 문서가 증가하고 있다. 따라서 자연어 처리 모델을 이용해 HTML 문서 내에서 중요한 정보를 찾아내는 기계 독해(Machine Reading Comprehension) 기술이 중요해지고 있다. 본 논문에서는 기계 독해의 여러 연구에서 준수한 성능을 보이는 BERT(Bidirectional Encoder Representations from Transformers) 모델이 HTML 문서 구조의 깊이를 효과적으 로 학습할 수 있는 HTDE(HTML Tag Depth Embedding Method)를 제안하였다. HTDE는 BERT의 각 입력 토큰에 대하여 HTML 문서로부터 태그 스택을 생성하고 깊이 정보를 추출한다. 그리고 BERT의 입력 임베딩에 토큰의 깊이를 입력으로하는 HTML 임베딩을 더한다. 이 방법은 문서 구조를 토큰 단위로 표현하여 주변 토큰과의 관계를 식별할 수 있기 때문에 HTML 문서에 대한 BERT의 정확도를 향상시키는 효과가 있다. 마지막으로 실험을 통해 BERT의 기존 임베딩 기법에 비해 HTML 구조에 대한 모델 예측 정확도가 향상됨을 증명하였다.

• 지식경영연구
• /
• 제23권1호
• /
• pp.27-46
• /
• 2022

세계 경제 침체가 불러온 부동산 가격 상승은 현시대의 가장 큰 주목을 받고 있다. 본 연구는 기성세대에 비해 자본이 부족한 MZ 세대를 위해 STO를 활용한 분산투자를 제시하였다. 현존하는 부동산 투자 방식을 온라인, 오프라인, 하이브리드 형식으로 분류하였고 본 연구에서는 제안한 STO의 실효성을 국내외 사례 분석을 통해 제시하였다. STO 프레임워크 분석을 통해 STO의 금융권 도입이 긍정적임을 입증하고, 블록체인 기술의 효율성을 확인하였다. 본 연구의 결과가 기존의 경직된 부동산 투자시장에 블록체인을 적용시키고 MZ 세대의 투자 성향을 반영함으로써 부동산 투자 시장 내 MZ 세대의 진입을 적극 장려해 새로운 부동산 산업의 활기를 가져오기를 기대한다.

• 한국컴퓨터정보학회논문지
• /
• 제14권8호
• /
• pp.65-71
• /
• 2009

월드 와이드 웹의 정보 검색에서 산출되어지는 수많은 정보를 효율적으로 검색하기 위해서 자연어 정보처리가 필수적이다. 이 논문은 텍스트에서 숫자의 의미 파악을 위한 판별기법을 제안한 것이다. 숫자 의미 판별기법은 챠트 파싱 기법과 함께 문맥자유 문법을 활용하여 숫자 스트링과 연관된 접사를 해석하였으며, N-그램 기반의 단어에 의거하여 조직화된 의미 파악을 하도록 설계되었다. 그리고 POS 태거를 사용하여 트라이그램 단어의 제한조건이 자동 인식되도록 시스템을 구성하여, 점진적으로 효율적인 숫자의 의미 파악을 하도록 하였다. 이 논문에서 제안한 숫자 해석 시스템을 실험한 결과, 빈도수 비례 방법은 86.3%의 정확률을 나타냈고 조건수 비례 방법은 82.8%의 정확률을 나타냈다.