• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.197-202
• /
• 2019

토큰화는 입력 텍스트를 더 작은 단위의 텍스트로 분절하는 과정으로 주로 기계 학습 과정의 효율화를 위해 수행되는 전처리 작업이다. 현재까지 자연어 처리 분야 과업에 적용하기 위해 다양한 토큰화 방법이 제안되어 왔으나, 주로 텍스트를 효율적으로 분절하는데 초점을 맞춘 연구만이 이루어져 왔을 뿐, 한국어 데이터를 대상으로 최신 기계 학습 기법을 적용하고자 할 때 적합한 토큰화 방법이 무엇일지 탐구 해보기 위한 연구는 거의 이루어지지 않았다. 본 논문에서는 한국어 데이터를 대상으로 최신 기계 학습 기법인 전이 학습 기반의 자연어 처리 방법론을 적용하는데 있어 가장 적합한 토큰화 방법이 무엇인지 알아보기 위한 탐구 연구를 진행했다. 실험을 위해서는 대표적인 전이 학습 모형이면서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 최종 성능 비교를 위해 토큰화 방법에 따라 성능이 크게 좌우되는 과업 중 하나인 기계 독해 과업을 채택했다. 비교 실험을 위한 토큰화 방법으로는 통상적으로 사용되는 음절, 어절, 형태소 단위뿐만 아니라 최근 각광을 받고 있는 토큰화 방식인 Byte Pair Encoding (BPE)를 채택했으며, 이와 더불어 새로운 토큰화 방법인 형태소 분절 단위 위에 BPE를 적용하는 혼합 토큰화 방법을 제안 한 뒤 성능 비교를 실시했다. 실험 결과, 어휘집 축소 효과 및 언어 모델의 퍼플렉시티 관점에서는 음절 단위 토큰화가 우수한 성능을 보였으나, 토큰 자체의 의미 내포 능력이 중요한 기계 독해 과업의 경우 형태소 단위의 토큰화가 우수한 성능을 보임을 확인할 수 있었다. 또한, BPE 토큰화가 종합적으로 우수한 성능을 보이는 가운데, 본 연구에서 새로이 제안한 형태소 분절과 BPE를 동시에 이용하는 혼합 토큰화 방법이 가장 우수한 성능을 보임을 확인할 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.373-375
• /
• 2021

국어의 경우 교착어이기 때문에 영어와 같이 어절 토큰화를 통하여 태깅할 경우 발전 가능성이 영어 보다 낮은 편이다. KoNLPy를 통해 형태소 단위로 분리하여 코퍼스를 토큰화한 형태를 그래프 데이터 베이스로 표현이 되지만 해당 모듈을 그래프 데이터베이스에서 코퍼스로 변환 시 음성파일의 완전 분리 및 실용성에 대한 검증이 필요하다. 본 논문에서는 Raspberry Pi에서 STT API를 활용한 형태소 표현을 나타내고 있다. 코퍼스로 변환된 음성 파일을 KoNLPy로 형태소 분석 후 태깅한다. 분석된 결과는 그래프 데이터베이스로 표현되며 형태소별로 나누어진 토큰으로 구분할 수 있음이 확인되었고, 실용성과 분리 정도를 판단하여 특정 목적성을 지닌 데이터 마이닝 추출이 가능한 것으로 판단된다.

• 패션비즈니스
• /
• 제28권4호
• /
• pp.1-20
• /
• 2024

The aim of this study was to analyze contemporary sociocultural phenomena and values through characteristics of augmented reality (AR) digital fashion design. The research method included a literature review on the metaverse and augmented reality, combined with a case study using both quantitative analysis through big data text mining and qualitative analysis through constant comparison. Data analysis was conducted using Python-based open-source tools: First, 6,725 data entries were collected from AR digital fashion platforms and brands identified in articles from Vogue and Vogue Business containing keywords of 'augmented reality' and 'digital fashion. Second, text preprocessing involved stop word removal, tokenization, and POS-tagging of nouns and adjectives using the NLTK library. Third, top 50 keywords were extracted through term frequency (TF) and TF-IDF analysis, with results visualized using a word cloud. Fourth, characteristics of products' external design and internal concepts that contained top keywords were classified, with their value examined through repeated comparison. Results indicate that AR digital fashion design has the following characteristics. First, it embodies surreal fantasy through designs that mimic natural biological patterns using 3D scanning and modeling technology. Second, it presents a trans-boundary aspect by utilizing the fluidity of body and space to challenge vertical and discriminatory social structures. Third, it imagines a new future transcending traditional sociocultural concepts by expanding perceptions of space and time based on advanced technological aesthetics. Fourth, it contributes to sustainability by exploring alternatives for the fashion industry in response to climate change and ecological concerns.

• 한국융합학회논문지
• /
• 제12권12호
• /
• pp.39-47
• /
• 2021

효과적인 분절을 통한 양질의 입력 자질 구성은 언어모델의 문장 이해력을 향상하기 위한 필수적인 단계이다. 입력 자질의 품질 제고는 세부 태스크의 성능과 직결된다. 본 논문은 단어와 문장 분류 관점에서 한국어의 언어적 특징을 효과적으로 반영하는 분절 전략을 비교 연구한다. 분절 유형은 언어학적 단위에 따라 어절, 형태소, 음절, 자모 네 가지로 분류하며, RoBERTa 모델 구조를 활용하여 사전학습을 진행한다. 각 세부 태스크를 분류 단위에 따라 문장 분류 그룹과 단어 분류 그룹으로 구분 지어 실험함으로써, 그룹 내 경향성 및 그룹 간 차이에 대한 분석을 진행한다. 실험 결과에 따르면, 문장 분류에서는 단위의 언어학적 분절 전략을 적용한 모델이 타 분절 전략 대비 최대 NSMC: +0.62%, KorNLI: +2.38%, KorSTS: +2.41% 높은 성능을, 단어 분류에서는 음절 단위의 분절 전략이 최대 NER: +0.7%, SRL: +0.61% 높은 성능을 보임으로써, 각 분류 그룹에서의 효과성을 보여준다.

• 기록학연구
• /
• 제70호
• /
• pp.85-117
• /
• 2021

이 연구의 목적은 지방자치단체에서 사용하고 있는 단위과제 현황, 단위과제 운영 및 기록관리 관점의 문제점을 조사 및 분석하여 그 과정에서 도출된 시사점들을 기반으로 텍스트 기반 빅데이터 기술을 활용하여 문제점에 대한 개선방안을 제시하는 것이다. 지방자치단체는 단위과제의 오분류로 인한 보존기간 책정 오류, 과공통사무와 기관공통사무의 유형식별 불가, 단위과제의 과대·과소·중복생성의 오류, 단위과제 명칭의 오류, 참고 가능한 표준의 부재, 통제 가능한 시스템 또는 도구의 부재 등으로 인해 기록관리 운영상 심각한 상태에 놓여 있다. 그러나 단위과제의 수가 약 72만개로 지나치게 많은 수량 때문에 효과적으로 통제할 수 없는 실정이며, 따라서 엄밀하고 통제할 수 있는 도구 및 표준이 필요하다. 본 연구에서는 이와 같은 문제점을 해결하기 위하여 빅데이터 분석 기술 중 텍스트기반 분석 도구인 코퍼스와 토큰화 기술을 적용한 시스템을 개발하고, 이를 기록관리기준표를 구성하고 있는 명칭 및 구성용어에 적용하였다. 이러한 단위과제 운영 지원도구는 통일성 있는 보존 기간 책정, 위임사무 기록물 식별, 중복·유사단위과제 생성 통제, 공통 과제의 표준적인 운영 등을 지원할 수 있는 도구가 될 수 있어 기록관리 업무에 상당한 기여를 할 수 있을 것으로 예상된다. 따라서 향후 빅데이터 분석 방법론을 활용한 지원도구가 BRM 및 RMS 등과 연계할 수 있다면 기록관리기준표 관리 업무의 품질이 높아질 수 있을 것으로 보인다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권9호
• /
• pp.419-430
• /
• 2023

대체 불가능 토큰 (NFT: non-fungible Token)은 분할할 수 없다는 고유한 특징을 가지고 있다. 현재 NFT는 디지털 콘텐츠에 대한 소유권 증명 이상의 용도가 명확하지 않고, 토큰의 유동성이 거의 없으며, 이로 인한 가격의 예측이 어렵다. 현실에서의 부동산은 대개 가격이 매우 높은 특징으로 인해 투자 진입장벽이 매우 높다. 현물 부동산을 NFT 화하고, FT (fungible token)으로 분할하면 유동성의 증가, 접근성의 증가에 따른 투자자 커뮤니티 볼륨의 증가를 기대할 수 있다. 본 논문은 일반 투자자들이 개별적으로 구매하기 어려운 현물 부동산을 대량의 FT로 분할하고 이를 Black Litterman 모델 기반의 Portfolio 투자 인터페이스를 통해 투자할 수 있는 시스템을 설계하고 구현하였다. 이를 위해, 현물 부동산을 담보로 페깅하고, 보안적으로 안전한 블록체인인 NFT로 발행한다. 상시 변경되는 부동산 가격을 모니터링하기 위한 오라클을 사용하여, 외부 부동산 정보를 블록체인에 반영할 수 있도록 하였다. 현물 부동산 가격을 그대로 유지하고 있는 NFT를 낮은 가격의 대량 FT로 분할함으로써, 큰 유동성을 제공하고 가격 변동성 제한을 두었다. 이를 통해, 높은 가격으로 인해 투자하기 어려웠던 일반 소액 투자자들이 쉽게 투자할 수 있도록 하였다. 또한 소액 투자로 여러 개의 복수 현물 부동산에 투자하기 위한 효과적인 포트폴리오 구성을 위한 자산 포트폴리오 인터페이스를 구현하였다. 이는 Black Litterman 모델을 활용하여, 다수의 현물 부동산 NFT에 대한 투자 비율을 최적화할 수 있는 목적을 가진다. 전체 시스템은 Solidity 언어로 작성한 smart contract, Flask 웹 프레임워크, 공공데이터포털의 "국토교통부_아파트매매 실거래자료 Open API"를 활용하였다.