• 제목/요약/키워드: Tokenization

검색결과 33건 처리시간 0.017초

한국어 단어 및 문장 분류 태스크를 위한 분절 전략의 효과성 연구 (A Comparative study on the Effectiveness of Segmentation Strategies for Korean Word and Sentence Classification tasks)

  • 김진성;김경민;손준영;박정배;임희석
    • 한국융합학회논문지
    • /
    • 제12권12호
    • /
    • pp.39-47
    • /
    • 2021
  • 효과적인 분절을 통한 양질의 입력 자질 구성은 언어모델의 문장 이해력을 향상하기 위한 필수적인 단계이다. 입력 자질의 품질 제고는 세부 태스크의 성능과 직결된다. 본 논문은 단어와 문장 분류 관점에서 한국어의 언어적 특징을 효과적으로 반영하는 분절 전략을 비교 연구한다. 분절 유형은 언어학적 단위에 따라 어절, 형태소, 음절, 자모 네 가지로 분류하며, RoBERTa 모델 구조를 활용하여 사전학습을 진행한다. 각 세부 태스크를 분류 단위에 따라 문장 분류 그룹과 단어 분류 그룹으로 구분 지어 실험함으로써, 그룹 내 경향성 및 그룹 간 차이에 대한 분석을 진행한다. 실험 결과에 따르면, 문장 분류에서는 단위의 언어학적 분절 전략을 적용한 모델이 타 분절 전략 대비 최대 NSMC: +0.62%, KorNLI: +2.38%, KorSTS: +2.41% 높은 성능을, 단어 분류에서는 음절 단위의 분절 전략이 최대 NER: +0.7%, SRL: +0.61% 높은 성능을 보임으로써, 각 분류 그룹에서의 효과성을 보여준다.

빅데이터 분석 방법론을 활용한 지방자치단체 단위과제 운영 지원도구 개발 연구 (Research on Development of Support Tools for Local Government Business Transaction Operation Using Big Data Analysis Methodology)

  • 김다빈;이은정;류한조
    • 기록학연구
    • /
    • 제70호
    • /
    • pp.85-117
    • /
    • 2021
  • 이 연구의 목적은 지방자치단체에서 사용하고 있는 단위과제 현황, 단위과제 운영 및 기록관리 관점의 문제점을 조사 및 분석하여 그 과정에서 도출된 시사점들을 기반으로 텍스트 기반 빅데이터 기술을 활용하여 문제점에 대한 개선방안을 제시하는 것이다. 지방자치단체는 단위과제의 오분류로 인한 보존기간 책정 오류, 과공통사무와 기관공통사무의 유형식별 불가, 단위과제의 과대·과소·중복생성의 오류, 단위과제 명칭의 오류, 참고 가능한 표준의 부재, 통제 가능한 시스템 또는 도구의 부재 등으로 인해 기록관리 운영상 심각한 상태에 놓여 있다. 그러나 단위과제의 수가 약 72만개로 지나치게 많은 수량 때문에 효과적으로 통제할 수 없는 실정이며, 따라서 엄밀하고 통제할 수 있는 도구 및 표준이 필요하다. 본 연구에서는 이와 같은 문제점을 해결하기 위하여 빅데이터 분석 기술 중 텍스트기반 분석 도구인 코퍼스와 토큰화 기술을 적용한 시스템을 개발하고, 이를 기록관리기준표를 구성하고 있는 명칭 및 구성용어에 적용하였다. 이러한 단위과제 운영 지원도구는 통일성 있는 보존 기간 책정, 위임사무 기록물 식별, 중복·유사단위과제 생성 통제, 공통 과제의 표준적인 운영 등을 지원할 수 있는 도구가 될 수 있어 기록관리 업무에 상당한 기여를 할 수 있을 것으로 예상된다. 따라서 향후 빅데이터 분석 방법론을 활용한 지원도구가 BRM 및 RMS 등과 연계할 수 있다면 기록관리기준표 관리 업무의 품질이 높아질 수 있을 것으로 보인다.

부동산 유동화 NFT와 FT 분할 거래 시스템 설계 및 구현 (Real Estate Asset NFT Tokenization and FT Asset Portfolio Management)

  • 김영근;김성환
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권9호
    • /
    • pp.419-430
    • /
    • 2023
  • 대체 불가능 토큰 (NFT: non-fungible Token)은 분할할 수 없다는 고유한 특징을 가지고 있다. 현재 NFT는 디지털 콘텐츠에 대한 소유권 증명 이상의 용도가 명확하지 않고, 토큰의 유동성이 거의 없으며, 이로 인한 가격의 예측이 어렵다. 현실에서의 부동산은 대개 가격이 매우 높은 특징으로 인해 투자 진입장벽이 매우 높다. 현물 부동산을 NFT 화하고, FT (fungible token)으로 분할하면 유동성의 증가, 접근성의 증가에 따른 투자자 커뮤니티 볼륨의 증가를 기대할 수 있다. 본 논문은 일반 투자자들이 개별적으로 구매하기 어려운 현물 부동산을 대량의 FT로 분할하고 이를 Black Litterman 모델 기반의 Portfolio 투자 인터페이스를 통해 투자할 수 있는 시스템을 설계하고 구현하였다. 이를 위해, 현물 부동산을 담보로 페깅하고, 보안적으로 안전한 블록체인인 NFT로 발행한다. 상시 변경되는 부동산 가격을 모니터링하기 위한 오라클을 사용하여, 외부 부동산 정보를 블록체인에 반영할 수 있도록 하였다. 현물 부동산 가격을 그대로 유지하고 있는 NFT를 낮은 가격의 대량 FT로 분할함으로써, 큰 유동성을 제공하고 가격 변동성 제한을 두었다. 이를 통해, 높은 가격으로 인해 투자하기 어려웠던 일반 소액 투자자들이 쉽게 투자할 수 있도록 하였다. 또한 소액 투자로 여러 개의 복수 현물 부동산에 투자하기 위한 효과적인 포트폴리오 구성을 위한 자산 포트폴리오 인터페이스를 구현하였다. 이는 Black Litterman 모델을 활용하여, 다수의 현물 부동산 NFT에 대한 투자 비율을 최적화할 수 있는 목적을 가진다. 전체 시스템은 Solidity 언어로 작성한 smart contract, Flask 웹 프레임워크, 공공데이터포털의 "국토교통부_아파트매매 실거래자료 Open API"를 활용하였다.