• Title/Summary/Keyword: 토큰화 처리

Search Result 43, Processing Time 0.025 seconds

Effective Payload-based Anomaly Detection Method Using Pre-trained Model (사전학습 모델을 활용한 효과적인 Http Payload 이상 탐지 방법)

  • LEE, Unggi;KIM, Wonchul
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.228-230
    • /
    • 2022
  • 딥러닝 기반의 인공지능 기술이 발달함에 따라 이상 탐지 방법에도 딥러닝이 적용되었다. 네트워크 트래픽으로부터 요약 및 집계된 Feature 를 학습하는 방법과 Packet 자체를 학습하는 등의 방법이 있었다. 그러나 모두 정보의 제한적으로 사용한다는 단점이 있었다. 본 연구에서는 Http Request에 대한 사전학습 기반의 효과적인 이상 탐지 방법을 제안한다. 사전학습에 고려되는 토큰화 방법, Padding 방법, Feature 결합 방법, Feature 선택 방법과 전이학습 시 Numerical 정보를 추가하는 방법을 소개하고 각 실험을 통해 최적의 방법을 제안한다.

Design and Implementation of Flexible Event Parsing Engine (유연성 있는 이벤트 파싱 엔진의 설계 및 구현)

  • Yun, Tae-Woong;Min, Dug-Ki
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05a
    • /
    • pp.189-192
    • /
    • 2003
  • 분산 시스템의 관리를 위해서 시스템 내의 각 컴포넌트에서 발생되는 많은 이벤트 중에 의미 있는 이벤트를 효과적으로 찾아내는 이벤트 파싱 엔진이 필요하다. 본 논문에서는 유연성 있는 이벤트 파싱 엔진을 제안한다. 특히 이벤트 파싱 엔진의 내부 구현을 위해서 기존의 룰 기반 접근방법을 변형한 새로운 접근방법을 제시한다. 본 엔진에서는 룰의 조건과 액션을 스크립트 객체화한 스크립트 객체 기반 접근방법과 룰에 해당하는 이벤트들을 찾아낼 때 보다 효과적이 검색을 지원하는 이벤트 토큰 기반 방식을 사용한다.

  • PDF

Large Vocabulary Continuous Speech Recognition Based on Language Model Network (언어 모델 네트워크에 기반한 대어휘 연속 음성 인식)

  • 안동훈;정민화
    • The Journal of the Acoustical Society of Korea
    • /
    • v.21 no.6
    • /
    • pp.543-551
    • /
    • 2002
  • In this paper, we present an efficient decoding method that performs in real time for 20k word continuous speech recognition task. Basic search method is a one-pass Viterbi decoder on the search space constructed from the novel language model network. With the consistent search space representation derived from various language models by the LM network, we incorporate basic pruning strategies, from which tokens alive constitute a dynamic search space. To facilitate post-processing, it produces a word graph and a N-best list subsequently. The decoder is tested on the database of 20k words and evaluated with respect to accuracy and RTF.

Petri net based ETL Process Modeling (페트리넷 기반의 ETL프로세스 모델링)

  • Jung, Sung-Jae;Choe, Yun-Ho;Hwang, Jongha;Kim, Dong-Hoon;Lee, Hwasik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1239-1241
    • /
    • 2015
  • ETL(Extraction, Transformation, Loading)작업은 데이터웨어하우스 시스템 구축 및 유지관리 뿐만 아니라 차세대 정보시스템 구축의 핵심 프로세스에 해당한다. 특히 차세대 정보시스템 구축에 있어서 ETL 작업의 성능은 시스템오픈의 성패를 좌우하는 중요한 요소이다. 일반적으로 차세대시스템 구축의 데이터 전환을 위해 수행되는 ETL작업은 대용량데이터에 대한 다양한 형태의 데이터변형 과정을 수반하며 반드시 정해진 시간안에 완료되어야 한다. 또한, 수 많은 원천 집합을 추출하여 타겟시스템의 형태에 맞게 변형 및 적재하는 작업은 한정된 컴퓨팅 자원내에서 수행되어야 한다. 따라서 자원성능을 고려한 ETL작업 스케줄 최적화는 데이터전환 작업에 있어 필수적인 고려사항이 된다. 이 연구에서는 가용한 물리자원을 최대한 활용하여 ETL 프로세스의 처리능(throughput)을 최대화 하는데 초점을 맞추어, ETL프로세스를 페트리넷을 이용해 모델링하는 기법을 제시한다. 이 모델에는 ETL 프로세스가 수행될 서버의 컴퓨팅자원이 토큰화(tokenize)되어 포함된다. 이 모델을 기반으로 가용자원을 최대한 활용하면서도 자원병목이 발생하지 않는 수준으로 ETL 작업이 수행될 수 있도록 프로세스를 제어할 수 있는 방안을 제시한다.

HFN-Based Right Management for IoT Health Data Sharing (IoT 헬스 데이터 공유를 위한 HFN 기반 권한 관리)

  • Kim, Mi-sun;Park, Yongsuk;Seo, Jae-Hyun
    • Smart Media Journal
    • /
    • v.10 no.1
    • /
    • pp.88-98
    • /
    • 2021
  • As blockchain technology has emerged as a security issue for IoT, technology which integrates block chain into IoT is being studied. In this paper is a research concerning token-based IoT service access control technology for data sharing, which propose a possessor focused data sharing technic by using the permissioned blockchain. To share IoT health data, a Hyperledger Fabric Network consisting of three organizations was designed to provide a way to share data by applying different access control policies centered on device owners for different services. In the proposed system, the device owner issues access control tokens with different security levels applied to the participants in the organization, and the token issue information is shared through the distributed ledger of the HFN. In IoT, it is possible to lightweight the access control processing of IoT devices by granting tokens to service requesters who request access to data. Furthmore, by sharing token issuance information among network participants using HFN, the integrity of the token is guaranteed and all network participants can trust the token. The device owners can trust that their data is being used within their authorized rights, and control the collection and use of data.

A Method of Distributed Parallel Processing based on Multi-Server for Improving Encryption Performance (암호화 성능 향상을 위한 다중장비 기반 분산 병렬 처리 방법)

  • Kim, Hyun-Wook;Park, Sung-Eun;Euh, Sung-Yul
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.19 no.3
    • /
    • pp.529-536
    • /
    • 2015
  • As personal information protection act was recently enforced, a mechanism which saves encrypted personal information has been used to Information Security systems. To use the mechanism, a millions of personal information which are already saved on the system first have to be encrypted. At the moment, it may cause a resource scarcity on server, and also take a lot of time. Thus, this paper suggests a way to encrypt millions of personal information by using multi-server with low specifications and measures its performance on test environment. And, I was compared with the performance of high- specification server. As a compared result, the mechanism with three devices by parallel and distributed processing improved its performance by 128%, and the mechanism with five devices by the same processing improved its performance by 158%.

A Communication Module for Distributed Strategic Games (분산형 전략 시뮬레이션 게임을 위한 통신모듈)

  • 노기남;심중표;송동호
    • Proceedings of the Korea Database Society Conference
    • /
    • 1995.12a
    • /
    • pp.127-131
    • /
    • 1995
  • 응용프로그램과 통신처리 프로그램간의 접속에 있어서는 응용 프로그래머가 통신을 고려하지 않고 개발해야 하며 중앙집중식 다자간 통신을 분산식 다자간 통신으로 지원할 수 있는 통신 모듈이 이상적이다. 중앙집중식 통신을 사용시에는 반드시 서버의 역할을 하는 중계시스템을 거쳐야 하지만 분산식 통신을 한다면 중계자론 거치지 않고 통신게임을 원하는 사용자간의 의사에 의해서 게임을 할 수 있다. 본 논문에서는 클라이언트와 서버의 기능을 통합한 단일모듈을 이용해서 분산통신 모듈이 가져야할 편의성, 범용성, 이벤트 동기화, 다중성등에 관하여 논의한다. 그리고 전락 시뮬레이션의 형태에 따른 세가지 유형의 예를 설정한다. 첫째는 웨이브 파일서버의 형태를 갖으면서 정해져 있는 시나리오를 따르는 게임이다. 둘째는 바둑과 같은 형태의 토큰을 통해서 제어권을 행사하는 것이다. 셋째는 토큰을 갖지 않고도 제어권을 행사하는 것이다. 마지막으로 본 논문에서 제안하는 통신모듈을 이용하여서 개발 중에 있는 Death Flower라는 게임을 소개한다.

  • PDF

Adaptive User and Topic Modeling based Automatic TV Recommender System for Big Data Processing (빅 데이터 처리를 위한 적응적 사용자 및 토픽 모델링 기반 자동 TV 프로그램 추천시스템)

  • Kim, EunHui;Kim, Munchurl
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2015.07a
    • /
    • pp.195-198
    • /
    • 2015
  • 최근 TV 서비스의 가입자 및 TV 프로그램 콘텐츠의 급격한 증가에 따라 빅데이터 처리에 적합한 추천 시스템의 필요성이 증가하고 있다. 본 논문은 사용자들의 간접 평가 데이터 기반의 추천 시스템 디자인 시, 누적된 사용자의 과거 이용내역 데이터를 저장하지 않고 새로 생성된 사용자 이용내역 데이터를 학습하는 효율적인 알고리즘이면서, 시간 흐름에 따라 사용자들의 선호도 변화 및 TV 프로그램 스케줄 변화의 추적이 가능한 토픽 모델링 기반의 알고리즘을 제안한다. 빅데이터 처리를 위해서는 분산처리 형태의 알고리즘을 피할 수 없는데, 기존의 연구들 중 토픽 모델링 기반의 추론 알고리즘의 병렬분산처리 과정 중에 핵심이 되는 부분은 많은 데이터를 여러 대의 기계에 나누어 병렬분산 학습하면서 전역변수 데이터를 동기화하는 부분이다. 그런데, 이러한 전역데이터 동기화 기술에 있어, 여러 대의 컴퓨터를 병렬분산처리하기위한 하둡 기반의 시스템 및 서버-클라이언트간의 중재, 고장 감내 시스템 등을 모두 고려한 알고리즘들이 제안되어 왔으나, 네트워크 대역폭 한계로 인해 데이터 증가에 따른 동기화 시간 지연은 피할 수 없는 부분이다. 이에, 본 논문에서는 빅데이터 처리를 위해 사용자들을 클러스터링하고, 클러스터별 제안 알고리즘으로 전역데이터 동기화를 수행한 것과 지역 데이터를 활용하여 추론 연산한 결과, 클러스터별 지역별 TV프로그램 시청 토큰 별 은닉토픽 할당 테이블을 유지할 때 추천 성능이 더욱 향상되어 나오는 결과를 확인하여, 제안된 구조의 추천 시스템 디자인의 효율성과 합리성을 확인할 수 있었다.

  • PDF

Korean Coreference Resolution at the Morpheme Level (형태소 수준의 한국어 상호참조해결 )

  • Kyeongbin Jo;Yohan Choi;Changki Lee;Jihee Ryu;Joonho Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.329-333
    • /
    • 2022
  • 상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 End-to-End 모델이 주로 연구가 되었다. 그러나 End-to-End 방식으로 모델을 수행하기 위해서는 모든 스팬을 잠재적인 멘션으로 간주해야 되기 때문에 많은 메모리가 필요하고 시간 복잡도가 상승하는 문제가 있다. 본 논문에서는 서브 토큰을 다시 단어 단위로 매핑하여 상호참조해결을 수행하는 워드 레벨 상호참조해결 모델을 한국어에 적용하며, 한국어 상호참조해결의 특징을 반영하기 위해 워드 레벨 상호참조해결 모델의 토큰 표현에 개체명 자질과 의존 구문 분석 자질을 추가하였다. 실험 결과, ETRI 질의응답 도메인 평가 셋에서 F1 69.55%로, 기존 End-to-End 방식의 상호참조해결 모델 대비 0.54% 성능 향상을 보이면서 메모리 사용량은 2.4배 좋아졌고, 속도는 1.82배 빨라졌다.

  • PDF

A Study on the Blockchain based Knowledge Sharing Platform (블록체인 기반의 지식공유 플랫폼 연구)

  • Kim, Hyeob
    • The Journal of Society for e-Business Studies
    • /
    • v.27 no.1
    • /
    • pp.95-109
    • /
    • 2022
  • A blockchain based platform can ensure data integrity, reliability, and security by applying distributed processing and encryption technology for transaction records. In the existing knowledge sharing platform, the created knowledge could not be shared or utilized sufficiently due to information asymmetry and centralization. However little research has been done so far on this area. In this study, we will examine case studies and development potentials for blockchain based knowledge sharing platforms based on previous studies of blockchain technology, token economy, knowledge sharing, motivation theory, and social exchange theory. Blockchain based platforms can contribute to the activation of knowledge sharing, by resolving information asymmetry, simplifying unnecessary work procedures through unified knowledge sharing flow and excluded centralization of authority by decentralization, and strengthening access and utilization of the knowledge produced by the platform.