• 제목/요약/키워드: 토큰

검색결과 484건 처리시간 0.03초

Head-Tail 토큰화 기법을 이용한 한국어 품사 태깅 (Korean Part-Of-Speech Tagging by using Head-Tail Tokenization)

  • 서현재;김정민;강승식
    • 스마트미디어저널
    • /
    • 제11권5호
    • /
    • pp.17-25
    • /
    • 2022
  • 기존의 한국어 품사 태깅 방식은 복합어를 단위 형태소들로 분해하여 품사를 부착하므로 형태소 태그가 세분화되어 있어서 태거의 활용 목적에 따라 불필요하게 복잡하고 다양한 어절 유형들이 생성되는 단점이 있다. 딥러닝 언어처리에서는 키워드 추출 목적으로 품사 태거를 사용할 때 복합조사, 복합어미 등 문법 형태소들을 단위 형태소로 분할하지 않는 토큰화 방식이 효율적이다. 본 연구에서는 어절을 형태소 단위로 토큰화할 때 어휘형태소 부분과 문법형태소 부분 두 가지 유형의 토큰으로만 분할하는 Head-Tail 토큰화 기법을 사용하여 품사 태깅 문제를 단순화함으로써 어절이 과도하게 분해되는 문제점을 보완하였다. Head-Tail 토큰화된 데이터에 대해 통계적 기법과 딥러닝 모델로 품사 태깅을 시도하여 각 모델의 품사 태깅 정확도를 실험하였다. 통계 기반 품사 태거인 TnT 태거와 딥러닝 기반 품사 태거인 Bi-LSTM 태거를 사용하여 Head-Tail 토큰화된 데이터셋에 대한 품사 태깅을 수행하였다. TnT 태거와 Bi-LSTM 태거를 Head-Tail 토큰화된 데이터셋에 대해 학습하여 품사 태깅 정확도를 측정하였다. 그 결과로, TnT 태거는 97.00%인데 비해 Bi-LSTM 태거는 99.52%의 높은 정확도로 품사 태깅을 수행할 수 있음을 확인하였다.

패킷에 우선도가 있는 토큰링 LAN에서의 평균대기시간의 근사해석 (Approximated Analysis of Mean Waiting Time in Packet Based Priority Token Ring LAN)

  • 김영동;이재호
    • 한국통신학회논문지
    • /
    • 제14권5호
    • /
    • pp.453-461
    • /
    • 1989
  • Bux의 우선도가 없는 토큰링 LAN의 해석 결과와 Cobham의 HOL 우선도의 해석 결과를 사용해서 패킷에 우선도가 있는 토큰링 LAN의 각 노드에서의 각 우선도에 대한 평균대기시간을 근사적으로 해석하였다. IEEE 802.5에 제시된 토큰링 LAN에서의 우선도 예약전송방법은 사용하지 않았다. 본 논문에서 해석한 수학적 결과와 시뮬레이션 결과를 비교하여 +-5%정도의 상대오차율을 확인하였다. 트래픽의 세기, 노드수, 패킷길이, 전송속도, 회선길이, 토큰검색시간, 우선도 동급수, 트래픽 집중율 변화에 따른 각 우선도의 지연을 분석하였다.

  • PDF

동영상 트래픽 전송을 위한 효과적인 QoS 재협상 기법 (Effective Quality-of-Service Renegotiating Schemes for Streaming Video)

  • 이대붕;송황준
    • 한국통신학회논문지
    • /
    • 제28권6C호
    • /
    • pp.615-623
    • /
    • 2003
  • 동영상 트래픽은 자체의 non-stationary한 특성들로 인해 일률적인 대역폭만으로는 전송 과정의 어려움이 있다. 일반적인 토큰 버킷 구조나 ATM은 한번의 자원 협상만으로 데이터를 전송하는 방법이기 때문에 이러한 문제를 극복하기 어려운 방법이다. 따라서 동영상 트래픽의 특성을 고려한 전송기법이 필요하고, 본 연구에서는 토큰 버킷 구조의 자원을 동적으로 재협상하는 방법을 제안한다. 본 연구에서 제시하는 재협상을 이용한 토큰 버킷구조는 데이터를 몇 개의 구간으로 나누어서 각 구간별 요구되는 토큰 유입량과 토큰 버킷 크기를 재협상하고 이를 자원으로 하여 동영상 데이터를 전송하는 구조이다. 이러한 재협상은 각 구간별 특성에 따라 효율적인 동영상 데이터 전송이 가능하도록 해준다.

관용표현 중의성 해소를 위한 다층위 임베딩 연구 (Embedding with different levels for idiom disambiguation)

  • 박서윤;강예지;강혜린;장연지;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.167-172
    • /
    • 2021
  • 관용표현 중에는 중의성을 가진 표현이 많다. 즉 하나의 표현이 맥락에 따라 일반적 의미와 관용적 의미 두 가지 이상으로 해석될 가능성이 있어 이런 유형의 관용표현을 중의성 해소 없이 자연어 처리 태스크에 적용할 경우 문제가 발생하게 된다. 본 연구에서는 관용표현의 특성인 중의성과 더불어 '관용표현은 이미 사용자의 머릿속에 하나의 토큰으로 저장되어 있다'라는 'Idiom Principle'을 바탕으로 관용표현에 대해 각각 표면형, 단순 단일 토큰형, stemming 단일 토큰형 층위의 임베딩을 만들어 관용표현 분류 연구를 진행하였으며, 실험 결과 표면형 및 stemming을 적용하지 않은 단순 단일 토큰으로 학습하는 것보다, stemming을 적용한 후 단일 토큰으로 학습하는 것이 관용표현의 중의성 해소에 유의미한 효과가 있음을 확인하였다.

  • PDF

보안토큰 평가대상 및 보안환경에 대한 연구

  • 곽진;홍원순;이완석
    • 정보와 통신
    • /
    • 제24권11호
    • /
    • pp.51-57
    • /
    • 2007
  • 본 고에서는 미 국방성(DoD: Department of Defense) 커뮤니티 지원 하에 국가안전보장국 (NSA: National Security Agency)에 의해 작성된 공개키 기반구조 및 키 관리 기반구조 보안토큰 보호프로파일에서의 평가대상(TOE: Target of Evaluation) 분석을 통해 보안토큰에서의 평가대상 (TOE)에 대한 응용과 보안환경에 대하여 분석한다.

객체 외형의 토큰 군집화를 통한 내용 기반 영상 검색 (Content based Image retrieval using Object Shape Token Clustering)

  • 정석현;김계영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.880-882
    • /
    • 2005
  • 내용기반 영상 검색 시스템은 데이터베이스에 저장된 정지영상의 색이나, 질감, 형태 등의 특징을 이용한다. 본 연구는 실험 영상 집합에서 주요 객체를 추출하여, 객체들의 외형으로부터 분리된 토큰들을 군집화 한 후, 그 군집단위를 색인어로 사용하여 검색하는 방법이다. 기존의 내용기반 영상 검색 시스템에서 모양 정보는 그 표현과 색인 정합 등의 문제로 처리 방법이 명확하지 않았고, 회전, 크기 변화, 폐색 등에 민감했다. 따라서 기존 방법의 문제점을 해결하기 위해서 토큰을 이용한 색인을 이용하여 지역 정보와, 이들 지역 정보들의 관계에 의한 전역 정보를 복합적으로 이용한 방법을 제안한다.

  • PDF

마이크로소프트 클라우드 서비스 안정성 점검 및 분석 (Analysis and Verification for Cloud Services in Microsoft)

  • 김영민;최형기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.239-240
    • /
    • 2024
  • OneDrive 는 Microsoft 에서 제공하는 클라우드 스토리지 서비스이다. OneDrive 데스크톱 앱은 사용자가 로그아웃한 이후 재로그인을 시도할 때 사용자 기기에 저장되어 있던 토큰을 사용해 로그인을 진행하며, 사용자의 패스워드를 추가로 요구하지 않는다. 이는 로그아웃한 사용자의 유효한 로그인 정보가 기기에 남아있음을 의미하며, 본 연구에서는 이를 활용해 OneDrive 의 토큰 저장소를 분석하고 토큰 이식 공격이 가능함을 보인다.

코퍼스 규모에 따른 타입과 토큰의 상관성 연구 (The Statistical Relationship between Types and Tokens)

  • 양경숙;박병선;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.81-85
    • /
    • 2003
  • 이 논문의 목적은 코퍼스 크기에 따른 타입과 토큰간의 관계를 엄밀한 통계적 방법으로 그 특징을 밝히고자 하는 것이다. 지금까지 코퍼스를 구축하는 데 있어서, 자료의 다양성을 고려한 자료 균형성을 문제와 더불어 코퍼스 구축 규모의 문제는 매우 중요한 고려사항이었다. 이런 문제는 일찍이 영어 코퍼스를 중심으로 많은 연구가 진행된 바가 있지만 한국어를 대상으로 한 엄밀한 연구는 많이 이루어지지 않았다. 이 연구에서는 현재까지 구축한 현대 한국어 말뭉치 1억여 어절을 대상으로 말뭉치 크기 증가에 따른 타입과 토큰간의 통계적 관계를 3가지 모형에 대해 비교하였으며 최종적으로 ARIMA모형을 이용하여 그 함수적 관계를 밝혀보았다. 연구 결과에 따르면 한국어 자료는 약 1천만 어절의 토큰을 기준으로 타입의 변화가 다소 둔화되는 결과를 보인다. 연구에 의해 도출된 함수식을 이용하면 소규모의 자료를 이용하더라도, 대규모 자료에서의 타입수를 계산해 낼 수 있으므로, 더욱 다양하고 정확한 통계처리의 근거를 제시할 수 있게 된다.

  • PDF

전력선 통신을 위한 MAC프로토콜 분석 (A Study on the MAC Protocols for the Power Line Communications)

  • 황민태;김동균;이재조;이원태;김관호
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2000년도 춘계학술발표논문집
    • /
    • pp.22-25
    • /
    • 2000
  • 전력공급을 위해 사용되는 전력선은 다수의사용자들이 공유하는 형태이므로, 이를 통신 목적으로 이용하고자 하는 경우에는 충돌방지와 신뢰성있는 통신을 위한 MAC 프로토콜이 필수적으로 필요하다. 본 논문에서는 전력선 통신을 위한 MAC 프로토콜을 조사 분석하였다. 전력선통신을 위한 MAC 프로토콜로는 물리적인 구조상 토큰 패싱과 CSMA를 사용하고있으나 토큰패싱은 통신망이 저부하일 때 토큰 전달에 따른 대역폭의 낭비가 있으며 CSMA는 통신망이 고부하일 때 잦은 충돌로 인해 효율이 저하된다. 이러한 단점을 극복하기 위해 하이브리드 토큰패싱과 CSMA/PA가 연구되고 있으나, 성능향상은 있는 반면에 각 노드가 가져야 하는 기능이 복잡해지고 구현의 용이성은 떨어진다.

  • PDF

LAN에서 채널 접속프로토콜의 성능해석 및 비교에 관한 연구 (A Study on the Performance Analysis and Comparision of Channel Access Protocols in LAN)

  • 김평육;김정선;이대영
    • 한국통신학회논문지
    • /
    • 제11권6호
    • /
    • pp.402-410
    • /
    • 1986
  • IEEE 802 Local Area Network(LAN) 기준 모델의 Media Access Control(MAC)방식에서 CSMA/CD, 토큰링, 토큰 버스방식을 포함하며, LAN성능의 척도인 Throughput에 영향을 주는 파라미터는 채널의 길이, 전송 속도, 패킷의 크기 및 스테이션 수이다. 본 논문에서는 이러한 파라미터를 정규화시켜 해석하므로 각 파라미터가 채널 Through-put에 미치는 영향을 검토하였으며 특히, 토큰 링방식과 토큰 버스방식에 대한 해석으로 각 파라미터와의 관계를 고찰하여 CSMA/CD방식과의 비교 검토를 하였다.

  • PDF