• 제목/요약/키워드: chunk

검색결과 109건 처리시간 0.022초

효율적인 데이터 중복제거를 위한 GPGPU 병렬 라빈 핑거프린팅 (Parallel Rabin Fingerprinting on GPGPU for Efficient Data Deduplication)

  • 마정현;박세진;박찬익
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.611-616
    • /
    • 2014
  • 데이터 중복 제거를 수행하기 위한 여러 단계 중 청킹에 사용되는 라빈 핑거프린트 값을 구하는 단계가 가장 큰 오버헤드를 차지한다. 따라서, 본 논문에서는 효율적인 데이터 중복 제거를 위한 병렬라빈 핑거프린트 방법을 제안한다. 또한 효율적인 라빈 핑거프린팅의 병렬화를 위해 네 가지 이슈를 고려한다. 첫 번째로 병렬처리를 위해 입력 데이터 스트림을 일정한 크기의 데이터 섹션으로 분할할 때, 데이터 섹션의 경계선에 있는 데이터들에 대해서도 라빈 핑거프린팅을 수행하기 위한 고려, 두 번째로 라빈 핑거프린팅 연산 특징을 효율적으로 이용하기 위한 고려, 세 번째로 순차 방식으로 청크 경계선을 구했을 때와 비교하여 병렬 방식으로 청크 경계선을 구했을 때, 변경 될 수 있는 청크 경계선에 대한 고려를 한다. 마지막으로 최적의 GPGPU 메모리 접근을 위한 고려를 한다. GPGPU를 이용한 병렬 라빈 핑거프린트 방식은 CPU를 이용한 순차 라빈 핑거프린트 방식에 비해 약 16배 성능향상을 보였고, CPU를 이용한 병렬 라빈 핑거프린트 방식에 비해서도 약 5.3배 성능향상을 보였다. 이러한 라빈 핑거프린팅 연산 처리량의 증가는 데이터 중복 제거 기법의 전체적인 성능향상을 가져올 수 있다.

목질판상재로 제조된 탄화보드의 흡방습 성능 비교 (Comparison of Moisture Absorption/Desorption Properties of Carbonized Boards Made from Wood-Based Panels)

  • 이민;박상범;이상민
    • Journal of the Korean Wood Science and Technology
    • /
    • 제44권3호
    • /
    • pp.424-429
    • /
    • 2016
  • 본 연구에서는 중밀도섬유판, 파티클보드, 배향성스트랜드보드, 합판을 이용하여 탄화보드를 제조하고 각각의 흡방습 특성을 살펴보았다. 탄화보드는 $600^{\circ}C$에서 2시간 동안 열분해하는 조건으로 제조되었다. 그 결과, 탄화합판, 탄화OSB, 탄화MDF, 탄화파티클보드 순으로 높은 흡방습 성능을 나타내었다. 흡습률 및 방습률은 탄화파티클보드를 제외한 나머지 탄화보드들 간에 큰 차이는 발견하지 못했다. 이것은 목질재료가 탄화됨으로서 탄소로 변환되어 수분을 흡착하는데 높은 능력을 가졌지만 수분이 내부구조로까지의 이동에 있어서는 목재 본래의 구조에 영향을 받는다는 것을 의미한다. 따라서 목재의 구조의 특성을 살려 탄소화 했을 때 높은 흡방습 특성을 가진 탄화보드를 제조할 수 있다.

한국어 낱말 묶기와 그 응용 (Chunking Korean and an Application)

  • 은광희;홍정하;유석훈;이기용;최재웅
    • 한국언어정보학회지:언어와정보
    • /
    • 제9권2호
    • /
    • pp.49-68
    • /
    • 2005
  • Application of chunking to English and some other European languages has shown that it is a viable parsing mechanism for natural languages. Although a small number of attempts have been made to apply chunking to the analysis of the Korean language, it still is not clear enough what criteria there are to identify appropriate units of chunking, and how efficient and valid the chunking algorithms would be when applied to some authentic Korean texts. The purpose of this research is to provide an alternative set of algorithms for chunking Korean, and to implement them, and to test them against some English-Korean parallel corpora, which is English and Korean bibles matched sentence by sentence. It is shown in the paper that aligning related texts and identifying matched phrases between the two languages can be achieved through appropriate chunking and matching algorithms defined on the morphologically-tagged parallel corpus. Chunking and matching processes are based on the content words rather than the function words, and the matching itself is done in terms of the transfer dictionary. The implementation is done in C and XML, and can be accessed through the Internet.

  • PDF

다중 피어 결합을 이용한 P2P 멀티미디어 스트리밍 프로토콜 (A P2P Multimedia Streaming Protocol Using Multiple-Peer Binding)

  • 정의현
    • 한국컴퓨터정보학회논문지
    • /
    • 제11권2호
    • /
    • pp.253-261
    • /
    • 2006
  • P2P 기술의 각광에도 불구하고 P2P상에서 멀티미디어 스트리밍에 대한 연구는 상대적으로 주목을 받지 못하고 있다. 이것은 피어간의 낮은 대역폭과 신뢰도가 낮은 접속 등의 몇 가지 이유 때문에 P2P 멀티미디어 스트리밍이 어렵기 때문이다. 본 논문에서는 이 문제를 해결하기 위하여 여러 피어와의 연결을 한 개의 가상적인 채널로 제공하는 프로토콜인 다중피어 바인딩 프로토콜(WPBP: Multi-Peer Binding Protocol)을 제안한다. 이 프로토콜은 응용들이 여러 피어로부터 동시에 데이터를 다운로드 받아서 성능 개선과 안정된 스트리밍을 할 수 있게 해준다. 이를 위해서 MPBP는 미디어 파일을 작은 청크로 분리하고, 각 청크를 구분하고 전송할 수 있는 기법을 제공한다. 구현된 MPBP 엔진은 데이터 송신 서버로부터의 갑작스런 접속 단절을 효과적으로 다루는 것에 중점을 두어 개발되었으며, 실험 결과는 MPBP 프로토콜이 이를 효율적으로 다루는 것을 보여주었다. 또한 MPBP는 여러 미디어 타입에 대해서 지원이 가능하도록 설계되었으며, 이를 검증하기 위하여 본 논문에서는 비디오와 오디오 응용을 MPBP 엔진을 이용하여 개발하였다.

  • PDF

무선랜 환경에서 모바일 P2P 스트리밍 서비스의 성능 분석 (A Performance Analysis of Mobile P2P Streaming Service on Wireless LAN Environments)

  • 최헌회;김근형
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권1호
    • /
    • pp.25-33
    • /
    • 2013
  • Peer-to-Peer(P2P)구조는 서버에서 많은 트래픽을 유발시키는 서버-클라이언트 구조와 달리 피어(Peer) 간 데이터 조각을 주고받아 서버의 네트워크 대역폭과 컴퓨팅 자원을 절감할 수 있다. P2P 구조는 참여 피어가 많을수록 안정적으로 데이터를 받을 수 있다는 장점을 갖는다. 현재 P2P 트래픽 양은 전 세계 인터넷 트래픽의 약 65%를 차지하고 있으며. 이를 스트리밍 기술에 접목한 다양한 P2P 스트리밍 서비스가 출시되었다. 그러나 기존의 P2P 스트리밍 기술은 유선 네트워크를 기반으로 설계되고 발전되어 왔기 때문에, 최근 널리 보급된 무선 네트워크에서 P2P 스트리밍 기술을 적용하기 위해 피어간 스트림 데이터 전송 알고리즘과 요구사항에 대한 고려가 필요하다. 특히, 피어의 이동성과 무선 패킷 충돌 및 손실로 인한 대역폭의 변동은 모바일 P2P 스트리밍 서비스가 기존의 P2P 스트리밍 서비스와는 다른 문제의 원인이 된다. 따라서 본 논문에서는 802.11n 무선랜 환경에서 P2P 스트리밍 서비스를 적용할 때 미치는 영향과 문제점을 실험을 통해 분석한다.

자질집합선택 기반의 기계학습을 통한 한국어 기본구 인식의 성능향상 (Improving the Performance of Korean Text Chunking by Machine learning Approaches based on Feature Set Selection)

  • 황영숙;정후중;박소영;곽용재;임해창
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권9호
    • /
    • pp.654-668
    • /
    • 2002
  • In this paper, we present an empirical study for improving the Korean text chunking based on machine learning and feature set selection approaches. We focus on two issues: the problem of selecting feature set for Korean chunking, and the problem of alleviating the data sparseness. To select a proper feature set, we use a heuristic method of searching through the space of feature sets using the estimated performance from a machine learning algorithm as a measure of "incremental usefulness" of a particular feature set. Besides, for smoothing the data sparseness, we suggest a method of using a general part-of-speech tag set and selective lexical information under the consideration of Korean language characteristics. Experimental results showed that chunk tags and lexical information within a given context window are important features and spacing unit information is less important than others, which are independent on the machine teaming techniques. Furthermore, using the selective lexical information gives not only a smoothing effect but also the reduction of the feature space than using all of lexical information. Korean text chunking based on the memory-based learning and the decision tree learning with the selected feature space showed the performance of precision/recall of 90.99%/92.52%, and 93.39%/93.41% respectively.

다운로드와 수행의 병행을 허용하는 모바일 코드 인증 기법 (Mobile Code Authentication Schemes that Permit Overlapping of Execution and Downloading)

  • 박용수;조유근
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권3호
    • /
    • pp.115-124
    • /
    • 2005
  • 모바일 장치에서 코드를 다운로드 받아 수행할 때, 코드 인증이 매우 중요하다. 한편, 모바일 코드의 수행 시간 지연을 줄이기 위해 통상 전체 코드가 다운로드 되기 전에 수신된 일부 코드로 수행이 시작된다. 그러나. 저자들이 조사한 바로는 이 경우 코드 인증을 할 수 있는 방법이 아직 발표된 바가 없다. 본 논문에서는 전송될 코드 청크의 순서가 미리 결정되어 있는 경우와 프로그램 실행 도중 동적으로 결정되는 2 가지 경우에 대하여, 일부 코드로 수행을 시작하면서도 인증이 가능한 2 가지 방법을 제시한다. 이 방법은 각각 해쉬 체인 기법과 인증 트리 기법을 기반으로 한다. 특히, 후자의 기법에서 각 모바일 코드 청크를 인증시 이전 수신한 인증 정보를 활용함으로써 통신 오버헤드와 검증 지연 시간을 줄였다. 코드 청크의 개수가 n 일 때, 두 기법의 통신 오버헤드의 크기는 O(n)이며, 검증 지연 시간은 각각 O(1), O(log n)이다.

DHT 오버레이 네트워크에서 클라우드 보조의 P2P 라이브 비디오 스트리밍 (Cloud Assisted P2P Live Video Streaming over DHT Overlay Network)

  • 림펑언;최창열;최황규
    • 전기학회논문지
    • /
    • 제66권1호
    • /
    • pp.89-99
    • /
    • 2017
  • Many works have attempted to solve the scalability, the availability, and the low-latency problems of peer-to-peer (P2P) live video streaming; yet, the problems still remain. While tree-based systems are vulnerable to churn, the mesh-based systems suffer from high delay and overhead. The DHT-aided chunk-driven overlay (DCO) [1] tried to tackle these problems by using the distributed hash table (DHT), which structures into a mesh-based overlay to efficiently share the video segment. However, DCO fully depends on the capacity of the users' device which is small and unstable, i.e., the users' device may leave and join the network anytime, and the video server's bandwidth can be insufficient when the number of users joining the network suddenly increases. Therefore, cloud assist is introduced to overcome those problems. Cloud assist can be used to enhance the availability, the low-latency, and the scalability of the system. In this paper, the DHT is used to maintain the location of the streaming segments in a distributed manner, and the cloud server is used to assist other peers when the bandwidth which required for sharing the video segment is insufficient. The simulation results show that by using the threshold and cloud assist, the availability and the low-latency of the video segments, and the scalability of the network are greatly improved.

틸팅열차 운행 중 가선전압 계측 및 분석연구 (The Service Voltage Measurement and Analysis while TTX Runs)

  • 이수길;강철;허재선;김재철;임재찬
    • 조명전기설비학회논문지
    • /
    • 제23권12호
    • /
    • pp.58-65
    • /
    • 2009
  • 최근 한국철도기술연구원이 개발한 한국형 틸팅열차(TTX) "한빛 200"은 현재 호남선, 중앙선, 충북선 그리고 태백선에서 시험 운행 중에 있다. 본 논문은 TTX가 기존선로에서 시험 운행하는 동안 TTX에 공급되는 전압을 계측 하여 각 기존선로에서 공급하는 전압의 상태를 분석하였다. TTX에 공급되는 전압을 직접 계측하기 위해 TTX의 판토그래프 밑단인 부분에 PT를 설치하여 변압기 1차측 전압을 계측하였다. 정확한 분석을 위해 계측 시 TTX외의 다른 열차와 교차 상황과 주변상황에 대해 기록하였으며, CBEMA 커브를 이용하여 가선전압 상태에 대한 분석을 하였다. 그 결과 호남선, 중앙선, 태백선 모두 정격전압(25[kV])의 110[%]이상의 전압이 200[s]이상 공급되는 구역도 있었으며 빈번하게 110[%]를 초과하고 있는 것으로 분석됐다. 특히 태백선의 가선전압의 상태가 가장 좋지 않은 것으로 분석됐다. 이렇게 가선전압 분석결과는 앞으로 중앙선 및 태백선에 상용화될 TTX의 동력장치 및 전력변환장치를 안정화하는데 도움이 될 것으로 사료된다.

클라우드 서비스 기반 이기종간의 데이터 공유 기법 (Data Sharing Technique between Heterogeneous based on Cloud Service)

  • 서정희;박흥복
    • 한국정보통신학회논문지
    • /
    • 제22권3호
    • /
    • pp.391-398
    • /
    • 2018
  • 일반적인 이기종 디지털 장치들간의 데이터 공유는 다양한 인터페이스로 인해 많은 문제를 야기시킨다. 이런 문제를 해결하기 위해서 본 논문은 서로 다른 장치들간의 통신을 지원하는 D2D 통신을 사용하여 클라우드 서비스와 모바일을 결합한 이기종간의 데이터 공유를 제안한다. 제안된 기법은 데이터 동기화를 수행하기 위해 서버에 집중되는 부하를 줄이는 프로세스로 수행되며, 장치들간의 데이터 복제로 인한 지연을 최소화하기 위해 청크 리스트에 수정된 부분만을 복사하여 데이터 쓰기 속도에 기여하기 위한 기술을 채택하고, 데이터 공유를 위한 동기화로 소모되는 네트워크 대역폭을 최소화하기 위해서 모바일 환경과 결합한 클라우드 서비스 모델을 구현한다. 따라서 서로 다른 공간의 데이터를 효율적으로 공유하고 데이터의 무결성과 지연을 최소화할 수 있다.