• 제목/요약/키워드: 고속 데이터처리

검색결과 762건 처리시간 0.024초

대용량 컬럼 저장소를 위한 교차 압축 이중화 기법 (Cross Compressed Replication Scheme for Large-Volume Column Storages)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제14권5호
    • /
    • pp.2449-2456
    • /
    • 2013
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 분석 시스템을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 MLC 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 논문에서는 고속 컬럼-지향 데이터 저장소 모델을 도입하고, 고속 컬럼-지향 데이터웨어하우스 시스템을 위한 교차 압축 이중화를 활용하는 새로운 저장소 관리 기법을 제안한다. 본 저장소 관리 기법은 두 개의 MLC SSD에 기반하며, 압축과 비압축된 세그먼트의 교차 이중화를 통하여 높은 CPU 및 입출력 부하에서도 우수한 저장 성능과 안정성을 얻는다. 성능 평가 결과를 통하여 본 저장소 관리 기법이 기존 기법보다 컬럼 세그먼트 갱신 처리치 및 그 응답시간 측면에서 더 우수함을 확인하였다.

IMT-2000 기반 컨텐츠 서비스를 위한 보안 프로토콜 (A Secure Protocol for Contents Service in IMT-2000)

  • 이덕규;이임영
    • 정보처리학회논문지C
    • /
    • 제10C권2호
    • /
    • pp.241-252
    • /
    • 2003
  • IMT-2000은 인터넷 서비스와 멀티미디어 고속 데이터 정보 등 유선예서 제공하고 있는 서비스 대부분을 무선으로 공급하고자하는 사용자의 요구 충족을 위해 등장하였다. 그러나 글로벌 로밍시 신호 데이터 및 사용자 데이터가 타 사업자의 망을 거쳐 전송된다. 또한 고속의 데이터 통신이 제공됨에 따라 기밀성 보호에 필요한 데이터 통신량이 증대될 것으로 판단된다. 최근 IMT-2000사업은 2002년을 기점으로 상용 서비스가 진행될 예정이다. 이러한 시점에서 무선 컨덴츠는 그 특성상 데이터에 대한 제 3자로부터의 불법적인 행위에 대해 많이 노출되어져 있다. 따라서 이동 통신 환경에서의 보안과 인증 문제는 필수적인 사항이라 할 수 있다. 이를 위해 본 논문에서는 기존의 IMT-2000 인증 방식 분석을 통해 더욱 안전하고 효율적인 인증 방식을 제시함과 동시에 무선 컨텐츠 제공에 있어 필요한 보안 프로토콜을 설계하고자 한다.

대용량 데이터 처리를 위한 고속 분산 인메모리 플랫폼 기반 재귀적 질의 알고리즘들의 구현 및 비교분석 (A Comparative Analysis of Recursive Query Algorithm Implementations based on High Performance Distributed In-Memory Big Data Processing Platforms)

  • 강민서;김재성;이재길
    • 정보과학회 논문지
    • /
    • 제43권6호
    • /
    • pp.621-626
    • /
    • 2016
  • 재귀적 질의 알고리즘은 소셜네트워크 서비스의 도달가능 질의와 같은 많은 응용프로그램에 사용된다. 하지만 최근에 소셜네트워크 서비스의 규모가 커짐에 따라 그래프 데이터의 크기 또한 커지고 있다. 따라서 재귀적 질의 알고리즘을 싱글 머신에서 가동하는 것이 거의 불가능해졌다. 본 논문에서는 이러한 문제점을 해결하기 위해서 고속 분산 인메모리 플랫폼인 스파크와 트위스터에서 재귀적 질의 알고리즘을 구현하였다. 구현된 알고리즘은 아마존 EC2 머신 50대에서 Real-world 데이터 셋인 LiveJournal과 ClueWeb으로 실험하였다. 실험결과 상대적으로 노드 수는 적고 평균 차수(degree)는 높은 LiveJournal 데이터 셋에서는 스파크에서 구현된 재귀적 알고리즘의 성능이 트위스터의 것보다 좋았다. 그리고 상대적으로 노드 수는 많고 평균 차수는 낮은 ClueWeb 데이터 셋에서는 트위스터에서 구현된 재귀적 알고리즘의 성능이 스파크의 것보다 좋았다.

완전탐색 블럭정합 알고리즘의 고속 처리를 위한 VLSI 어레이 프로세서의 구조 (A VLSI Array Processor Architecture for High-Speed Processing of Full Search Block Matching Algorithm)

  • 이수진;우종호
    • 한국통신학회논문지
    • /
    • 제27권4A호
    • /
    • pp.364-370
    • /
    • 2002
  • 본 논문에서는 완전탐색 블럭정합 알고리즘의 고속처리를 위한 VLSI 어레이 프로세서의 구조를 제안한다. 완전 탐색 블록정합 알고리즘으로부터 인덱스 공간을 확장한 단일할당코드를 변환 후, 이것으로부터 데이터의존그래프를 구하고, 최적의 방향으로 투영시켜 신호흐름그래프를 얻는다. 신호흐름그래프에 시간 및 공간적인 지역성을 추가하여 이차원 VLSI 어레이를 구하였다. 탐색영역의 후보블럭이 행과 열로 중첩되므로, 중복되는 데이터를 재사용해서 데이터 임력횟수를 줄이고 처리 속도를 향상시켰다. 블럭의 크기가 N이고 최대탐색거리가 p인 경우, 제안한 VLSI 어레이의 처리요소는 ($N_2$+1)$\times$(2p+1)개이고, 입력포트는 (N+2p)개이다. 첫 번째 기준블럭에 대한 이동벡터를 구하는 시간은 ($N_2$+2(p+1)N+6p)이고, 매 (3N+4p-1) 단위시간마다 다음 기준 블럭에 대한 이동벡터가 구해진다.

VLBI 관측데이터 초고속 전송을 위한 VSI 광변환 송수신 장치의 설계 및 개발 (Design and development of VSI Optical Adapter for high speed transmission of VLBI observation data)

  • 오세진;노덕규;염재환;정진승;정동규;오충식
    • 융합신호처리학회논문지
    • /
    • 제14권4호
    • /
    • pp.261-269
    • /
    • 2013
  • 본 논문에서는 VLBI 관측데이터를 광신호로 변환하여 전송할 수 있는 광변환 송수신 장치의 설계 개발과 성능시험에 대해 기술한다. 대전상관기에서 고속재생기(Mark5B, VERA2000)와 동기재생처리장치(RVDB) 사이, RVDB와 VLBI상관서브시스템(VCS) 사이에는 80라인의 구리선으로 구성된 VSI 케이블이 사용되고 있는데, 관측데이터를 LVDS 신호로 전송하며 유효길이는 최대 5m이다. 대전상관기는 16관측국의 자료처리를 수행할 예정이며, 향후 14대의 RVDB 시스템이 도입될 예정이다. 그리고 VSI 케이블의 연결단자의 접속 오류로 인해 데이터 손실도 발생하고 있다. 따라서 본 연구에서는 VSI 케이블의 접촉오류로 인한 데이터 손실, RVDB와 VCS 사이의 공간 활용과 시스템의 증설계획, 그리고 장거리 데이터 전송(e-VLBI) 등을 고려하여 VLBI 관측데이터를 광신호로 변환하여 데이터를 효율적으로 송수신할 수 있는 장치를 개발하였다. 본 논문에서는 개발한 광변환 송수신 장치의 성능을 확인하기 위해 고속재생기와 RVDB 사이의 데이터 전송시험을 수행하였으며, 시험결과에서 데이터의 손실 없이 전송되는 것을 확인하였다.

순환 행렬 분해에 의한 DCT/DFT 하이브리드 구조 알고리듬 (DCT/DFT Hybrid Architecture Algorithm Via Recursive Factorization)

  • 박대철
    • 융합신호처리학회논문지
    • /
    • 제8권2호
    • /
    • pp.106-112
    • /
    • 2007
  • 본 논문은 순환 행렬 분해에 의한 DCT와 DFT의 고속 계산을 위한 하이브리드 아키텍쳐 알고리듬을 제안한다. DCT-II와 DFT 변환 행렬의 순환 분해는 알고리듬적으로 구현하기가 유사한 구조를 제공하며 이것은 단순히 스위칭 모드의 제어에 의해 공통 아키텍쳐를 사용할 수 있게 한다. 두 변환간의 연계는 행렬 순환 공식에 기초하여 유도되었다. DCT/DFT 행렬 분해를 위한 하이브리드 구조 설계를 가능하도록 생성 행렬, 삼각함수 항등식 과 관계식을 사용하여 유도되었다. DCT/DFT 하이브리드 아키텍쳐를 수용하는 쿨리-투키 유형의 고속처리 아키텍쳐에 대한 데이터 흐름도를 작성하였다. 이 데이터 흐름도로부터 적절한 크기의 N에 대해 제안한 알고리듬의 계산 복잡도는 기존의 고속 DCT 알고리듬과 비교할만하다. 다른 직교변환 계산에 FFT 구조의 다중 모드 사용 확장을 위해 좀더 확장된 연구가 필요하다.

  • PDF

고속 연산을 위한 병렬 구조의 십진 부동소수점 연산 장치 설계 (Design of Parallel Decimal Floating-Point Arithmetic Unit for High-speed Operations)

  • 윤형기;문대철
    • 한국정보통신학회논문지
    • /
    • 제17권12호
    • /
    • pp.2921-2926
    • /
    • 2013
  • 본 논문에서 제안된 십진 부동소수점 연산 장치(decimal floating-point arithmetic unit, DFP)는 L.K.Wang에 의해 제안된 십진 부동소수점 유닛을 기반으로 하여 데이터의 병렬 처리를 통해 동일한 크기의 지수를 갖는 두 오퍼랜드의 가수 영역의 고속 연산을 지원하도록 재설계 하였다. 제안된 십진 부동소수점 연산 장치는 Xilinx ISE를 이용하여 xc2vp30-7ff896 타겟 디바이스로 합성하였으며 (주)시스템센트로이드의 Flowrian을 통해 시뮬레이션 검증하였다. 제안된 방식은 L.K.Wang에 의해 제안된 설계 방식 및 참고문헌 [6]의 설계 방식과 비교하여 동일한 입력 데이터를 이용하여 시뮬레이션 검증한 결과, L.K.Wang 방식보다 약 8.4%, 참고문헌 [6]의 방식보다 약 3% 정도의 처리 속도가 향상되었다.

공유 데이터베이스 환경에서 고성능 트랜잭션 처리

  • 김신희;배정미
    • 한국정보시스템학회:학술대회논문집
    • /
    • 한국정보시스템학회 1997년도 춘계학술대회논문집 지역정보단지 조성과정보기술의 활용
    • /
    • pp.215-227
    • /
    • 1997
  • 데이터베이스 공유 시스템(database sharing system)은 고성능의 트랜잭션 처리를 위한 시스템으로서, 별도의 메모리와 운영체제 그리고 데이터베이스 관리 시스템(DBMS)을 가진 처리 노드와 고속의 통신 시스템으로 구성된다. 공유 데이터는 다수의 DBMS에 의해 동시에 캐싱 될 수 있으므로 처리노드 간의 일관성 유지를 위해 동시성 제어(concurrency control)와 일관성 제어(coherency control) 기법이 필요하다. 본 연구에서는 동적 PCA 관 리 방식과 이를 위한 버퍼 무효화 기법을 제안한다. 제안된 동적 PCA 관리 방식은 시스템 환경의 변화에 대한 적응성을 제공한다. 또한 공유 데이터의 일관성 유지를 위한 세 가지의 버퍼 무효화 기법은 디스크 I/O 오버헤드와 메시지 전송량을 감소함으로써 동적 PCA 관리 를 효율적으로 지원할 수 있다.

  • PDF

인메모리 기반 딥러닝 기술을 위한 분산 프레임워크에 관한 연구 (A Study on In-memory based Distributed Frameworks for Deep Learning)

  • 조혜영;유정록
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.45-46
    • /
    • 2016
  • 최근 GPU를 비롯한 하드웨어의 성능이 급격이 증가하면서 인공지능, 딥러닝 기술에 대한 관심이 높아지고 있다. 또한 데이터가 더욱 방대해 지면서 대용량 데이터를 처리하고 위한 딥러닝 분산 프레임워크에 대한 필요성이 제기되고 있다. 이에 본 논문에서는 대규모의 분산 환경에서 딥러닝 고속 처리를 위한 분산 프레임워크를 비교 분석하였다. 특히 최근 주목받고 있는 인메모리 기반 분산 프레임워크인 Spark, SparkNet, HeteroSpark의 특징을 비교 분석하였다.

라우터의 성능향상을 위한 제어 데이터 전송방법 개선 (An Improvement on Control Data Transmission Method for Performance Elevation of Router)

  • 윤천균
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.1283-1286
    • /
    • 2005
  • 최근의 대용량 다중 분산 라우터 시스템은 다수의 라인 인터페이스 모듈들과 라우팅 처리 모듈, 스위칭 패브릭 모듈로 구성되어 있고, 고속의 패킷 스위칭 및 라우팅을 구현하기 위하여 일반적으로 입력 패킷을 외부로 전송하기 위한 기능과 제어 및 관리 기능을 담당하는 기능으로 분리하여 실행되고 있다. 이러한 라우터에서는 내부 모듈들의 프로세서들 사이에 정보 송수신을 위해 프로세서 간 통신(IPC : Interprocess Communication)이 이용되고 있다. 라우터의 기능 중 제어 및 관리 기능은 신속한 처리를 위하여 UDP/IP 방식의 IPC 가 사용되고 있는데, 이 UDP/IP 방식을 개선 방안을 제안하고 prototype 시스템을 구현하여 시험한 결과 라우터의 데이터 round trip 시간과 throughput 이 각각 15.1%, 4.3%의 개선되어 라우터의 성능이 향상되었다.

  • PDF