• 제목/요약/키워드: cube-map

검색결과 21건 처리시간 0.02초

맵리듀스를 이용한 데이터 큐브의 상향식 계산을 위한 반복적 알고리즘 (An Iterative Algorithm for the Bottom Up Computation of the Data Cube using MapReduce)

  • 이수안;조선화;김진호
    • 정보화연구
    • /
    • 제9권4호
    • /
    • pp.455-464
    • /
    • 2012
  • 최근 데이터의 폭발적인 증가로 인해 대규모 데이터의 분석에 대한 요구를 충족할 수 있는 방법들이 계속 연구되고 있다. 본 논문에서는 맵리듀스를 이용한 분산 병렬 처리를 통해 대규모 데이터 큐브의 효율적인 계산이 가능한 MRIterativeBUC 알고리즘을 제안하였다. MRIterativeBUC 알고리즘은 기존의 BUC 알고리즘을 맵리듀스의 반복적 단계에 따른 효율적인 동작이 가능하도록 개발되었고, 기존의 대규모 데이터 큐브 계산에 따른 문제인 데이터 크기와 저장 및 처리 능력의 한계를 해결하였다. 또한, 분석자의 관심 부분에 대해서만 계산하는 빙산 큐브 개념의 도입과 파티셔닝, 정렬과 같은 큐브 계산을 분산 병렬 처리하는 방법 등의 장점들을 통해 데이터 방출량을 줄여서 네트워크 부하를 줄이고, 각 노드의 처리량을 줄이며, 궁극적으로 전체 큐브 계산 비용을 줄일 수 있다. 본 연구 결과는 맵리듀스를 이용한 데이터 큐브 계산에 대해서 상향식 처리와 반복적 알고리즘을 통해 다양한 확장이 가능하며, 여러 응용 분야에서 활용이 가능할 것으로 예상된다.

맵리듀스를 사용한 데이터 큐브의 효율적인 계산 기법 (Efficient Computation of Data Cubes Using MapReduce)

  • 이기용;박소정;박은주;박진경;최연정
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권11호
    • /
    • pp.479-486
    • /
    • 2014
  • 맵리듀스(MapReduce)는 대용량 데이터를 다수의 컴퓨터로 병렬 처리하는 데 사용되는 프로그래밍 모델이다. 데이터 큐브(Data Cube)는 대용량 데이터 분석에 널리 사용되는 연산자로서, 주어진 차원 애트리뷰트들의 모든 가능한 조합에 대한 group-by들을 계산한다. 차원 애트리뷰트의 개수가 n일 때, 데이터 큐브는 총 $2^n$개의 group-by를 계산한다. 본 논문은 맵리듀스를 사용하여 데이터 큐브를 효율적으로 계산하는 방법을 제안한다. 제안 방법은 $2^n$ 개의 group-by를 $_nC_{{\lceil}n/2{\rceil}}$개의 그룹으로 분할하고, 이 그룹들을 ${\lceil}n/2{\rceil}$개의 맵리듀스 잡(job)을 통해 단계적으로 계산한다. 제안 방법은 기존 방법에 비해 맵퍼(mapper)가 생성하는 중간결과의 크기를 크게 줄임으로써 중간결과의 전송 및 정렬에 드는 비용을 크게 줄인다. 그에 따라 데이터 큐브를 계산하는 총 수행시간이 크게 감소된다. 실험을 통해 제안 방법이 기존 방법에 비해 더 빠르게 데이터 큐브를 계산함을 보인다.

맵리듀스를 이용한 정렬 기반의 데이터 큐브 분산 병렬 계산 알고리즘 (Sort-Based Distributed Parallel Data Cube Computation Algorithm using MapReduce)

  • 이수안;김진호
    • 전자공학회논문지
    • /
    • 제49권9호
    • /
    • pp.196-204
    • /
    • 2012
  • 최근 많은 응용 분야에서 대규모 데이터에 대해 온라인 다차원 분석(OLAP)을 사용하고 있다. 다차원 데이터 큐브는 OLAP 분석에서 핵심 도구로 여긴다. 본 논문에서는 맵리듀스 분산 병렬 처리를 이용하여 효율적으로 데이터 큐브를 계산하는 방법을 연구하고자 한다. 이를 위해, 맵리듀스 프레임워크에서 데이터 큐브 계산 방법으로 잘 알려진 PipeSort 알고리즘을 구현하는 효율적인 방법에 대해서 살펴본다. PipeSort는 데이터 큐브의 한 큐보이드에서 동일한 정렬 순서를 갖는 여러 큐보이드를 한 파이프라인으로 한꺼번에 계산하는 효율적인 방식이다. 이 논문에서는 맵리듀스 프레임워크에서 PipeSort의 파이프라인을 구현한 네 가지 방법을 20대의 서버에서 수행하였다. 실험 결과를 보면, 고차원 데이터에 대해서는 PipeMap-NoReduce 알고리즘이 우수한 성능을 보였으며, 저차원 데이터에 대해서는 Post-Pipe 알고리즘이 더 우수함을 보였다.

분산환경에서 데이터 큐브와 신경망을 이용한 데이터마이닝기법 (Data Mining mechanism using Data Cube and Neural Network in distributed environment)

  • 박민기;바비제라도;이재완
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2003년도 추계종합학술대회
    • /
    • pp.188-191
    • /
    • 2003
  • 본 논문에서는 분산환경에서 데이터마이닝을 효율적으로 하기 위해 데이터 일반화과정으로 데이터 일반화 기법과 데이터 큐브구성 기법을 제안하였다. 그리고 일반화 과정 이후 생성된 데이터 큐브로부터 가장 유용한 데이터를 찾기 위한 방법으로 신경망의 전통적인 자기형상화기법을 응용한 동적 자기구성 지도기법을 제안하였고 이를 위한 시스템 구조를 설계하였다.

  • PDF

PRaCto: Pseudo Random bit generator for Cryptographic application

  • Raza, Saiyma Fatima;Satpute, Vishal R
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권12호
    • /
    • pp.6161-6176
    • /
    • 2018
  • Pseudorandom numbers are useful in cryptographic operations for using as nonce, initial vector, secret key, etc. Security of the cryptosystem relies on the secret key parameters, so a good pseudorandom number is needed. In this paper, we have proposed a new approach for generation of pseudorandom number. This method uses the three dimensional combinational puzzle Rubik Cube for generation of random numbers. The number of possible combinations of the cube approximates to 43 quintillion. The large possible combination of the cube increases the complexity of brute force attack on the generator. The generator uses cryptographic hash function. Chaotic map is being employed for increasing random behavior. The pseudorandom sequence generated can be used for cryptographic applications. The generated sequences are tested for randomness using NIST Statistical Test Suite and other testing methods. The result of the tests and analysis proves that the generated sequences are random.

맵리듀스를 이용한 빙산 큐브 병렬 계산 (Iceberg Cube Parallel Computation using MapReduce)

  • 이수안;김진호;문양세;노웅기
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(A)
    • /
    • pp.25-26
    • /
    • 2010
  • 대용량 데이터의 효율적 분석을 위해 데이터 뷰브가 연구되었으며, 데이터 큐브 계산의 고비용 문제점을 해결하기 위하여 큐브의 일부 영역만을 계산하는 빙산 큐브가 등장하였다. 빙산 큐브는 저장 공간의 감소, 집중적인 분석 등의 장점이 있으나, 여전히 많은 계산과 저장 공간을 필요로 하는 단점이 있다. 본 논문에서는 이러한 문제점을 해결하는 실용적인 방법으로 대용량 문제를 분산하여 처리하는 분산 병렬 컴퓨팅 기술인 맵리듀스(MapReduce) 프레임워크를 사용하여 분산 병렬 빙산 큐브인 MR-Naive와 MR-BUC 알고리즘을 제안한다. 실험을 통해 맵리듀스 프레임워크를 통한 빙사 큐브 계산이 효율적으로 분산 병렬 처리 됨을 확인하였다.

  • PDF

페어링 암호 시스템을 위한 $F_{3^m}$에서의 효율적인 MapToPoint 방법 (Faster MapToPoint over $F_{3^m}$ for Pairing-based Cryptosystems)

  • 박영호;조영인;장남수
    • 정보보호학회논문지
    • /
    • 제21권6호
    • /
    • pp.3-12
    • /
    • 2011
  • 페어링 암호 시스템에서 임의의 메시지 스트링을 타원곡선 위의 점으로 매핑하는 과정(MapToPoint)은 무시할 수 없는 연산량을 가지고 있으며 타원곡선 암호 시스템과 달리 페어링 암호 시스템에서는 $F_{3^m}$ 위의 타원곡선도 이용하기 때문에 $F_{3^m}$에서의 MapToPoint 연산이 필요하다. Barreto 등이 $F_{3^m}$ 위에서는 세제곱 계산이 선형연산인 것을 이용하여, x 좌표에 메시지를 대입하여 y 좌표를 계산하는 기존의 방법과 달리, y 좌표에 메세지를 대입하여 x 좌표를 계산하는 방법을 제안하였다. Barreto 등은 x 좌표의 계수들을 임의의 변수로 두고 이들로 이루어진 행렬을 이용하여 x 좌표를 계산했는데, 본 논문에서는 이 행렬의 크기를 줄여 보다 효율적으로 x 좌표를 계산할 수 있는 방법을 제안한다. 제안하는 방법은 Barreto 등의 방법의 44%의 메모리만으로 2~3 배 빠른 MapToPoint 연산을 수행할 수 있다.

Human Action Recognition Based on 3D Convolutional Neural Network from Hybrid Feature

  • Wu, Tingting;Lee, Eung-Joo
    • 한국멀티미디어학회논문지
    • /
    • 제22권12호
    • /
    • pp.1457-1465
    • /
    • 2019
  • 3D convolution is to stack multiple consecutive frames to form a cube, and then apply the 3D convolution kernel in the cube. In this structure, each feature map of the convolutional layer is connected to multiple adjacent sequential frames in the previous layer, thus capturing the motion information. However, due to the changes of pedestrian posture, motion and position, the convolution at the same place is inappropriate, and when the 3D convolution kernel is convoluted in the time domain, only time domain features of three consecutive frames can be extracted, which is not a good enough to get action information. This paper proposes an action recognition method based on feature fusion of 3D convolutional neural network. Based on the VGG16 network model, sending a pre-acquired optical flow image for learning, then get the time domain features, and then the feature of the time domain is extracted from the features extracted by the 3D convolutional neural network. Finally, the behavior classification is done by the SVM classifier.

MAYA를 이용한 3D게임 캐릭터 디자인 (A 3D Game Character Design Using MAYA)

  • 류창수;허창우
    • 한국정보통신학회논문지
    • /
    • 제15권6호
    • /
    • pp.1333-1337
    • /
    • 2011
  • 스마트폰 환경에서 하드웨어인 폰(Phone)은 CPU 처리 속도 향상, 3D 엔진 탑재, 가용량 메모리 확대 등으로 인하여 차세대 스마트폰 게임 시장이 활발하게 떠오르고 있다. 또한 3D 게임 캐릭터설정에 있어서, 작은 스마트폰 화면에서 사실적이고 자유로운 애니메이션이 중요한 부분이 되고 있다. 본 연구에서는 캐릭터 설정과 스마트폰에서 효과적으로 3D 게임 캐릭터가 체감을 유발할 수 있는 조작 방법으로, MAYA를 활용하여 NURBS 데이터로 눈에서 코 그리고 입으로 얼굴을 완성하고, Polygon Cube tool로 손과 발을 모델링하였다. 그리고 하나의 큐브를 반으로 나누어 모델링 한 후 mirror 복사를 통해서 바디의 전체를 완성시켜 로우폴리곤 모델링하였다. 그 다음 사실감 있고 자연스러운 캐릭터를 모델링하기 위해 ZBrush로 디테일 완성하고 Divide의 레벨을 4까지 적용하였다. 다소 거칠거나 과장된 형태일지라도 들어갈 곳과 나올 곳 등을 표현해가며 Smooth 브러시 효과로 부드럽게 표현하고 매핑하여 로우폴리곤 3D 캐릭터를 설계하였다.

MAYA를 이용한 3D게임 캐릭터 디자인 (A 3D Game Character Design Using MAYA)

  • 류창수;허창우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 춘계학술대회
    • /
    • pp.300-303
    • /
    • 2011
  • 스마트폰 환경에서 하드웨어인 폰(Phone)은 CPU 처리 속도 향상, 3D 엔진 탑재, 가용량 메모리 확대 등으로 인하여 차세대 스마트폰 게임 시장이 활발하게 떠오르고 있다. 또한 3D 게임 캐릭터설정에 있어서, 작은 스마트폰 화면에서 사실적이고 자유로운 애니메이션이 중요한 부분이 되고 있다. 본 연구에서는 캐릭터 설정과 스마트폰에서 효과적으로 3D 게임 캐릭터가 체감을 유발할 수 있는 조작 방법으로, MAYA를 활용하여 NURBS 데이터로 눈에서 코 그리고 입으로 얼굴을 완성하고, Polygon Cube tool로 손과 발을 모델링하였다. 그리고 하나의 큐브를 반으로 나누어 모델링 한 후 mirror 복사를 통해서 바디의 전체를 완성시켜 로우폴리곤 모델링하였다. 그 다음 사실감 있고 자연스러운 캐릭터를 모델링하기 위해 ZBrush로 디테일 완성하고 Divide의 레벨을 4까지 적용하였다. 다소 거칠거나 과장된 형태일지라도 들어갈 곳과 나올 곳 등을 표현해가며 Smooth 브러시 효과로 부드럽게 표현하고 매핑하여 로우폴리곤 3D 캐릭터를 설계하였다.

  • PDF