• Title/Summary/Keyword: 대용량의 점데이터

Search Result 130, Processing Time 0.061 seconds

근사 함수에 기반한 대용량 3차원 모델 복원 알고리즘

  • 조현철;김선정;김창헌
    • Proceedings of the Korean Society of Precision Engineering Conference
    • /
    • 2004.05a
    • /
    • pp.307-307
    • /
    • 2004
  • 본 논문에서는 3차원 스캔기기에서 실제 모델을 측정하여 얻어지는 점 데이터로부터 모델의 표면을 생성하는 알고리즘을 제안한다. 3차원 스캔기기가 정밀해지고 스캔 규모도 커짐에 따라 측정 데이터의 크기도 증가되어, 이러한 대용량 측정 데이터의 복원 알고리즘이 필요로 되고 있다. 그리고 여러 다른 각도에서 스캔닝 된 점 데이터들은 이어지는 부분이 정확히 맞지 않아 중첩되어 표현되거나 기계적인 또는 환경적인 제약 등의 이유로 오류가 포함될 수도 있다. 그러므로 복원 알고리즘은 이러한 중첩된 표현을 정리하고 오류를 보정해 주어야 한다.(중략)

  • PDF

A Survey on Massive Data Processing Model in Cloud Computing (클라우드 컴퓨팅에서의 대용량 데이터 처리 모델에 관한 조사)

  • Jin, Ah-Yeon;Park, Young-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.145-146
    • /
    • 2011
  • 클라우드 컴퓨팅은 세계적인 시장조사기관인 가트너사의 10대전략기술에서 2년 연속 1위를 할 정도로 많은 각광을 받고 있다. 클라우드 컴퓨팅이란 인터넷 기술을 활용하여 가상화된 컴퓨팅 자원을 서비스로 제공하는 것으로, 사용자는 IT자원을 필요한 만큼 빌려서 사용하고 사용한 만큼 비용을 지불하는 컴퓨팅을 지칭한다. 이러한 클라우드 컴퓨팅 상에서 폭발적으로 증가하고 있는 데이터를 효율적으로 병렬 처리할 수 있는 방법에 대하여 많은 연구가 활발히 이루어지고 있다. 이러한 대용량 데이터 처리를 위한 대표적인 모델에는 MapReduce와 Dryad가 있으며, 서로간에 많은 공통점이 있지만 MapReduce는 범용 프로그래밍 언어를 기반으로 쉬운 병렬 프로그래밍을 가능하게 했다는 점에서 많이 사용되고 있으며 Dryad는 재사용이 쉽고 데이터 처리 흐름을 유연하게 작성할 수 있다는 점에서 장점을 가지고 있다.

Effective Management Method of the GeoContents using Differences (상이점을 이용한 GeoContents의 효율적인 관리 방법)

  • Park, Sun-Rae;Kim, Jae-Chul;Lee, Kyu-Chul
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.4
    • /
    • pp.65-73
    • /
    • 2009
  • With the rapid development of computer, information and communication technologies, the production and distribution of digital contents among various kinds of networks have become more common. In such environment, we need to store and to manage efficiently a large volume of geograpruc data because the amount of geographic data grows faster and faster. In this paper, as a key solution to manage efficiently such a huge amount of geograpruc data, we adopt the mechanism which compresses only the difference between original and updated data with high compression ratio. By transferring highly compressed updated part only instead of the entire of geographic data, we can reduce the network traffic during the download of contents and service.

  • PDF

User Authentication Scheme based on Secret Sharing for Distributed File System in Hadoop (하둡의 분산 파일 시스템 구조를 고려한 비밀분산 기반의 사용자 인증 기법)

  • Kim, Su-Hyun;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.740-743
    • /
    • 2013
  • 클라우드 컴퓨팅 환경에서는 사용자의 데이터를 수많은 분산서버를 이용하여 데이터를 암호화하여 저장한다. 구글, 야후 등 글로벌 인터넷 서비스 업체들은 인터넷 서비스 플랫폼의 중요성을 인식하고 자체 연구 개발을 수행, 저가 상용 노드를 기반으로 한 대규모 클러스터 기반의 클라우드 컴퓨팅 플랫폼 기술을 개발 활용하고 있다. 이와 같이 분산 컴퓨팅 환경에서 다양한 데이터 서비스가 가능해지면서 대용량 데이터의 분산관리가 주요 이슈로 떠오르고 있다. 한편, 대용량 데이터의 다양한 이용 형태로부터 악의적인 공격자나 내부 사용자에 의한 보안 취약성 및 프라이버시 침해가 발생할 수 있다. 특히, 하둡에서 데이터 블록의 권한 제어를 위해 사용하는 블록 접근 토큰에도 다양한 보안 취약점이 발생한다. 이러한 보안 취약점을 보완하기 위해 본 논문에서는 비밀분산 기반의 블록 접근 토큰 관리 기법을 제안한다.

Point Clouds Compression Using Pose Deformation (포즈 변형을 이용한 포인트 클라우드 압축)

  • Lee, Sol;Park, Byung-Seo;Park, Jung-Tak;Seo, Young-Ho
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2021.06a
    • /
    • pp.47-48
    • /
    • 2021
  • 본 논문에서는 대용량의 3D 데이터 시퀀스의 압축을 진행한다. 3D 데이터 시퀀스의 각 프레임에서 Pose Estimation을 통해 3D Skeleton을 추출한 뒤, 포인트 클라우드를 skeleton에 묶는 리깅 과정을 거치고, 다음 프레임과 같은 자세로 deformation을 진행한다. 다음 프레임과 같은 자세로 변형된 포인트 클라우드와 실제 다음 프레임의 포인트 클라우드를 비교하여, 두 데이터에 모두 있는 점, 실제 다음 프레임에만 있는 점, deformation한 데이터에만 있는 점으로 분류한다. 두 데이터에 모두 있는 점을 제외하고 나머지 두 분류의 점들을 저장함으로써 3D 시퀀스 데이터를 압축할 수 있다.

  • PDF

Retrieval of Large scaled XML Documents based on Path Query using Inverted indexes (역 색인을 이용한 경로 질의 기반 대용량 XML문서 검색)

  • Moon, Kyung-Won;Hwang, Byung-Yeon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.35-38
    • /
    • 2005
  • 1998년 XML 문서 표준이 제안된 이래, 다양한 응용 분야에서 XML은 데이터를 표현하는 표준으로 자리잡아 가고 있다. 특히, 인터넷상의 많은 데이터들이 XML 형태로 작성되고 변환됨에 따라 다량의 XML 데이터가 생성되고 있다. 따라서 현재 XML 문서의 저장 및 질의 처리 기법의 연구가 활발하게 진행되고 있다. 하지만 기존의 연구는 대용량 XML 문서를 다루기에는 미흡한 점이 있다. 본 논문에서는 인터넷상의 널리 퍼져있는 방대하고, 다양한 구조의 XML문서들을 대상으로 패스 기반 질의를 빠르게 처리할 수 있는 검색 기법을 제안한다. 제안된 기법은 인터넷상에 산재해 있는 여러 XML 문서를 관계형 데이터베이스에 효율적으로 저장하고 질의를 통해 인터넷상 XML 문서의 엘리먼트를 빠르게 검색하는데 주안점을 둔다. 먼저, XML 문서를 관계형 데이터베이스에 효율적으로 저장하는 계층형 XML 저장 기법을 제안하고, 정보 검색 시스템에서 많이 사용하는 역 인덱스를 사용하여 저장된 XML 문서에 대한 검색 성능을 향상시킨다.

  • PDF

Construction of Distributed Multimedia Database using by server and client (서버,클라이언트를 이용한 분산형 멀티미디어 데이터베이스 구축)

  • 하태용;신용백;왕지남
    • Proceedings of the Korean Society of Precision Engineering Conference
    • /
    • 1994.10a
    • /
    • pp.801-805
    • /
    • 1994
  • 멀티미디어(화상,음성,하이퍼텍스트)의 데이터는 다른 데이터와 상이점이 많아 운용에 어려움이 있다. 대용량의 저장용량(storage)의 필요, 데이터 통신의 어려움 등이 빠르게 발전하는 멀티미디어 기술에 제약조건이 된다. 본 연구에서는 멀티미디어 데이터가 일 반적인 텍스트(Text)데이터와 같이 높은 수행도(Performance) 및 안정적인 데이터베이스 (Database)로 구축되어 효율적으로 운용 되는데 중점을 둔다. 아울러 대량의 정보를 처리하기 위하여 서버(server)와 클라이언트(Client)기법을 이용한 분산처리로 실시간 처리 및 데이터 저장의 한계를 극복하고자 한다.

  • PDF

Design and Implementation of an SGML Document Model based on Components (컴포넌트에 기반한 SGML 문서 저장 모델의 설계 및 구현)

  • 조승기;고승규;최윤철
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.87-89
    • /
    • 2000
  • SGML(Standard Generalized Markup Language)은 구조적 문서를 나타내기 위한 표준으로 서로 다른 컴퓨터 기종간에 호환이 가능하며 다방면에 유연하게 이용 가능한 점이 장점이다. 전자도서관, 온라인 매뉴얼 등의 분야에서 SGML 이 활용되면서, 대용량의 SGML 문서를 처리하고 사용자에게 정보를 제공하는 SGML 데이터베이스 시스템이 필요하게 되었다. 본 연구에서는 이와 같은 대용량의 SGML 데이터베이스를 정의하기 위한 데이터 모델로서, 엘리먼트 구조를 보완하고 문서의 개념을 표현할 수 있는 컴포넌트 기반 모델을 제시하고 기본적인 저장 시스템을 구현하였다 검증을 위해 실험을 수행하였으며 저장과 검색 면에서 성능 향상을 얻었다..

  • PDF

An Efficient Clustering Method based on Multi Centroid Set using MapReduce (맵리듀스를 이용한 다중 중심점 집합 기반의 효율적인 클러스터링 방법)

  • Kang, Sungmin;Lee, Seokjoo;Min, Jun-ki
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.7
    • /
    • pp.494-499
    • /
    • 2015
  • As the size of data increases, it becomes important to identify properties by analyzing big data. In this paper, we propose a k-Means based efficient clustering technique, called MCSKMeans (Multi centroid set k-Means), using distributed parallel processing framework MapReduce. A problem with the k-Means algorithm is that the accuracy of clustering depends on initial centroids created randomly. To alleviate this problem, the MCSK-Means algorithm reduces the dependency of initial centroids using sets consisting of k centroids. In addition, we apply the agglomerative hierarchical clustering technique for creating k centroids from centroids in m centroid sets which are the results of the clustering phase. In this paper, we implemented our MCSK-Means based on the MapReduce framework for processing big data efficiently.

Data Processing Architecture for Cloud and Big Data Services in Terms of Cost Saving (비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 데이터 처리 아키텍쳐)

  • Lee, Byoung-Yup;Park, Jae-Yeol;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.15 no.5
    • /
    • pp.570-581
    • /
    • 2015
  • In recent years, many institutions predict that cloud services and big data will be popular IT trends in the near future. A number of leading IT vendors are focusing on practical solutions and services for cloud and big data. In addition, cloud has the advantage of unrestricted in selecting resources for business model based on a variety of internet-based technologies which is the reason that provisioning and virtualization technologies for active resource expansion has been attracting attention as a leading technology above all the other technologies. Big data took data prediction model to another level by providing the base for the analysis of unstructured data that could not have been analyzed in the past. Since what cloud services and big data have in common is the services and analysis based on mass amount of data, efficient operation and designing of mass data has become a critical issue from the early stage of development. Thus, in this paper, I would like to establish data processing architecture based on technological requirements of mass data for cloud and big data services. Particularly, I would like to introduce requirements that must be met in order for distributed file system to engage in cloud computing, and efficient compression technology requirements of mass data for big data and cloud computing in terms of cost-saving, as well as technological requirements of open-source-based system such as Hadoop eco system distributed file system and memory database that are available in cloud computing.