• Title/Summary/Keyword: 빅데이터 기법

Search Result 780, Processing Time 0.035 seconds

Big Data Analysis Using Principal Component Analysis (주성분 분석을 이용한 빅데이터 분석)

  • Lee, Seung-Joo
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.25 no.6
    • /
    • pp.592-599
    • /
    • 2015
  • In big data environment, we need new approach for big data analysis, because the characteristics of big data, such as volume, variety, and velocity, can analyze entire data for inferring population. But traditional methods of statistics were focused on small data called random sample extracted from population. So, the classical analyses based on statistics are not suitable to big data analysis. To solve this problem, we propose an approach to efficient big data analysis. In this paper, we consider a big data analysis using principal component analysis, which is popular method in multivariate statistics. To verify the performance of our research, we carry out diverse simulation studies.

빅 데이터 분석 기술동향과 활성화 과제

  • Park, Jong-Man;Eom, Tae-Won;Kim, Ha-Jin
    • Information and Communications Magazine
    • /
    • v.29 no.11
    • /
    • pp.55-66
    • /
    • 2012
  • 빅 데이터의 관심이 인프라 및 분석기술 자체에서 가치창조 측면으로 이동하면서 가치정보를 효율적으로 발굴, 분석, 추출, 활용하기 위한 차세대 고급 분석 기술 및 기법이 요구되고 있다. 이에 빅 데이터 활용기반구축을 위한 정부 및 기업의 대응이 시급한 시점이다. 이 연구는 빅 데이터 활용기반 구축과 분석기술 개발에 도움을 주고자 빅 데이터 분석의 핵심기술동향을 분석하고 실천과제를 제시한다.

Design and Implementation of a Generic Classification System Based on Incremental Learning Technology (점진적 학습 기술 기반 범용적인 분류기 구조설계 방법의 설계 및 구현)

  • Min, Byung-Won;Oh, Yong-Sun
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2019.05a
    • /
    • pp.425-426
    • /
    • 2019
  • 전통적인 마이닝 기법은 다양한 디지털 매체와 센서 등에서 생산되는 빅데이터를 처리하기 어려울 뿐 아니라 신규 데이터 누적시 전체 데이터를 재분석 해야하는 비효율성과 대용량의 문서를 학습함에 있어 메모리부족 문제, 학습 소요시간 문제 등이 있다. 이러한 문제를 해결하기 위하여 본 논문에서는 자질축소 기법에 의존하지 않고 대량의 문서를 자유롭게 학습하고 부분적인 자질 추가 변경 시에 변경요소만을 추가 반영할 수 있는 범용적이고 일반적인 분류기의 구조설계 방법을 설계 및 구현하였다. 점진적 학습 모듈은 일반적인 학습 방법이 데이터의 추가 및 변동시마다 모든 데이터를 재학습하는 데 반해, 기존의 학습 결과에 증분된 데이터만 재처리 없이 추가적으로 학습한다. 재학습을 위해 사용자는 작업 수행 중 자원 관리를 통해 기존에 처리된 데이터를 자유롭게 가져와서 새로운 데이터와 병합이 가능하다. 이러한 점직적 학습 효율성은 빅데이터 기반 데이터 처리에 주요한 특성인 데이터 생산 속도를 극복하기 위한 좋은 대안이 될 수 있음을 확인하였다.

  • PDF

Keyword Analysis of Data Technology Using Big Data Technique (빅데이터 기법을 활용한 Data Technology의 키워드 분석)

  • Park, Sung-Uk
    • Journal of Korea Technology Innovation Society
    • /
    • v.22 no.2
    • /
    • pp.265-281
    • /
    • 2019
  • With the advent of the Internet-based economy, the dramatic changes in consumption patterns have been witnessed during the last decades. The seminal change has led by Data Technology, the integrated platform of mobile, online, offline and artificial intelligence, which remained unchallenged. In this paper, I use data analysis tool (TexTom) in order to articulate the definitfite notion of data technology from Internet sources. The data source is collected for last three years (November 2015 ~ November 2018) from Google and Naver. And I have derived several key keywords related to 'Data Technology'. As a result, it was found that the key keyword technologies of Big Data, O2O (Offline-to-Online), AI, IoT (Internet of things), and cloud computing are related to Data Technology. The results of this study can be used as useful information that can be referred to when the Data Technology age comes.

Effective Countermeasure to APT Attacks using Big Data (빅데이터를 이용한 APT 공격 시도에 대한 효과적인 대응 방안)

  • Mun, Hyung-Jin;Choi, Seung-Hyeon;Hwang, Yooncheol
    • Journal of Convergence Society for SMB
    • /
    • v.6 no.1
    • /
    • pp.17-23
    • /
    • 2016
  • Recently, Internet services via various devices including smartphone have become available. Because of the development of ICT, numerous hacking incidents have occurred and most of those attacks turned out to be APT attacks. APT attack means an attack method by which a hacker continues to collect information to achieve his goal, and analyzes the weakness of the target and infects it with malicious code, and being hidden, leaks the data in time. In this paper, we examine the information collection method the APT attackers use to invade the target system in a short time using big data, and we suggest and evaluate the countermeasure to protect against the attack method using big data.

Subnet Selection Scheme based on probability to enhance process speed of Big Data (빅 데이터의 처리속도 향상을 위한 확률기반 서브넷 선택 기법)

  • Jeong, Yoon-Su;Kim, Yong-Tae;Park, Gil-Cheol
    • Journal of Digital Convergence
    • /
    • v.13 no.9
    • /
    • pp.201-208
    • /
    • 2015
  • With services such as SNS and facebook, Big Data popularize the use of small size such as micro blogs are increasing. However, the problem of accuracy and computational cost of the search result of big data of a small size is unresolved. In this paper, we propose a subnet selection techniques based probability to improve the browsing speed of the small size of the text information from big data environments, such as micro-blogs. The proposed method is to configure the subnets to give to the attribute information of the data increased the probability data search speed. In addition, the proposed method improves the accessibility of the data by processing a pair of the connection information between the probability of the data constituting the subnet to easily access the distributed data. Experimental results showed the proposed method is 6.8% higher detection rates than CELF algorithm, the average processing time was reduced by 8.2%.

A Study on Omni's Senior Service Support System Using Big Data Analytics (빅 데이터 분석 기법을 이용한 노인의 주기별 옴니서비스 지원시스템)

  • Park, Gyeongsu;Kim, Kwangsil;Kim, Chang Gi;Seo, Jeong Min
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2016.05a
    • /
    • pp.175-176
    • /
    • 2016
  • 최근 빅 데이터 및 분석기술을 이용한 분야가 다양화되고 있다. 하지만 정작 사회복지분야로의 적용은 매우 미약한 것이 현실이다. 사회복지분야에서의 빅 데이터를 이용한 각종 개인화 복지 서비스의 제공은 경제적인 부분뿐만 아니라 서비스를 제공하는 기관이나 서비스를 제공받는 이들에게 모두 상호 유기적인 관계를 유지할 수 있다. 특히 사회 조직으로부터 은퇴하거나 떨어져서 개인적인 삶을 영위해야 하는 노인들에게 있어 그들의 라이프 로그와 같은 빅 데이터를 분석하여 복합적이며 융합적인 복지서비스를 제공하는 기법은 매우 효율적이라 할 수 있다. 이에 본 논문에서는 노인들의 빅 데이터를 이용한 시간의 흐름별 옴니 복지서비스를 제공하도록 그들의 환경을 분석하는 시스템을 제안한다.

  • PDF

Big Data Management Scheme using Property Information based on Cluster Group in adopt to Hadoop Environment (하둡 환경에 적합한 클러스터 그룹 기반 속성 정보를 이용한 빅 데이터 관리 기법)

  • Han, Kun-Hee;Jeong, Yoon-Su
    • Journal of Digital Convergence
    • /
    • v.13 no.9
    • /
    • pp.235-242
    • /
    • 2015
  • Social network technology has been increasing interest in the big data service and development. However, the data stored in the distributed server and not on the central server technology is easy enough to find and extract. In this paper, we propose a big data management techniques to minimize the processing time of information you want from the content server and the management server that provides big data services. The proposed method is to link the in-group data, classified data and groups according to the type, feature, characteristic of big data and the attribute information applied to a hash chain. Further, the data generated to extract the stored data in the distributed server to record time for improving the data index information processing speed of the data classification of the multi-attribute information imparted to the data. As experimental result, The average seek time of the data through the number of cluster groups was increased an average of 14.6% and the data processing time through the number of keywords was reduced an average of 13%.

Service Management Scheme using Security Identification Information adopt to Big Data Environment (빅데이터 환경에 적합한 보안 인식 정보를 이용한 서비스 관리 기법)

  • Jeong, Yoon-Su;Han, Kun-Hee
    • Journal of Digital Convergence
    • /
    • v.11 no.12
    • /
    • pp.393-399
    • /
    • 2013
  • Recently, the quantity and type of data that is being processed in cloud environment are varied. A method for easy access in different network in a heterogeneous environment of big data stored in the device is required. This paper propose security management method for smoothly access to big data in other network environment conjunction with attribute information between big data and user. The proposed method has a high level of safety even if user-generated random bit signal is modulated. The proposed method is sufficient to deliver any number of bits the user to share information used to secure recognition. Also, the security awareness information bit sequence generated by a third party to avoid unnecessary exposure value by passing a hash chain of the user anonymity is to be guaranteed to receive.

빅데이터 분석을 위한 Rank-Sparsity 기반 신호처리기법

  • Lee, Hyeok;Lee, Hyeong-Il;Jo, Jae-Hak;Kim, Min-Cheol;So, Byeong-Hyeon;Lee, Jeong-U
    • Information and Communications Magazine
    • /
    • v.31 no.11
    • /
    • pp.35-45
    • /
    • 2014
  • 주성분 분석 기법(PCA)는 가장 널리 사용되는 데이터 차원 감소 (dimensionality reduction) 기법으로 알려져 있다. 하지만 데이터에 이상점 (outlier)가 존재하는 환경에서는 성능이 크게 저하된다는 단점을 가지고 있다. Rank-Sparsity(Robust PCA) 기법은 주어진 행렬을 low-rank 행렬과 저밀도(sparse)행렬의 합으로 분해하는 방식으로, 이상점이 많은 환경에서 PCA기법을 효과적으로 대체할 수 있는 알고리즘으로 알려져 있다. 본 고에서는 RPCA 기법을 간략히 소개하고, 그의 적용분야, 및 알고리즘에 관한 연구들을 대해서 알아본다.