• 제목/요약/키워드: Big data Problem

검색결과 574건 처리시간 0.027초

A Method for Compound Noun Extraction to Improve Accuracy of Keyword Analysis of Social Big Data

  • Kim, Hyeon Gyu
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권8호
    • /
    • pp.55-63
    • /
    • 2021
  • 소셜 빅데이터는 신조어나 고유명사를 포함하는 경우가 많으며, 이들을 처리하기 위해 단어별 출현 빈도수를 기반으로 한 통계적인 형태소 분석 방법이 많이 활용되고 있다. 그러나 이들 방법에서는 복합 명사를 제대로 인지하지 못해, 키워드 추출의 정확도가 떨어지는 문제점이 지적되고 있다. 본 논문에서는 소셜 빅데이터의 키워드 분석에 있어 복합 명사를 추출하기 위한 방법을 제안한다. 제안 방법은 형태소 분석 단계를 통해 얻어진 단어를 조합하여 복합 명사 후보군을 만들고, 주어진 리뷰에서 이들의 출현 빈도를 조사하여 얻어진 빈도수를 기반으로 복합 명사를 추출한다. 복합 명사 후보군을 구성하는 방법에 따라 두 가지 알고리즘을 제안하였으며, 각 알고리즘의 성능을 수식으로 표현하고 비교한다. 그리고 온라인에서 수집된 실제 데이터를 대상으로 실험을 통해 비교 결과를 검증하는 동시에, 제안 방법이 실시간 처리에도 적합함을 보여준다.

비대면 교육 문제점 파악을 위한 빅데이터 텍스트 마이닝 분석 (Big data text mining analysis to identify non-face-to-face education problems)

  • 박성재;황욱선
    • 한국교육논총
    • /
    • 제43권1호
    • /
    • pp.1-27
    • /
    • 2022
  • 세계적으로 코로나19 바이러스가 만연해짐에 따라 다양한 분야에서 비대면화를 시행하게 되었고, 교육 시스템 또한 급격한 비대면화로 인해 많은 관심이 집중되기 시작하였다. 본 연구의 목적은 현재까지 계속적으로 변화하고 있는 교육환경에 맞추어 비대면 교육이 나아가야 하는 방향성에 대해서 분석하는 것이다. 본 연구에서는 다양한 의견들이 존재하는 소셜네트워크 빅데이터를 수집하기 위하여 텍스톰(Textom), 유씨넷6(Ucinet6) 분석 도구 프로그램을 사용하여 데이터를 시각화하였다. 연구 결과 '코로나'와 관련된 키워드가 주를 이루었으며 '기사', '뉴스'등의 높은 빈도의 키워드들이 존재했다. 분석 결과 네트워크 장애 및 보안 문제와 같은 비대면 교육에 관련한 다양한 이슈들을 확인해 볼 수 있었고, 분석 이후 교육 시장의 성장과 교육 환경의 변화에 따른 비대면 교육 시스템의 방향성에 관하여 연구하였다. 또한 빅데이터를 이용하여 분석한 비대면 교육시의 보안 강화 필요성과 수업 방식에 대한 피드백의 필요성이 존재한다.

A Security-Enhanced Identity-Based Batch Provable Data Possession Scheme for Big Data Storage

  • Zhao, Jining;Xu, Chunxiang;Chen, Kefei
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권9호
    • /
    • pp.4576-4598
    • /
    • 2018
  • In big data age, flexible and affordable cloud storage service greatly enhances productivity for enterprises and individuals, but spontaneously has their outsourced data susceptible to integrity breaches. Provable Data Possession (PDP) as a critical technology, could enable data owners to efficiently verify cloud data integrity, without downloading entire copy. To address challenging integrity problem on multiple clouds for multiple owners, an identity-based batch PDP scheme was presented in ProvSec 2016, which attempted to eliminate public key certificate management issue and reduce computation overheads in a secure and batch method. In this paper, we firstly demonstrate this scheme is insecure so that any clouds who have outsourced data deleted or modified, could efficiently pass integrity verification, simply by utilizing two arbitrary block-tag pairs of one data owner. Specifically, malicious clouds are able to fabricate integrity proofs by 1) universally forging valid tags and 2) recovering data owners' private keys. Secondly, to enhance the security, we propose an improved scheme to withstand these attacks, and prove its security with CDH assumption under random oracle model. Finally, based on simulations and overheads analysis, our batch scheme demonstrates better efficiency compared to an identity based multi-cloud PDP with single owner effort.

스마트 폰을 이용한 데이터 수집 어플리케이션 개발 (Development of Data Collection Application using Smart Phone)

  • 정용진;오창헌
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 추계학술대회
    • /
    • pp.664-666
    • /
    • 2014
  • 최근 사용자들에게 다양한 정보를 제공하기 위해 무의미한 데이터를 수집하고 관계를 분석하여 의미 있는 데이터를 추출하는 빅데이터가 이슈이다. 하지만 기존의 데이터 수집 방식은 건물 내 외부에 설치된 센서 및 기타 사용자들의 정보들을 이용하여 데이터를 분석하기 때문에 정보취합에 어려움이 존재한다. 본 논문에서는 이러한 데이터 수집의 문제점을 해결하기 위해 스마트 폰을 이용한 데이터 수집 어플리케이션을 개발한다. 개발하는 데이터 수집 어플리케이션은 Wi-Fi에 대한 정보 및 온도, 습도, 가속도, 자이로 등의 데이터를 측정하며, 웹을 통해 서버로 전송한다. 전송된 데이터는 사용자의 상황 추론을 위한 데이터로써 사용되며, 향후 추론 결과에 따라 사용자의 상황에 맞춰 다양한 서비스의 제공이 가능하다.

  • PDF

Certificateless multi-signer universal designated multi-verifier signature from elliptic curve group

  • Deng, Lunzhi;Yang, Yixian;Chen, Yuling
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권11호
    • /
    • pp.5625-5641
    • /
    • 2017
  • Certificateless public key cryptography resolves the certificate management problem in traditional public key cryptography and the key escrow problem in identity-based cryptography. In recent years, some good results have been achieved in speeding up the computation of bilinear pairing. However, the computation cost of the pairing is much higher than that of the scalar multiplication over the elliptic curve group. Therefore, it is still significant to design cryptosystem without pairing operations. A multi-signer universal designated multi-verifier signature scheme allows a set of signers to cooperatively generate a public verifiable signature, the signature holder then can propose a new signature such that only the designated set of verifiers can verify it. Multi-signer universal designated multi-verifier signatures are suitable in many different practical applications such as electronic tenders, electronic voting and electronic auctions. In this paper, we propose a certificateless multi-signer universal designated multi-verifier signature scheme and prove the security in the random oracle model. Our scheme does not use pairing operation. To the best of our knowledge, our scheme is the first certificateless multi-signer universal designated multi-verifier signature scheme.

A Visualization Scheme with a Calendar Heat Map for Abnormal Pattern Analysis in the Manufacturing Process

  • Chankhihort, Doung;Lim, Byung-Muk;Lee, Gyu-Jung;Choi, Sungsu;Kwon, Sun-Ock;Lee, Sang-Hyun;Kang, Jeong-Tae;Nasridinov, Aziz;Yoo, Kwan-Hee
    • International Journal of Contents
    • /
    • 제13권2호
    • /
    • pp.21-28
    • /
    • 2017
  • Abnormal data in the manufacturing process makes it difficult to find useful information that can be applied in data management for the manufacturing industry. It causes various problems in the daily process of production. An issue from the abnormal data can be handled by our method that uses big data and visualization. Visualization is a new technology that transforms data representation into a two-dimensional representation. Nowadays, many newly developed technologies provide data analysis, algorithm, optimization, and high efficiency, and they meet user requirements. We propose combined production of the data visualization approach that uses integrative visualization of sources of abnormal pattern analysis results. The perceived idea of the proposed approach can solve the problem as it also works for big data. It can also improve the performance and understanding by using visualization and solving issues that occur in the manufacturing process with a calendar heat map.

도커 기반의 실시간 데이터 연계 및 처리 환경을 고려한 빅데이터 관리 플랫폼 개발 (Development of Big-data Management Platform Considering Docker Based Real Time Data Connecting and Processing Environments)

  • 김동길;박용순;정태윤
    • 대한임베디드공학회논문지
    • /
    • 제16권4호
    • /
    • pp.153-161
    • /
    • 2021
  • Real-time access is required to handle continuous and unstructured data and should be flexible in management under dynamic state. Platform can be built to allow data collection, storage, and processing from local-server or multi-server. Although the former centralize method is easy to control, it creates an overload problem because it proceeds all the processing in one unit, and the latter distributed method performs parallel processing, so it is fast to respond and can easily scale system capacity, but the design is complex. This paper provides data collection and processing on one platform to derive significant insights from various data held by an enterprise or agency in the latter manner, which is intuitively available on dashboards and utilizes Spark to improve distributed processing performance. All service utilize dockers to distribute and management. The data used in this study was 100% collected from Kafka, showing that when the file size is 4.4 gigabytes, the data processing speed in spark cluster mode is 2 minute 15 seconds, about 3 minutes 19 seconds faster than the local mode.

형사사법정보의 빅데이터 활용방안 연구: 구조화 범주화 관점으로 (A Study on the Use of Criminal Justice Information Big Data in terms of the Structuralization and Categorization)

  • 김미령;노윤주;김성훈
    • 정보관리학회지
    • /
    • 제36권4호
    • /
    • pp.253-277
    • /
    • 2019
  • 4차 산업혁명시대를 맞아 데이터의 중요성은 심화되고 있으나, 개인정보보호 등의 문제로 데이터의 활용이 쉽지 않은 경우가 많이 있다. 형사사법정보는 범죄 예측 및 예방, 범죄수사 과학화, 양형합리화 등 다양한 활용가치가 예상됨에도 현재 개인정보보호와 형사사법정보 관련 법률적 해석 문제로 활용이 상당히 제한되고 있다. 본 연구는 형사사법정보의 구조화·범주화를 통해 '범죄데이터'로 전환하여 빅데이터로서 활용하도록 제안하였으며, '범죄데이터' 활용시 법률적 문제, 활용가치, 데이터 생성 및 활용시 고려사항을 전문가를 통해 검증하고 향후 전략적 발전방안을 도출하였다. 연구결과, '범죄데이터'는 개인정보보호문제는 해결된 것으로 보여지나, 형사사법정보 관련법에 명시할 필요는 있으며, 빅데이터 활용을 위해 분석 가능하도록 표준화된 형태로 정리되는 것이 시급함이 밝혀졌다. 향후 진행방향으로는 데이터 요소 도출, 용어사전 시소러스 구축, 데이터 등급화를 위한 개인민감정보 정의 및 등급지정, 비정형데이터의 정형화를 위한 알고리즘 개발 등을 제시하였다.

분산병렬처리 환경에서 오토매핑 기법을 통한 NoSQL과 RDBMS와의 연동 (Interoperability between NoSQL and RDBMS via Auto-mapping Scheme in Distributed Parallel Processing Environment)

  • 김희성;이봉환
    • 한국정보통신학회논문지
    • /
    • 제21권11호
    • /
    • pp.2067-2075
    • /
    • 2017
  • 최근 빅데이터가 주목받게 되면서 빅데이터를 처리하기 위한 시스템들도 중요하게 여겨지고 있다. 빅데이터 처리 시스템으로 분산파일시스템인 Hadoop과 비정형 데이터 처리를 위한 NoSQL 데이터 스토어가 주목받고 있다. 하지만 아직까지 NoSQL을 사용함에 있어 어려움이나 불편함도 존재한다. 저용량 데이터인 경우 NoSQL의 MapReduce는 불필요한 작업시간을 소모하게 되며, RDBMS 보다 상대적으로 많은 데이터 탐색 시간이 소요되기도 한다. 본 논문에서는 이러한 NoSQL의 문제점을 해결하기 위해 NoSQL과 RDBMS 간의 연동 기법을 제안하였다. 개발한 오토매핑 기법은 처리할 데이터의 양에 따라 적합한 데이터베이스를 사용하게 하여 결과적으로 검색시간을 빠르게 할 수 있다. 실험 결과 제안한 데이터베이스 연동 기법은 특정 데이터 셋의 경우 검색시간을 최대 35%까지 줄일 수 있다.

A Lightweight Integrity Authentication Scheme based on Reversible Watermark for Wireless Body Area Networks

  • Liu, Xiyao;Ge, Yu;Zhu, Yuesheng;Wu, Dajun
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제8권12호
    • /
    • pp.4643-4660
    • /
    • 2014
  • Integrity authentication of biometric data in Wireless Body Area Network (WBAN) is a critical issue because the sensitive data transmitted over broadcast wireless channels could be attacked easily. However, traditional cryptograph-based integrity authentication schemes are not suitable for WBAN as they consume much computational resource on the sensor nodes with limited memory, computational capability and power. To address this problem, a novel lightweight integrity authentication scheme based on reversible watermark is proposed for WBAN and implemented on a TinyOS-based WBAN test bed in this paper. In the proposed scheme, the data is divided into groups with a fixed size to improve grouping efficiency; the histogram shifting technique is adopted to avoid possible underflow or overflow; local maps are generated to restore the shifted data; and the watermarks are generated and embedded in a chaining way for integrity authentication. Our analytic and experimental results demonstrate that the integrity of biometric data can be reliably authenticated with low cost, and the data can be entirely recovered for healthcare applications by using our proposed scheme.