• 스마트미디어저널
• /
• 제6권3호
• /
• pp.68-74
• /
• 2017

빅 데이터 처리는 파일이나 이미지, 동영상 등 다양한 형태의 데이터를 처리하여 문제를 해결하고 통찰력 있는 유용한 정보를 제공한다. 현재 빅 데이터 처리를 위해 다양한 플랫폼이 사용되지만, 하둡이 가지는 단순성, 생산성, 확장성, 그리고 내고장성 때문에 많은 기관, 기업에서 빅 데이터 처리에 하둡을 사용하고 있다. 또한, 하둡은 다양한 하드웨어 플랫폼으로 클러스터를 구축할 수 있으며, 네임 노드(Master)와 데이터 노드(Slave)로 구분하여 빅 데이터를 처리한다. 본 논문에서는 실제 기관과 기업에서 사용하는 완전분산모드를 사용하였으며 원활한 테스트를 위해 저전력이고 저가인 싱글 보드를 사용하여 하둡 클러스터를 구축하였다. 네임 노드의 성능 영향 분석은 싱글 보드와 랩톱을 네임 노드로 사용하여 같은 데이터 처리를 통하여 비교하였으며 데이터 노드의 개수에 따른 영향 분석은 싱글 보드를 기존 클러스터의 개수에서 2배까지 늘려가며 데이터 노드가 미치는 영향을 분석하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권8호
• /
• pp.2772-2786
• /
• 2022

We had researched an automatic authentication-supported medical information platform[6]. The proposed automatic authentication consists of user authentication and mobile terminal authentication, and the authentications are performed simultaneously in patients' emergency conditions. In this paper, we studied on finding emergency conditions for the automatic authentication by applying big data processing and AI mechanism on the extended medical information platform with an added edge computing system. We used big data processing, SVM, and 1-Dimension CNN of AI mechanism to find emergency conditions as authentication means considering patients' underlying diseases such as hypertension, diabetes mellitus, and arrhythmia. To quickly determine a patient's emergency conditions, we placed edge computing at the end of the platform. The medical information server derives patients' emergency conditions decision values using big data processing and AI mechanism and transmits the values to an edge node. If the edge node determines the patient emergency conditions, the edge node notifies the emergency conditions to the medical information server. The medical server transmits an emergency message to the patient's charge medical staff. The medical staff performs the automatic authentication using a mobile terminal. After the automatic authentication is completed, the medical staff can access the patient's upper medical information that was not seen in the normal condition.

• 정보화연구
• /
• 제11권4호
• /
• pp.449-462
• /
• 2014

빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.

• 한국콘텐츠학회논문지
• /
• 제16권2호
• /
• pp.163-173
• /
• 2016

최근 대용량의 스트림 데이터를 분산 처리하기 위한 연구들이 진행되고 있다. 본 논문에서는 빅데이터 환경에서 실시간 스트림 데이터의 점진적 처리 기법을 제안한다. 제안하는 기법은 처음 스트림 데이터가 입력되면 임시 큐에 데이터를 저장하고 마스터 노드에 저장되어 데이터와 비교과정을 통해 마스터 노드에 동일한 데이터가 있는 경우 마스터 노드에서 가지고 있는 노드의 정보를 이용하여 해당 노드의 메모리에서 기존 처리 결과를 재사용한다. 기존 처리 결과가 없다면 처리하고 처리 결과를 메모리에 저장한다. 분산 환경에서 점진적인 스트리밍 데이터 처리를 위해 노드의 작업 지연을 계산하여 노드의 부하를 파악하고 처리 시간 계산을 통해 각 노드의 성능을 고려한 잡 스케쥴링 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 질의 수행 시간 비교를 위한 성능평가를 수행한다.

• 한국정보전자통신기술학회논문지
• /
• 제16권5호
• /
• pp.354-361
• /
• 2023

빅데이터 분석 시스템들은 다양한 형태의 방대한 데이터를 저장 및 처리, 분석을 위해 MongoDB와 같은 NoSQL 데이터베이스를 적용한다. MongoDB는 환경 구성에 따라 분산 처리 및 데이터 복제를 통해 확장성과 빠른 데이터 처리 속도를 제공한다. 본 논문에서는 구현하는 빅데이터 분석 시스템에 적합한 MongoDB 환경 구성에 대해 연구한다. 성능 평가를 위한 환경은 크게 싱글 노드와 다중 노드 환경으로 구성하였으며, 다중 노드 환경은 데이터 노드의 수를 2대에서 3대까지 확장하여 각 환경별 성능을 측정하였다. 분석 결과, 3차원 이상의 복잡한 데이터 구조의 데이터 처리 속도는 싱글 노드 환경이 2개의 데이터 노드 환경에 비해 약 5.75% 빠르게 처리하지만,3개의 데이터 노드 환경은 싱글 노드 환경에 비해 약 25.15% 이상 빠르게 처리한다. 그러나 데이터 구조가 단순한 1차원 데이터 구조는 다중 노드 환경이 싱글 노드 환경에 비해 약 28.63% 빠르게 처리한다. 향후 본 연구를 기반으로 다양한 데이터 구조 및 방대한 양의 데이터를 통한 실질적인 검증이 필요하다.

• 대한토목학회논문집
• /
• 제38권5호
• /
• pp.693-701
• /
• 2018

수도권 도시철도의 환승통행은 '노선간환승'과 '역사환승'으로 구분된다. 역사환승은 1) 교통카드 Tag-In 단말기 운영노선과 초승열차 운영노선이 다른 경우와 2) 최종 하차열차 운영노선과 교통카드 Tag-Out 단말기 운영노선이 다른 경우에 발생한다. 기존연구에서 주로 교통카드자료를 이용한 환승량 추정은 '노선간 환승량'을 의미하며 '역사환승량'은 제외되어 환승통로를 이용하는 보행에 대한 과소추정의 원인이 되었다. 본 연구는 수도권 대중교통카드자료를 이용해서 역사환승량을 추정하는 방안을 제시한다. 이를 위해 승객의 경로선택모형에 역사환승량 산정에 적합하도록 변형된 Big-Node 기반 네트워크 구축기법과 자료구조 방법론을 제시한다. 1일 약 800만 건의 수도권 도시철도 이용카드자료를 대상으로 사례분석을 시행한다.

• 한국인터넷방송통신학회논문지
• /
• 제18권4호
• /
• pp.219-226
• /
• 2018

산업용 사물인터넷(IIoT:Industrial Internet of Thing)은 기존의 공정의 자동화란 범주를 넘어 모든 제조공정을 정보화 하는 것을 의미한다. 또한 각 공정에 설치된 센서로 부터 수집되는 데이터를 토대로 정보화 시스템을 구축하여 각 공정을 실시간으로 관리하고 자동화하여 최적의 생산성을 유지하는데 그 목적을 두고 있다. 각 공정의 센서로 부터 수집되는 데이터는 비정형성을 띄고 있으며 이러한 비정형데이터를 효과적으로 수집하고 처리하기 위해 많은 연구가 이루어지고 있다. 본 논문에서는 효과적인 빅데이터 수집 및 처리를 위하여 미들웨어로 Node-RED를 사용한 시스템을 제안하였다.

• 한국컴퓨터정보학회논문지
• /
• 제19권12호
• /
• pp.101-109
• /
• 2014

의학기술의 발전과 소득수준의 증가로 "건강하게 오래살기"에 관심이 높아지면서 적극적으로 건강을 증진하고 유지하는 웰니스가 확대되고 있다. 또한 맞춤형 의료서비스에 대한 수요가 증가하고 방대한 의료 빅 데이터를 이용한 질병 예방의 움직임도 나타나고 있다. 이 논문에서는, 의료 시장에서 주요 관심분야로 부각되고 있는 웰니스를 지원하기위해 빅 데이터 기반의 의료 질 향상을 통한 환자중심의 의료서비스를 목적으로 한다. 환자를 약물에 의존적으로 치료만 하는 것이 아니라 식생활 개선을 기반으로 질병예방과 치료를 위해 빅데이터를 분석한다. 개인 트윗터를 분석해서 일상생활정보를 획득하고 웰니스 사전을 기반으로 질병예방과 치료를 목적으로 한다. 효율적인 빅데이터 분석을 위해 하둡노드를 증가하면서 데이터 처리시간을 실험하였다. 실험결과 저장시간의 경우 63%, 데이터 통합의 경우 18%, 전체 테스트 시간을 기준으로 26%로 하나의 노드로 처리하는 경우보다 세 개의 노드로 처리하는 것이 효율적임을 실험을 통해 확인하였다.

• International Journal of Computer Science & Network Security
• /
• 제23권9호
• /
• pp.134-140
• /
• 2023

The distributed system is playing a vital role in storing and processing big data and data generation is speedily increasing from various sources every second. Hadoop has a scalable, and efficient distributed system supporting commodity hardware by combining different networks in the topographical locality. Node support in the Hadoop cluster is rapidly increasing in different versions which are facing difficulty to manage clusters. Hadoop does not provide Node management, adding and deletion node futures. Node identification in a cluster completely depends on DHCP servers which managing IP addresses, hostname based on the physical address (MAC) address of each Node. There is a scope to the hacker to theft the data using IP or Hostname and creating a disturbance in a distributed system by adding a malicious node, assigning duplicate IP. This paper proposing novel node management for the distributed system using DNA hiding and generating a unique key using a unique physical address (MAC) of each node and hostname. The proposed mechanism is providing better node management for the Hadoop cluster providing adding and deletion node mechanism by using limited computations and providing better node security from hackers. The main target of this paper is to propose an algorithm to implement Node information hiding in DNA sequences to increase and provide security to the node from hackers.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권5호
• /
• pp.2398-2415
• /
• 2017

Content-Centric Networking (CCN) is a new Internet architecture with routing and caching centered on contents. Through its receiver-driven and connectionless communication model, CCN natively supports the seamless mobility of nodes and scalable content acquisition. In-network caching is one of the core technologies in CCN, and the research of efficient caching scheme becomes increasingly attractive. To address the problem of unbalanced cache load distribution in some existing caching strategies, this paper presents a neighbor cooperation based in-network caching scheme. In this scheme, the node with the highest betweenness centrality in the content delivery path is selected as the central caching node and the area of its ego network is selected as the caching area. When the caching node has no sufficient resource, part of its cached contents will be picked out and transferred to the appropriate neighbor by comprehensively considering the factors, such as available node cache, cache replacement rate and link stability between nodes. Simulation results show that our scheme can effectively enhance the utilization of cache resources and improve cache hit rate and average access cost.