• 제목/요약/키워드: 빅노드 네트워크

검색결과 39건 처리시간 0.027초

IoT 환경에서 센서 데이터 처리율 향상을 위한 Apriori 기반 빅데이터 처리 시스템 (Apriori Based Big Data Processing System for Improve Sensor Data Throughput in IoT Environments)

  • 송진수;김수진;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권10호
    • /
    • pp.277-284
    • /
    • 2021
  • 최근 스마트 홈 환경은 무선 정보통신 기술과 융합을 통해서 다양한 데이터를 수집·통합·활용하는 플랫폼이 될 것으로 전망되고 있으며 실제로 스마트 홈 내부에는 다양한 센서를 탑재한 스마트 디바이스 수가 점점 증가하고 있다. 증가된 스마트 디바이스 수만큼 처리해야하는 데이터의 양도 증가하고 있으며 이를 효과적으로 처리하기 위해 빅데이터 처리 시스템이 활발하게 도입되고 있다. 그러나 기존 빅데이터 처리 시스템은 분산 노드에 할당되기 전 모든 요청이 클러스터 드라이버로 향하기 때문에 동시에 많은 요청이 발생하는 경우 분할 작업을 관리하는 클러스터 드라이버에 병목현상이 발생하고, 이는 네트워크를 공유하는 클러스터 전체의 성능감소로 이어진다. 특히 작은 데이터 처리를 지속해서 요청하는 스마트 홈 디바이스에서 지연율이 더 크게 나타난다. 이에 본 논문에서는 동시에 다수의 센서에서 요청이 발생하는 스마트 홈 환경에서 효과적인 데이터 처리를 위한 Apriori 기반 빅데이터 시스템을 설계하였다. 제안하는 시스템의 성능평가 결과에 따르면, 데이터 처리 시간은 기존 시스템에 비해 최소 19.2%에서 최대 38.6% 단축됐다. 이러한 결과가 발생한 이유는 측정되는 데이터의 형태와 관련이 있다. 스마트 홈 환경은 수집되는 데이터의 양은 방대하나 각 데이터의 용량은 작기 때문에 캐시 서버의 사용이 데이터 처리에 큰 역할을 하며, Apriori 알고리즘을 통한 연관도 분석으로 사용자의 행동 습관과 연관도가 높은 센서 데이터를 캐시에 저장하기 때문에 캐시 서버의 활용률이 매우 높다.

빅 데이터 처리 기법을 적용한 추천 시스템에 관한 연구 (Recommendation System Using Big Data Processing Technique)

  • 윤소영;윤성대
    • 한국정보통신학회논문지
    • /
    • 제21권6호
    • /
    • pp.1183-1190
    • /
    • 2017
  • 네트워크와 IT 기술의 발전으로 사용자들은 장소에 구애 받지 않고 어디서든 본인이 원하는 아이템을 검색하고 구매하고 있다. 이에 따라 추천시스템에서 급증하는 데이터로 인한 확장성 문제를 어떻게 해결할 것인가에 대한 연구들이 다양하게 진행되고 있다. 본 논문에서는 Tag 가중치를 적용한 아이템 기반 협업 필터링 기법과 분산 병렬 처리 방식인 MapReduce 방법을 적용한 추천 기법을 제안한다. 제안하는 기법은 속도 향상과 효율성을 위해 전처리 과정에서 아이템을 카테고리별로 분류하고 노드 수에 맞게 그룹지은 후 사용한다. 각 분산 노드에서 4번의 Map-Reduce 단계를 통해 데이터 처리를 진행하는데 사용자에게 더 나은 아이템을 추천하기 위해 유사도 계산에서 아이템 Tag 가중치를 사용한다. 마지막 Reduce 단계를 거쳐 출력된 예측값 중 상위 N개의 아이템을 추천에 사용한다. 실험을 통해 제안 하는 기법이 대량의 데이터를 효율적으로 처리하며 기존의 아이템 기반 기법보다 추천의 적합성도 향상되는 것을 확인하였다.

딥러닝 기술을 적용한 그래프 알고리즘 성능 연구 (Research on Performance of Graph Algorithm using Deep Learning Technology)

  • 노기섭
    • 문화기술의 융합
    • /
    • 제10권1호
    • /
    • pp.471-476
    • /
    • 2024
  • 다양한 스마트 기기 및 컴퓨팅 디바이스의 보급에 따라 빅데이터 생성이 광범위하게 일어나고 있다. 기계학습은 데이터의 패턴을 학습하여 추론을 수행하는 알고리즘이다. 다양한 기계학습 알고리즘 중에서 주목을 받는 알고리즘은 신경망 기반의 딥러닝 학습이다. 딥러닝은 다양한 응용이 발표되면서 빠른 성능 향상을 달성하고 있다. 최근 딥러닝 알고리즘 중에서 그래프 구조를 활용하여 데이터를 분석하려는 시도가 증가하고 있다. 본 연구에서는 그래프 구조를 활용하여 딥러닝 네트워크에 전달하기 위한 그래프 생성 방법을 제시한다. 본 논문은 그래프 생성 과정에서 노드의 속성과 간선의 가중치를 일반화하고 행렬화 과정을 제시하여 딥러닝 입력에 필요한 구조로 전환하는 방법을 제시한다. 그래프 생성 과정에서 속성과 가중치 정보를 보전할 수 있는 선형변환 매트릭스 적용 방법을 제시한다. 마지막으로 일반 그래프의 딥러닝 입력 구조를 제시하고 성능 분석을 위한 접근법을 제시한다.

네트워크 분석을 활용한 딥러닝 기반 전공과목 추천 시스템 (Major Class Recommendation System based on Deep learning using Network Analysis)

  • 이재규;박희성;김우주
    • 지능정보연구
    • /
    • 제27권3호
    • /
    • pp.95-112
    • /
    • 2021
  • 대학 교육에 있어서 전공과목의 선택은 학생들의 진로에 중요한 역할을 한다. 하지만, 산업의 변화에 발맞춰 대학 교육도 학과별 전공과목의 분야가 다양해지고 그 수가 많아지고 있다. 이에 학생들은 본인의 진로에 맞게 수업을 선택하여 수강하는 것에 어려움을 겪고 있다. 본 연구는 대학 전공과목 추천 모델을 제시함으로써 개인 맞춤형 교육을 실현하고 학생들의 교육만족도를 제고하고자 한다. 모델 연구에는 대학교 학부생들의 2015년~2017년 수강 이력 데이터를 활용하였으며, 메타데이터로는 학생과 수업의 전공 명을 사용했다. 수강 이력 데이터는 컨텐츠 소비 여부만을 나타낸 암시적 피드백 데이터로, 수업에 대한 선호도를 반영한 것이 아니다. 따라서 학생과 수업의 특성을 나타내는 임베딩 벡터를 도출했을 시, 표현력이 낮다. 본 연구는 이러한 문제점에 착안하여, 네트워크 분석을 통해 학생, 수업의 벡터를 생성하고 이를 모델의 입력 값으로 활용하는 Net-NeuMF 모델을 제시한다. 모델은 암시적 피드백을 가진 데이터를 이용한 대표적인 모델인 원핫 벡터를 이용하는 NeuMF의 구조를 기반으로 하였다. 모델의 입력 벡터는 네트워크 분석을 통해 학생과 수업의 특성을 나타낼 수 있도록 생성하였다. 학생을 표현하는 벡터를 생성하기 위해, 각 학생을 노드로 설정하고 엣지는 두 학생이 같은 수업을 수강한 경우 가중치를 가지고 연결되도록 설계했다. 마찬가지로 수업을 표현하는 벡터를 생성하기 위해 각 수업을 노드로 설정하고 엣지는 공통으로 수강한 학생이 있는 경우 연결시켰다. 이에 각 노드의 특성을 수치화 하는 표현 학습방법론인 Node2Vec을 이용하였다. 모델의 평가를 위해 추천 시스템에서 주로 활용하는 지표 4가지를 사용하였고, 임베딩 차원이 모델에 미치는 영향을 분석하기 위해 3가지 다른 차원에 대한 실험을 진행하였다. 그 결과 기존 NeuMF 구조에서 원-핫 벡터를 이용하였을 때보다 차원과 관계없이 평가지표에서 좋은 성능을 보였다. 이에 본 연구는 학생(사용자)와 수업(아이템)의 네트워크를 이용해 기존 원-핫 임베딩 보다 표현력을 높였다는 점, 모델을 구성하는 각 구조의 특성에 맞도록 임베딩 벡터를 활용하였다는 점, 그리고 기존의 방법론에 비해 다양한 종류의 평가지표에서 좋은 성능을 보였다는 점을 기여점으로 가지고 있다.

맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 (Dynamic Load Management Method for Spatial Data Stream Processing on MapReduce Online Frameworks)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제19권8호
    • /
    • pp.535-544
    • /
    • 2018
  • 다양한 센서를 내장하고 고품질의 무선 네트워크 통신 기능을 탑재한 이동 장치의 보급이 확대됨에 따라 다양한 서비스 환경에서 이동 장치로부터 생성되는 시공간 데이터 량도 빠르게 증가하고 있다. 이와 같이 실시간 특성을 갖는 대량의 공간 데이터 스트림을 처리하기 위한 기존의 연구에서 하둡 기반의 공간 빅 데이터 시스템은 일괄 처리 방식의 플랫폼으로 공간 데이터 스트림에 대한 실시간 서비스에 적용하기에는 매우 어렵다. 이에 본 논문에서는 맵리듀스 온라인 프레임워크를 확장하여 연속적으로 입력되는 공간 데이터 스트림에 대한 실시간 질의 처리를 지원하고, 질의 처리 과정에서 야기될 수 있는 부하 문제를 효과적으로 분산하는 부하 관리 기법을 제안한다. 제안 기법에서는 공간 분할 영역을 기반으로 입력 데이터의 유입율과 부하율을 이용하여 노드들에 대해 동적으로 부하를 분산하는 기법을 제시하였다. 실험에서는 특정 공간 영역에서의 부하 관리가 요구될 때 해당 영역에서의 공간 데이터 스트림을 공유하는 자원들에게 분배함으로써 효과적인 질의 처리를 지원할 수 있음을 보인다.

인메모리 기반의 클러스터 환경에서 분산 병렬 SWRL 추론에 대한 연구 (A Study on Distributed Parallel SWRL Inference in an In-Memory-Based Cluster Environment)

  • 이완곤;배석현;박영택
    • 정보과학회 논문지
    • /
    • 제45권3호
    • /
    • pp.224-233
    • /
    • 2018
  • 최근 들어 대용량 온톨로지를 사용하여 분산 환경에서 사용자 정의 규칙을 기반으로 하는 SWRL 추론엔진에 대한 연구가 다양하게 진행되고 있다. 스키마를 기반으로 하는 공리 규칙과 다르게 SWRL 규칙들은 미리 효율적인 추론 순서를 정의할 수 없다. 또한 불필요한 반복과정으로 인해 많은 양의 네트워크 셔플링이 발생한다. 이러한 문제점들을 해결하기 위해서 본 논문에서는 Map-Reduce 알고리즘과 인메모리 기반의 분산처리 프레임워크를 활용하여 동시에 여러 규칙을 추론할 수 있고, 클러스터의 노드간에 발생하는 데이터 셔플링의 양을 최소화할 수 있는 방법을 제안한다. 제안하는 방법의 성능을 측정하기 위해 약 2억 트리플로 구성된 WiseKB 온톨로지와 36개의 사용자 정의 규칙을 사용하여 실험을 진행했고 약 16분이 소요되었다. 또한 LUBM 벤치 마크 데이터를 이용한 비교 실험에서 기존 연구보다 2.7배 높은 성능을 보였다.

딥러닝을 활용한 차량대기길이 추정모형 개발 (Development of Vehicle Queue Length Estimation Model Using Deep Learning)

  • 이용주;황재성;김수희;이철기
    • 한국ITS학회 논문지
    • /
    • 제17권2호
    • /
    • pp.39-57
    • /
    • 2018
  • 본 연구는 교통운영 개선에 필요한 빅데이터 및 인공지능 모델 개발의 일환으로서, 도시부의 링크통행시간 및 통과교통량 등 가용 데이터 등을 이용하여 교통변수로 활용도가 높은 차량대기길이와의 관계를 딥러닝(Deep Learning)을 통해 학습하고 추정하는 인공지능 모델을 구축하는 것을 목표로 하였다. 차량대기길이 추정모형은 데이터 분석결과를 토대로 하여 우선 차량대기길이의 링크 초과여부를 분류한 후 링크 초과 및 링크 미초과 상황에서의 차량대기길이 추정하는 3개의 모형으로 모델링하였다. 딥러닝 모형은 텐서플로우로 구현하였으며, 모든 모형은 DNN 구조로서 은닉층과 노드 개수를 다양화하여 학습 및 테스트 후 최소 오차를 나타내는 네트워크 구조를 선정하였다. 차량대기길이 링크 초과여부 분류 모형은 약 98%의 정확도를 나타냈으며, 미초과 모형은 15% 미만, 초과 모형은 5% 미만의 오차를 각각 나타내었다. 링크별 평균 오차는 12%로 도출되었다. 이를 기존 검지기 데이터 기반의 방식과 비교한 결과 오차가 약 39% 감소된 것으로 분석되었다.

SSA를 이용한 지하철 노선 Chain OD 구축 및 활용 (Establishment and Application of Subway Line Chain OD Using SSA)

  • 이미영;남두희
    • 한국ITS학회 논문지
    • /
    • 제18권5호
    • /
    • pp.100-111
    • /
    • 2019
  • 기존의 선별역사분석(SSA)은 특정 역사를 통행하는 개별승객의 기종점간 연계통행수단정보를 미시적으로 분석하는 개념이다. 따라서 지하철 노선과 같은 거시적이고 통합적인 분석방안으로 기존 SSA를 활용하기에는 한계가 있다. 본 연구는 개별승객의 지하철 통행의 경로탐색을 통하여 노선연계OD를 구축하고 활용하는 방안을 검토한다. 우선 승객이 이용한 연계통행 수단에서 지하철 통행에 대하여 통행경로를 탐색하고 이를 SSA의 노선분석에 적용하는 개념을 제안한다. 이 개념은 기존 SSA에 비하여 개별승객의 완전한 통행경로정보가 특정역사에서 존재하기 때문에 역사를 통과하는 노선과 노선에 포함된 역사의 상반된 분석이 가능하다. 또한 특정역사에 대하여 접근하는 노선연계OD를 통합적으로 관찰하는 것이 허용된다. 개념적 이해를 위하여 서울메트로9호선을 대상으로 사례연구를 통하여 특정역사를 중심으로 노선연계 OD의 통합적 구축개념과 노선에 포함된 역사로 접근하는 통행의 거시적 특성을 시연한다.

ANP를 활용한 후기정보사회의 수준진단과 측정에 관한 연구 (The study on the diagnosis and measurement of post-information society by ANP)

  • 송영조;곽정호
    • 정보화정책
    • /
    • 제23권2호
    • /
    • pp.73-97
    • /
    • 2016
  • 빅데이터, IoT, 클라우드, 모바일 등 ICT에 의한 사회변화가 급속히 진행됨에 따라, PC도입, 인터넷 속도, 인터넷 가입자수 등을 통해 정보사회 수준을 측정하던 프레임에서 벗어나 새로운 정보사회 진단 프레임워크가 요구되고 있다. 본 연구는 후기정보사회를 진단하고 측정할 수 있는 프레임워크 수립을 위한 연구이다. 이를 위해 기술사회 공진화 이론에 따라서 프레임워크를 구성하고 프레임워크를 구성하는 지표는 공신력있는 국제기구에서 제시하는 정보사회관련 지표로 선정하였다. 결과는 다음과 같다. 첫째, 후기정보사회를 구성하는 3개 부문, 6개 클러스터(항목), 25개의 노드(지표)는 모두 연관성이 있는 것으로 나타났다. 첫째, 네트워크 분석법(ANP)를 통해 정보사회의 수준 진단을 위한 중요도는 정보사회 발전(50.34%), 기술기반확충(25.03%) 그리고 정보화 효과(24.63%)로 나타났다. 둘째, 클러스터와 노드에 대한 상대적 중요도를 산출한 결과, 클러스터는 (1)사회의 발전 잠재력(26.04%), (2)경쟁력(15.9%), (3)ICT 활용능력(15.5%), (4)(사회적)자본의 증대(24.3%), (5)ICT 도입(9.54%), (6)삶의 질(8.7%)에 대한 순으로 나타났다. 결론적으로 후기정보사회의 수준 진단과 측정은 ICT에 의한 경제산업적 효과와 삶의 질에 대한 부분을 함께 고려해야 한다. 또한 가중치를 적용하여 국가간 비교를 통해 후기 정보사회를 준비하는 한국의 수준을 진단하고 후기정보사회를 위한 정책적 시사점을 제시할 수 있도록 해야 한다.