• 제목/요약/키워드: Big Node

검색결과 127건 처리시간 0.027초

Apache Kudu와 Impala를 활용한 Lambda Architecture 설계 (Lambda Architecture Used Apache Kudu and Impala)

  • 황윤영;이필원;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권9호
    • /
    • pp.207-212
    • /
    • 2020
  • 데이터의 양은 기술의 발전으로 크게 증가하였고 이를 처리하기 위해 다양한 빅데이터 처리 플랫폼이 등장하고 있다. 이 중 가장 널리 사용되고 있는 플랫폼이 Apache 소프트웨어 재단에서 개발한 하둡이며, 하둡은 IoT 분야에도 사용된다. 그러나 기존에 하둡 기반 IoT 센서 데이터 수집 분석 환경은 하둡의 코어 프로젝트인 HDFS의 Small File로 인한 네임노드의 과부하 문제와 임포트된 데이터의 업데이트나 삭제가 불가능하다는 문제가 있다. 본 논문에서는 Apache Kudu와 Impala를 활용해 Lambda Architecture를 설계한다. 제안하는 구조는 IoT 센서 데이터를 Cold-Data와 Hot-Data로 분류해 각 성격에 맞는 스토리지에 저장하고 배치를 통해 생성된 배치뷰와 Apache Kudu와 Impala를 통해 생성된 실시간뷰를 활용해 기존 하둡 기반 IoT 센서 데이터 수집 분석 환경의 문제를 해결하고 사용자가 분석된 데이터에 접근하는 시간을 단축한다.

지하철 급행노선을 고려한 내부환승 추정방안 - 스마트카드 자료기반 네트워크를 중심으로 - (Estimating Internal Transfer Trips Considering Subway Express Line - Focusing on Smart Card Data Based Network -)

  • 이미영
    • 대한토목학회논문집
    • /
    • 제39권5호
    • /
    • pp.613-621
    • /
    • 2019
  • 지하철역사의 일반적인 환승통행은 노선간환승과 역사환승을 의미한다. 노선간환승은 다른 두 노선의 열차를 갈아타기 위하여 환승통로와 같은 수평보행시설을 통해 이동한다. 역사환승은 스마트카드 진출입 단말기노선과 승하차 열차노선이 다른 상황에서 발생하는 보행통행으로 계단, 에스컬레이터와 같은 수직보행시설을 이용하면서 환승통로를 함께 이용하는 통행이다. 이러한 환승의 가정은 지하철 네트워크를 운행하는 모든 노선은 완행 또는 급행의 단일노선에 한정되었다는 한계를 포함하고 있다. 따라서 완행과 급행이 동일노선으로 운영되는 상황에서 노선내에서 발생되는 환승에 대한 검토가 수행되지 않았다. 노선내환승은 메트로9호선과 같이 급행 및 완행 정차역이 동일노선에서 운행되는 상황에서 발생한다. 본 연구는 스마트카드 자료기반의 급행 및 완행열차가 동일노선에 존재하는 지하철네트워크를 대상으로 노선내환승을 분석하는 방법론을 구축한다. 이를 위해 급행 및 완행열차를 분리하기 위한 네트워크확장기법을 구축하고 최소시간경로를 선택하는 과정에서 동일 노선의 내부 환승이 재현되는 경로선택모형을 제안한다.

농업환경정보 수집을 위한 아두이노 기반 멀티 센서 시스템 개발 및 적용 - 경기 여주시 소재 양돈농가를 사례로 - (Development and Application of Arduino Based Multi-sensors System for Agricultural Environmental Information Collection - A Case of Hog Farm in Yeoju, Gyeonggi -)

  • 한정헌;박종준
    • 농촌계획
    • /
    • 제25권2호
    • /
    • pp.15-21
    • /
    • 2019
  • The agricultural environment is changing and becoming more advanced due to the influence of the 4th Industrial Revolution. From the basic plan of Rural Informatics to the current level of 2nd generation smart farms aimed at improving productivity using Big data, cloud network and more IoT technology. We are continuing to provide support and research and development. However, many problems remain to be solved in order to supply and settle smart farms in Korea. The purpose of this study is to provide a method of collecting and sharing data on farming environment and to help improve the income and productivity of farmers based on collected data. In the case of hog farm, the multiple sensors for environmental data like temperature, humidity and gases and the network environment for connecting the internet were established. The environment sensor was made using the ESP8266 Node MCU board as micro-controller, DHT22 sensor for temperature and humidity, and MQ series sensors for various gases in the hog pens. The network sensor was applied experimentally for one month and the environmental data of the hog farm was stored on a web database. This study is expected to raise the importance of collecting and managing the agricultural and environmental data, for the next generation farmers to understand the smart farm more easily and to try it by themselves.

딥러닝 기술을 적용한 그래프 알고리즘 성능 연구 (Research on Performance of Graph Algorithm using Deep Learning Technology)

  • 노기섭
    • 문화기술의 융합
    • /
    • 제10권1호
    • /
    • pp.471-476
    • /
    • 2024
  • 다양한 스마트 기기 및 컴퓨팅 디바이스의 보급에 따라 빅데이터 생성이 광범위하게 일어나고 있다. 기계학습은 데이터의 패턴을 학습하여 추론을 수행하는 알고리즘이다. 다양한 기계학습 알고리즘 중에서 주목을 받는 알고리즘은 신경망 기반의 딥러닝 학습이다. 딥러닝은 다양한 응용이 발표되면서 빠른 성능 향상을 달성하고 있다. 최근 딥러닝 알고리즘 중에서 그래프 구조를 활용하여 데이터를 분석하려는 시도가 증가하고 있다. 본 연구에서는 그래프 구조를 활용하여 딥러닝 네트워크에 전달하기 위한 그래프 생성 방법을 제시한다. 본 논문은 그래프 생성 과정에서 노드의 속성과 간선의 가중치를 일반화하고 행렬화 과정을 제시하여 딥러닝 입력에 필요한 구조로 전환하는 방법을 제시한다. 그래프 생성 과정에서 속성과 가중치 정보를 보전할 수 있는 선형변환 매트릭스 적용 방법을 제시한다. 마지막으로 일반 그래프의 딥러닝 입력 구조를 제시하고 성능 분석을 위한 접근법을 제시한다.

비선점 환경의 TinyOS에서 실시간성을 고려한 태스크 그룹 기반의 스케줄링 기법 (A Task Group-based Real-Time Scheduling Technique m the Non-Preemptive TinyOS)

  • 손치원;탁성우
    • 한국멀티미디어학회논문지
    • /
    • 제13권9호
    • /
    • pp.1285-1298
    • /
    • 2010
  • 비선점형 태스크 스케줄링 정책을 사용하는 TinyOS는 선입선출 (FIFO: First-In First-Out) 방식의 태스크 스케줄링만 제공하기 때문에 최상위 우선순위를 가친 사용자 태스크가 즉시 실행이 필요한 태스크임에도 불구하고 우선순위가 낮은 태스크가 획득한 CPU 사용권한을 선점하지 못한다. 따라서 실시간 서비스를 요구하는 사용자 태스크 (User Task) 의 마감시한 (Deadline)을 보장할 수 없다. 또한, 비선점 환경의 TinyOS에서 사용자 태스크가 요청한 실시간 서비스를 완료하기 위해서는 사용자 태스크의 마감시한을 보장함과 동시에 사용자 태스크에서 호출 및 실행되는 TinyOS 플랫폼 태스크들의 마감시한도 보장해야 한다. 이에 본 논문에서는 비선점형 태스크 스케줄링 정책을 사용하는 기존 TinyOS 환경에서 실시간성을 제공하는 태스크 그룹 기반의 스케줄링 기법을 제안하였다. 제안한 기법은 요청한 사용자 태스크의 마감시한을 보장하기 위하여 사용자 태스크와 함께 사용자 태스크가 완료되기 위하여 호출 및 실행이 필요한 다수의 TinyOS 플랫폼 태스크를 태스크 그룹으로 형성한 후, 해당 태스크 그룹을 하나의 가상적인 큰 태스크 단위로 스케줄링한다. 제안한 기법의 동작을 시험한 결과, 제안한 기법은 비선점형 태스크 스케줄링 정책을 사용하는 TinyOS 환경에서 사용자 태스크의 마감시한을 보장함과 동시에 사용자 태스크의 평균 응답시간을 줄이고 기존 TinyOS 플랫폼간의 호환성을 제공할 수 있었다.

딥러닝을 활용한 차량대기길이 추정모형 개발 (Development of Vehicle Queue Length Estimation Model Using Deep Learning)

  • 이용주;황재성;김수희;이철기
    • 한국ITS학회 논문지
    • /
    • 제17권2호
    • /
    • pp.39-57
    • /
    • 2018
  • 본 연구는 교통운영 개선에 필요한 빅데이터 및 인공지능 모델 개발의 일환으로서, 도시부의 링크통행시간 및 통과교통량 등 가용 데이터 등을 이용하여 교통변수로 활용도가 높은 차량대기길이와의 관계를 딥러닝(Deep Learning)을 통해 학습하고 추정하는 인공지능 모델을 구축하는 것을 목표로 하였다. 차량대기길이 추정모형은 데이터 분석결과를 토대로 하여 우선 차량대기길이의 링크 초과여부를 분류한 후 링크 초과 및 링크 미초과 상황에서의 차량대기길이 추정하는 3개의 모형으로 모델링하였다. 딥러닝 모형은 텐서플로우로 구현하였으며, 모든 모형은 DNN 구조로서 은닉층과 노드 개수를 다양화하여 학습 및 테스트 후 최소 오차를 나타내는 네트워크 구조를 선정하였다. 차량대기길이 링크 초과여부 분류 모형은 약 98%의 정확도를 나타냈으며, 미초과 모형은 15% 미만, 초과 모형은 5% 미만의 오차를 각각 나타내었다. 링크별 평균 오차는 12%로 도출되었다. 이를 기존 검지기 데이터 기반의 방식과 비교한 결과 오차가 약 39% 감소된 것으로 분석되었다.

텍스트 마이닝 기법을 활용한 중학교 가정과 교육과정 분석 (Analysis of Home Economics Curriculum Using Text Mining Techniques)

  • 이지선;임소진;최유리;김은정;이소영;박미정
    • 한국가정과교육학회지
    • /
    • 제30권3호
    • /
    • pp.111-127
    • /
    • 2018
  • 본 연구의 목적은 1차 교육과정부터 2015 개정 교육과정까지의 가정과 교육과정을 시기별로, 통시적으로 살펴보는 것이다. 이를 위해 빅데이터 분석에서 사용되는 텍스트 마이닝 기법을 이용하여 교육과정을 분석하였다. 분석대상은 국가교육과정정보센터에서 수집한 1차 교육과정부터 2015 개정 교육과정까지의 10개의 교육과정 원문이며, 분석도구는 R 프로그램을 사용하였다. 연구결과 첫째, 4차 교육과정부터 2015 개정 교육과정까지 데이터 수가 점차적으로 늘어나는 것으로 나타났다. 둘째, 교육과정 시기별 핵심 개념을 추출하여 비교한 결과 교육과정에 따라 유지 및 변화되는 핵심 개념이 있었다. '생활', '가정'은 교육과정 변화에 상관없이 지속되는 핵심 개념이었으며, 2007 개정 교육과정 이후로는 '문제', '능력', '해결', '실천'이 강조되었다. 셋째, 핵심 개념 연결망 분석 결과를 통해 각 가정과 교육과정 마다 핵심 개념 간의 관계를 점(node)과 선(line)으로 표현하였다. 그 결과 '생활'과 '가정'을 중심으로 시대별로 강조한 핵심 개념이 강하게 연결됨을 확인할 수 있었다. 이와 같은 결과를 통해, 향후 가정과 교육의 방향성과 정체성을 형성하기 위한 기초 자료를 제공한다는 측면에서 본 연구의 의의가 있다.

서울 대도시권 대중교통체계의 통합 시간거리 접근성 산출 알고리즘 개발 (Development of Integrated Accessibility Measurement Algorithm for the Seoul Metropolitan Public Transportation System)

  • 박종수;이금숙
    • 지역연구
    • /
    • 제33권1호
    • /
    • pp.29-41
    • /
    • 2017
  • 본 논문에서는 서울 대도시권의 대중교통체계를 구성하는 서울 시내버스 시스템과 수도권 지하철 시스템을 통합한 교통망의 각 노드인 버스정류장이나 지하철역의 시간거리 접근성을 계산하는 알고리즘을 제안하고 그 결과를 분석한다. 서울 대도시권 대중 교통망 그래프의 링크는 승객들이 노드들을 이동하는 데 소요되는 시간을 가중치로 설정하였다. 버스 노선과 지하철 노선의 노드들을 연결하는 링크들의 가중치는 교통카드 트랜잭션 데이터베이스로부터 추출된 노선별 속도에 따라 인접한 노드들 사이의 이동시간으로 설정하고, 승객들이 도보로 이동할 수 있는 일정 거리 이내인 노드들 사이의 링크의 가중치는 승객의 도보 이동 시간으로 설정하였다. 최단 경로의 시간거리를 찾는 알고리즘의 입력으로 링크들의 가중치를 표현한 시간 거리 인접 행렬을 사용하고 그 출력으로 노드들의 최단 시간 거리 행렬을 구하여 각 노드의 접근도와 평균 이동시간을 계산하였다. 2013년도 데이터를 사용한 실험 결과에서 서울 대도시권 대중교통체계 통합 교통망의 노드들의 개수는 서울 시내 600개 버스노선들에 연결되어 있는 버스정류장 15,702개와 수도권 지하철 16개 노선들에 연결된 지하철역 575개를 합하면 16,277개가 된다. 이 논문에서 서울 대도시권 통합 교통망과 이미 연구되었던 서울 시내버스 교통망 및 수도권 지하철 교통망을 평균 접근도와 평균 이동시간 관점에서 비교 분석하였다. 본 논문은 서울 대도시권 대중교통체계의 버스와 지하철 통합 교통망에서 각 노드의 접근도를 계산하는 첫 번째 연구 결과를 서술한다.

호접란 줄기기저부 절편배양을 통한 조직배양묘의 연속생산 (Continuous Production of Phalaenopsis Clones by Basal Shoot Culture)

  • 빈철구
    • Journal of Plant Biotechnology
    • /
    • 제30권4호
    • /
    • pp.375-380
    • /
    • 2003
  • 줄기기저부절편조직을 이용한 호접란 조직배양묘 생산 체계를 확립하기 위하여 원괴체 유도와 원괴체 증식의 조건을 구명하고자 하였다. 치상조직별 원괴체 유도 성공률을 비교한 결과 줄기기저부절편조직에서 약 45%의 높은 성공률을 나타내었고 다음은 화경액아 배양으로 약 30% 정도의 성공률을 나타낸 반면 근단, 화경절간절편, 화경엽, 성숙엽의 경우에는 성공률이 1% 미만으로 매우 낮았다. 품종별 원괴체의 유도능력에서의 차이를 알아보기 위하여 11개 품종에서 줄기기저부 절편배양을 한 결과 백색계 와 핑크계품종 모두에서 30%이상의 높은 원괴체 성공률을 나타내었다. 줄기기저부배양에서 줄기기저부를 절단하지 않고 천체조직을 치상하였을 경우 거대 원괴체가 유도되었는데 이 거대 원괴체는 진한 녹색으로 보통 원괴체의 3∼5배 정도 이상 큰 것으로 나타났다. 이 거대 원괴체를 증식하기 위해 절단하여 증식배지에 치상하였으나 새로 나온 원괴체는 정상적인 크기의 PLB로 유도되었다. 줄기저부배양에서 얻어낸 원괴체들은 증식과정을 거쳐 정상적인 조직배양묘를 형성하였다 그러므로 이 방법은 호접란 클론묘생산에 쓰일 수 있는 효율적이고 실용적인 방법의 하나라고 판단되었다. 그리고 줄기기저부 절편배양을 이용하여 원괴체를 유도 증식하고 플라스크묘를 만든 뒤 다시 그 묘의 줄기기저부절편을 이용하여 원괴체를 유도 증식하고 플라스크묘를 만들어내는 시스템에 응용함으로써 무한수의 조직배양묘를 연속적으로 생산할 수 있다는 체계가 제시되었다.

CMOS 이미지 센서용 NMOS-Diode eFuse OTP 설계 (Design of an NMOS-Diode eFuse OTP Memory IP for CMOS Image Sensors)

  • 이승훈;하판봉;김영희
    • 한국정보통신학회논문지
    • /
    • 제20권2호
    • /
    • pp.306-316
    • /
    • 2016
  • 본 논문에서는 프로그램 선택 소자는 채널 폭이 큰 NMOS (N-channel MOSFET) 트랜지스터 대신 DNW (Deep N-Well) 안에 형성된 채널 폭이 작은 isolated NMOS 트랜지스터의 body인 PW (P-Well)과 source 노드인 n+ diffusion 영역 사이에 형성된 기생하는 접합 다이오드를 사용하는 NMOS-Diode eFuse OTP (One-Time Programmable) 셀을 제안하였다. 제안된 eFuse OTP 셀은 프로그램 모드에서 NMOS 트랜지스터에 형성되는 기생하는 접합 다이오드를 이용하여 eFuse를 blowing 시킨다. 그리고 읽기 모드에서는 접합 다이오드를 이용하는 것이 아니고 NMOS 트랜지스터를 이용하기 때문에 다이오드의 contact voltage 강하를 제거할 수 있으므로 '0' 데이터에 대한 센싱불량을 제거할 수 있다. 또한 읽기 모드에서 채널 폭이 작은 NMOS 트랜지스터를 이용하여 BL에 전압을 전달하므로 OTP 셀의 blowing되지 않은 eFuse를, 통해 흐르는 읽기 전류를 $100{\mu}A$ 이내로 억제하여 blowing되지 않은 eFuse가 blowing되는 문제를 해결할 수 있다.