• 제목/요약/키워드: Kafka

검색결과 34건 처리시간 0.019초

오픈소스 플랫폼 기반의 실시간 환자 대기시간 모니터링 시스템 설계 (A System Design for Real-Time Monitoring of Patient Waiting Time based on Open-Source Platform)

  • 류우석
    • 한국정보통신학회논문지
    • /
    • 제22권4호
    • /
    • pp.575-580
    • /
    • 2018
  • 본 논문에서는 병원에서 환자의 대기시간을 실시간으로 모니터링하기 위한 오픈소스 기반의 시스템을 제안한다. 환자의 위치 데이터를 실시간으로 분석, 처리하기 위한 고성능 스트림 처리 시스템을 비용 효율적으로 구축하기 위해서는 오픈소스 프로젝트를 활용하는 것이 필요하다. 빅데이터를 처리하기 위한 오픈 소스 시스템으로 다양한 하둡 서브프로젝트들로 구성된 하둡 에코시스템이 있다. 본 논문에서는 먼저 시스템 요구사항을 정의하고 하둡 에코시스템에서 이를 만족시키기 위한 몇 가지 오픈소스 프로젝트들을 선정한다. 그리고, 선정된 아파치 스파크, 아파치 카프카 등을 이용한 시스템 구조 설계 및 상세 모듈 설계를 제안한다. 제안된 시스템은 기존 시스템과의 연계 및 오픈소스 프로젝트를 통해 구축비용을 절감할 수 있으며, 또한 분산 스트림 처리를 통해 고성능과 안정성을 확보할 수 있다.

푸코와 바흐친을 통해 바라본 담론의 바깥 (A Study on the Outside of Discourse from the Views of Foucault and Bakhtin)

  • 조수경
    • 철학연구
    • /
    • 제117권
    • /
    • pp.327-354
    • /
    • 2011
  • 하버마스는 모든 억압과 왜곡으로부터 자유로운 담론 상황을 '이상적 담화 상황'이라고 부른다. 그런데 '이상적 담화 상황'이 언어를 의사소통의 매개체로 간주한다는 데서 본 논문의 의문은 시작된다. 푸코와 그의 영향을 받은 학자들이 밝힌 담화(담론)가 가진 속성은 다음과 같다. 첫째, '선택과 배제의 원리'다. 담론을 제한하거나 생산하는 역할을 담당하는 것은 권력이며, 권력에 의해 담론은 선택되거나 배제 당한다. 둘째, 담론은 자신들의 입장을 방어하고, 반대의 입장을 공격하는 병기로 작용한다. 셋째, 담론 내부의 드러나지 않는 심층구조에는 태도, 입장, 권력과의 관계, 이데올로기적인 위치가 숨겨져 있다. 이러한 담론의 속성에 주목한다면, 담론의 문제는 언어를 주목해서 보편성을 추출하는 것으로는 해결될 수 없다. 이 지점에서 언어학의 바깥으로 눈을 돌린 바흐친과 푸코의 논의는 설득력을 가진다. 담론이 결코 투명할 수 없다는 푸코의 논의나 담론의 문제는 바깥으로 시선을 향하는 경우에 답이 열린다는 바흐친의 논의에서 '진실을 말하는 용기, 즉 파르헤지아적 용기'를 가진 인물로 소크라테스를 찾을 수 있다. 소크라테스적 대화에서 공통된 출발지점을 가진 푸코와 바흐친은 각각 '자기 배려', '다성적 대화'를 통한 담론 바깥에서의 해결점을 찾아낸다. 자기 배려는 고대의 지혜를 통해서 낯섦의 효과를 발생시키고 수치스럽지 않게 살 만한 자기를 생산하는 절차와 실천의 문제다. 푸코가 말하는 자기 배려의 윤리는 자기 내면으로 퇴각하는 개인 생활의 섬세한 연출이 아니며, 행복의 기술도 아니다. 자기 배려는 우리의 사유와 원칙, 담론과 행실 간의 일치, 조화, 정합성이 설정되는지를 지속적으로 경계하는 행위다. 바흐친은 다성적 대화의 과제를 수행한 인물로 도스도옙스키에 주목한다. 그의 작품은 수많은 별개의 관점이 대화를 시작하는 세계를 창조해내며, 그 안에서 타자들이 저자의 이데올로기와 동등하게 경쟁할 수 있다는 것이다. 본 논문에서는 다음 순서로, 다성적 목소리를 만들어 내는 파르헤지아적 작가로 '카프카'를 발견하고 그의 작품을 주목한다. 카프카는 그의 작품을 통해 '종결 불가능한 대화'를 창출했으며, 매 순간 새로운 조합을 이끌어내며 바깥을 향하는 파르헤지아적 용기를 가지고 있다. '소송'이라는 그의 작품이 출발점에서 시작해서 출발점으로 끝나는 '종말장 지양'의 방식을 갖고 전개된다는 점은, '가장 낮은 곳에서 가장 높은 곳에 이르기까지 그때마다 상응하는 강렬도를 산출'한다는 들뢰즈의 말을 증명하기에 충분하다.

도로 주행환경 분석을 위한 빅데이터 플랫폼 구축 정보기술 인프라 개발 (Development of Information Technology Infrastructures through Construction of Big Data Platform for Road Driving Environment Analysis)

  • 정인택;정규수
    • 한국산학기술학회논문지
    • /
    • 제19권3호
    • /
    • pp.669-678
    • /
    • 2018
  • 본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

실시간 웹 크롤링 분산 모니터링 시스템 설계 및 구현 (Design and Implemention of Real-time web Crawling distributed monitoring system)

  • 김영아;김계희;김현주;김창근
    • 융합정보논문지
    • /
    • 제9권1호
    • /
    • pp.45-53
    • /
    • 2019
  • 급변하는 정보화 시대에서 웹사이트에 서비스되는 정보 과잉에 대한 문제들을 접하곤 한다. 정보가 많아도 쓸모 있는 정보는 없고, 필요한 정보를 선택하는데 불필요한 시간이 많이 소비 된다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링을 한다. 웹 크롤링은 대부분 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며 검색 엔진은 이렇게 생성된 페이지를 더욱 빠른 검색을 위해 인덱싱 한다. 많은 데이터 중에 정보가 실시간으로 변경되는 도매정보, 주문정보 등의 제한된 웹 데이터 수집은 일반적인 주제 중심의 웹 데이터 수집으로 무리가 있다. 현재 제한적 웹 정보를 실시간으로 수집하고 저장하는 방법에 대한 대안이 제시되고 있지 않다. 본 논문에서는 제한된 웹 사이트의 정보를 수집하고, 데이터의 상세분석을 통한 수집 시간 예측과 분류 작업을 통해 병렬 시스템에 저장하는 웹 크롤링 분산 모니터링 시스템(R-WCMS)을 제안한다. 실험 결과 웹 사이트 정보 검색을 제안모델에 적용하여 15-17% 시간이 감소됨을 입증했다.