• 제목/요약/키워드: 데이터레이크

검색결과 22건 처리시간 0.021초

데이터 레이크 구축을 위한 Apache NiFi기반 ETL 프로세스 (Apache NiFi-based ETL Process for Building Data Lakes)

  • 이경민;이경희;조완섭
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.145-151
    • /
    • 2021
  • 최근 들어 인간의 모든 활동 영역에서 디지털 데이터가 생성되고 있고 데이터를 안전하게 저장하고 가공하여 유용한 서비스를 개발하려는 시도가 많아지고 있다. 데이터 레이크는 데이터의 출처나 데이터를 활용하는 분석 프레임워크에 독립된 데이터 저장소를 말한다. 본 논문에서는 스마트시티에서 생성되는 다양한 빅데이터를 데이터 레이크에 안전하게 저장하고 서비스에서 활용할 수 있게 ETL 하는 도구와 이를 효과적으로 사용하는데 필요한 웹기반 도구를 설계하고 구현한다. 원천 데이터를 품질검사하고 정제하여 데이터 레이크에 안전하게 저장한 다음 데이터 수명주기 정책에 따라 관리하는 일련의 과정(ETL)은 대부분 비용이 많이 드는 인프라와 개발 및 유지 관리에 상당한 노력이 필요한 기술이다. 구현기술을 통해 IT분야 전문지식이 없어도 가시적이고 효율적으로 ETL 작업 모니터링, 데이터 수명주기 관리 설정과 실행이 가능하다. 이와는 별개로 데이터 레이크에 신뢰할 수 있는 데이터를 저장하고 사용하려면 데이터 품질검사 리스트 가이드가 필요하다. 또한, 데이터 수명주기 관리 도구를 통해 데이터 마이그레이션 및 삭제 주기를 설정하고 예약하여 데이터 관리 비용을 줄일 수 있어야 한다.

입구 Instrumentation의 영향을 최소화하는 터보기계 성능측정방법 (Turbomachinery Inlet Flow Measurement without the Effect of Instrumentation)

  • 강정식;안이기
    • 항공우주기술
    • /
    • 제8권2호
    • /
    • pp.8-12
    • /
    • 2009
  • 터빈 또는 압축기와 같은 터보기계의 성능을 평가하기 위해서는 입구의 유동을 측정해야 한다. 입구의 평균된 유동을 측정하기 위해서는 일반적으로 여러 개의 엘리먼트를 가진 레이크를 여러 개 사용해서 원주방향과 반경방향으로 평균된 유동을 사용한다. 그런데 터빈 입구에서 레이크를 사용하여 터빈 입구의 유동을 측정하면 레이크에서 유동을 측정한 후 레이크 자체가 손실을 일으키므로 터빈 입구에서의 전압력에 차이가 있을 뿐 아니라 교란된 유동이 터빈의 성능에 기대하지 않은 영향을 미치는 문제점이 있다. 그러므로 터빈 입구에 고정적으로 설치한 레이크로 측정한 데이터로는 정확한 터빈의 성능을 평가하는데 오차를 일으킨다. 본 연구에서는 이런 문제점을 해결하기 위하여 터보기계의 시험시 레이크와 레이크 후단에서 프로브를 이용한 상세 유동 측정을 통하여 레이크의 손실을 측정하는 방법을 제안하였다. 그리고 이 방법을 사용하여 시험을 수행한 결과를 제시하였다.

  • PDF

주파수대역 직접확산 통신시스템에서 다중경로 페이딩 보상을 위한 최적 레이크 신호처리에 관한 연구 (Optimum Rake Processing for Multipath Fading in Direct-Sequence Spread-Spectrum Communication Systems)

  • 장원석;이재천
    • 한국통신학회논문지
    • /
    • 제28권10C호
    • /
    • pp.995-1006
    • /
    • 2003
  • 무선 통신 시스템은 전자파 신호의 전파 특성과 주위 환경/장애물에 의해 다중 경로 페이딩을 겪게 되어 수신 신호의 급격한 전력 감쇄가 생길 수 있음은 잘 알려져 있는 사실이다. 한편으로 송신기에서 생성된 하나의 동일한 송신 신호가 여러 경로를 통해서 해당 수신기에 도달하므로 이점을 적극적으로 활용하면 데이터 수신 성능을 향상 시킬 수 있는데 이것의 한가지 방법이 레이크 신호처리 기법이다. 본 연구는 PN (pseudo noise) 수열을 사용하여 주파수대역 확산을 구현하는 무선통신 수신기에서 레이크 신호처리 기법에 대해서 연구하였다. 기존의 고정 PN 레이크 복조기는 다중 경로 페이딩 채널의 임펄스 응답 계수의 공액 복소수 값을 계수로 하는 유한 길이 디지털 필터에 의해 수신 신호론 처리한 후, PN 복조 과정을 거쳐 데이터 신호를 재생하게 된다. 본 연구에서는 기존의 PN 복조 과정을 대체하는 최적 복조기의 개념 및 적응 설계 기법을 제안하였다. 제안된 최적 레이크 복조기에 대해 이론적인 성능 분석을 수행하였으며, 컴퓨터 모의 실험을 통해 유도된 결과들의 타당성을 검증하였다. 결과로 새로운 최적 레이크 신호처리기법을 통해 기존의 고정 PN 레이크 복조기에 비해 심볼평균제곱오차가 10dB 이상의 월등한 성능 향상이 가능함을 보였다. 또한 다중 경로 신호의 결합과 PN 복조를 동시에 한 복조 심볼 구간 안에서 수행하는 통합 복조기에 비해서도 약 10 dB 정도의 성능 향상이 있었다. 그리고 최적 레이크 복조기의 심볼평균제곱오차가 이론적인 한계치인 백색잡음 채널에서 QPSK 복조기의 심볼평균제곱오차에 매우 근접함을 보였다.

전통적 환경과 빅데이터 환경의 데이터 자원 관리 비교 연구 (A Study on Data Resource Management Comparing Big Data Environments with Traditional Environments)

  • 박주석;김인현
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.91-102
    • /
    • 2016
  • 전통적인 환경에서 데이터 생명주기는 데이터-정보-지식-지혜 전환과정으로 요약된다. 반면에 빅데이터 환경에서 데이터 생명주기는 데이터-통찰-실행 전환과정으로 요약된다. 이러한 전환과정의 차이점은 데이터 생명주기를 지원하는 데이터 자원 관리에도 변화를 요구한다. 본 논문에서는 전통적인 데이터 자원 관리와 비교하여 빅데이터 환경을 위한 데이터 자원 관리를 연구한다. 특히 빅데이터 자원관리를 위한 주요 구성요소를 제안한다.

  • PDF

시스템 효율향상을 위한 이동통신망 Rake Finger 시스템 설계에 관한 연구 (A Study on the Rake Finger System Design for the System Performance Improvement in the Mobile Communications)

  • 이선근;임순자
    • 한국통신학회논문지
    • /
    • 제29권1A호
    • /
    • pp.31-36
    • /
    • 2004
  • 이동통신 무선접속 기술 요소 중 하나인 MC-CDMA 시스템의 레이크 수신기는 다수 채널로 전송된 신호들을 동시에 복조해야 하므로 트래픽 채널을 복조하는 데이터 상관기의 수가 왈쉬 코드 채널의 수만큼 증가하게 되어 신호처리의 복잡도가 증가되는 단점을 갖게 된다. 본 논문에서는 데이터 상관기들의 증가로 인한 데이터 처리시간 지연을 감소시키기 위해 Walsh Switching, 공유 accumulator, pipeline-FWHT 알고리즘을 적용한 새로운 레이크 수신기 구조를 제안했다. 모의실험 결과, 왈쉬 코드 채널의 수 N=4에 대한 데이터 상관기의 연산 동작 수는 512 가산에서 160 가산으로 약 3.2배 감소하였고, 데이터 처리시간은 $18.3\%$ 감소하였음을 확인하였다

주파수 선택적 페이딩 채널에서 멀티코드 CDMA 시스템의 성능 분석 (On the error rate of multicode-CDMA system in frequency selective fading channel)

  • 김연진;김남수;김민택
    • 한국통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.932-939
    • /
    • 1998
  • 본 논문에서는 멀티미디어 전송을 위해 제안된 멀티코드 CDMA 방식의 성능을 분석하였다. 다양한 비트 속도를 갖는 서비스를 제공하는 동시에 스펙트럼 효율이 좋은 멀티코드 CDMA 방식의 성능을 다중경로 환경에서 주파수 선택적, 느린 페이딩시에 수선신호의 진폭이 레일리 분포를 한다고 가정할 때 신호 대 잡음비를 유도하여 평균 에러 확률을 구하였다. 또한 다중경로에서 성능이 우수한 최대비 합성 레이크 수신기를 사용하였으며, 현실적인 무선 채널 환경을 고려하기 위하여 JTC의 무선 채널 모델(JTC(AIR) 23-065R6)을 적용하였다. 입력 데이터 신호가 2 Mbits/s, 각 가지(branch)의 비트 속도가 100 kbits/s인 경우를 계산 하였고, 그 결과 가장 빈번히 발생되는 채널 A의 경우에 $1{\times}10^{-3}$의 평균 에러 확률을 유지하기 위하여 레이크 수선기의 핑거를 모든 경로수 만큼 사용할 때 보다 하드웨어 복잡도를 줄이기 위하여 레이크 수신기의 핑거를 3개 사용할 때의 $E_{b}/N_O$값이 OdB~1.5dB의 비교적 적은 값이 더 요구됨을 알 수 있었다.

  • PDF

cdma2000 시스템용 레이크 수신기에서의 심볼 정렬 및 컴바이닝 기법 (Symbol Timing Alignment and Combining Technique in Rake Receiver for cdma2000 Systems)

  • 이성주;김재석;어익수;김경수
    • 대한전자공학회논문지TC
    • /
    • 제39권1호
    • /
    • pp.34-41
    • /
    • 2002
  • 기존의 IS-95 시스템에서는 다중경로 신호의 컴바이닝을 위해 레이크 수신기의 각 핑거에 시간 정렬 버퍼(time-deskew buffer or FIFO)를 사용하였다. IS-95 시스템의 경우, 단일 반송파를 사용하여 핑거의 수가 작고 확산 이득도 크기 때문에, 버퍼의 수와 크기가 작아서 기존 방식으로 설계해도 크게 문제가 되지않았다. 그러나, cdma2000 시스템에서는 고속의 데이터를 다중 반송파에 분할하여 보내고 확산 이득도 매우 작기 때문에, FIFO의 수와 크기는 매우 커지고 버퍼의 하드웨어 복잡도가 증가하여 설계의 큰 걸림돌이 된다. 따라서, 본 논문에서는 cdma2000 시스템용 레이크 수신기에서 FIFO의 수를 줄이기 위해, 심볼 정렬과 컴바이닝을 동시에 수행할 수 있는 새로운 심볼 정렬 및 컴바이닝 기법을 제안하고자 한다. 레이크 수신기당 3개의 핑거를 사용하는 경우, 제안된 방식은 기존 방식 보다 버퍼의 하드웨어 복잡도를 약 60% 이상 줄일 수 있고, 4개의 핑거를 사용하는 경우에는 약 70%이상을 줄일 수 있다. 더욱이, 제안된 알고리듬은 핑거의 수에 상관없이 복조하고자 하는 채널당 1개의 FIFO 레지스터를 사용하기 때문에, 성능향상을 위해 많은 수의 핑거를 사용하는 시스템에도 매우 효율적이다.

Business Intelligence를 지원하기 위한 Big Data 기반 Data Lake 플랫폼의 선행 연구 (A Leading Study of Data Lake Platform based on Big Data to support Business Intelligence)

  • 이상범
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제57차 동계학술대회논문집 26권1호
    • /
    • pp.31-34
    • /
    • 2018
  • We live in the digital era, and the characteristics of our customers in the digital era are constantly changing. That's why understanding business requirements and converting them to technical requirements is essential, and you have to understand the data model behind the business layout. Moreover, BI(Business Intelligence) is at the crux of revolutionizing enterprise to minimize losses and maximize profits. In this paper, we have described a leading study about the situation of desk-top BI(software product & programming language) in aspect of front-end side and the Data Lake platform based on Big Data by data modeling in aspect of back-end side to support the business intelligence.

  • PDF

수산과학 빅데이터 플랫폼 구축과 메타 데이터 관리방안 (Fishery R&D Big Data Platform and Metadata Management Strategy)

  • 김재성;최영진;한명수;황재동;조완섭
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.93-103
    • /
    • 2019
  • 본 논문에서는 수산과학 R&D 정보의 빅데이터 플랫폼 구축과 메타 데이터 관리기법에 관해 소개한다. 빅데이터 플랫폼에서는 다양한 유형의 수산과학 R&D 정보를 수집하여 통합 연계하고, 이를 데이터 레이크 형태로 구축하는 방안을 제시한다. 수산과학 분야에서 수집, 축적되고 있는 기존의 데이터와 함께 위성영상 데이터, 연구보고서 등 비정형 빅데이터까지 수집하여 다양한 분석을 지원하는 빅데이터 플랫폼의 구축방안을 제시한다. 다음으로 데이터 추출과 전처리 및 저장 과정에서 메타 데이터를 수집하고 관리함으로써 수산과학 빅데이터의 체계적인 관리가 가능하도록 한다. 빅데이터 플랫폼 구축과 함께 메타 데이터를 표준양식으로 구축함으로써 데이터의 수집, 저장, 활용 및 유통 등 데이터 수명주기 전반에 걸쳐 체계적이고도 지속적인 빅데이터 관리 방안을 제시하는데 의의가 있다.

  • PDF