• 제목/요약/키워드: 병렬시스템

검색결과 2,500건 처리시간 0.034초

IoT 환경을 위한 빅데이터 기반 센서 데이터 처리 및 분석 (Big Data-based Sensor Data Processing and Analysis for IoT Environment)

  • 신동진;박지훈;김주호;곽광진;박정민;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.117-126
    • /
    • 2019
  • IoT 환경에서 발생하는 데이터는 아주 다양하고, 4차 산업혁명의 발전으로 인해 특히 스마트팩토리와 같은 제조 설비 공장에서 발생하는 정형, 비정형 데이터도 확연하게 증가하는 추세이다. 이를 빅데이터 관련 솔루션을 이용하면 다양한 대용량 데이터의 수집, 저장, 처리, 분석 및 시각화 과정을 거쳐 정확한 분석 및 데이터 기반 의사결정을 통한 시스템의 개선 및 확장을 할 수 있다. 따라서 본 논문에서는 IoT 환경에서 사용되는 라즈베리 파이를 이용하여 직접 데이터를 생성하고, 다양한 빅데이터 솔루션을 이용하여 분석한다. 수집에는 Sqoop 솔루션을 이용하여 데이터베이스에서 HDFS로 수집 및 저장하고, 처리에는 Hadoop과 연결되어 병렬 처리가 가능한 Hive 솔루션을 사용하여 데이터를 처리한다. 마지막으로 범용적으로 쓰이는 R 프로그래밍을 통해 처리된 데이터를 분석 및 시각화하여 최종 검증하고자 한다.

비균등 메모리 접근 구조에서의 효율적인 그룹화 집단 연산의 처리 (Efficient Processing of Grouped Aggregation on Non-Uniformed Memory Access Architecture)

  • 최성준;민준기
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.14-27
    • /
    • 2018
  • 최근, 대칭형 다중 처리 (SMP: Symmetric Multiprocessing) 구조에서 발생하는 메모리 병목 현상을 보완하기 위하여 비균등 메모리 접근 구조 (NUMA: Non-Uniform Memory Access) 구조가 제시되었다. 또한, 집단 연산자는 데이터의 특성 및 요약 정보를 제공하는 주요 연산자로써, 집단 연산자의 효율성은 전체 시스템의 성능에 매우 큰 영향을 미친다. 따라서, 본 논문에서는 NUMA 구조에서 효율적으로 집단 연산을 처리할 수 있는 기법을 제안한다. 제안 기법은 분할 단계와 합병 단계로 구성되며, 분할 단계에서 그룹 속성에 따라서 대상 릴레이션을 부분 릴레이션들로 분할한다. 따라서, 각 쓰레드가 독립적으로 부분 릴레이션에 대하여 집단 연산을 수행할 수 있으므로 합병 단계에서 원격 메모리 접속이 발생하지 않도록 하였다. 또한, 합병 단계에서는 각 쓰레드가 지역 해시 테이블을 이용하여 집단 연산을 수행하도록 하고 쓰레드들이 생성한 집단 연산 결과들을 하나로 병합하는데 잠금 경쟁이 발생하지 않도록 하여 처리 성능을 향상하였다.

경량 깊이완성기술을 위한 효율적인 자기지도학습 기법 연구 (Efficient Self-supervised Learning Techniques for Lightweight Depth Completion)

  • 박재혁;민경욱;최정단
    • 한국ITS학회 논문지
    • /
    • 제20권6호
    • /
    • pp.313-330
    • /
    • 2021
  • 카메라와 라이다가 탑재된 자율주행 시스템에서 깊이완성기술을 통해 조밀한 깊이추정을 할 수 있다. 특히, 자기지도학습을 이용하면 깊이정답이 없는 주행데이터로도 깊이완성 네트워크의 학습이 가능하다. 실제 자율주행환경에서 이러한 깊이완성의 출력은 다른 알고리즘들의 입력으로 사용되므로 매우 빠른 지연속도를 요구한다. 그래서 본 논문에서는 종래의 연구들처럼 네트워크를 고도화하여 정확도를 높이기보단 추론속도를 극대화한 형태의 깊이완성 네트워크를 사용한다. GPU 연산에 최적화된 RegNet 인코더를 사용하고 네트워크의 병렬성을 고려한 U-Net 형태의 네트워크를 설계한다. 대신, 본 논문에서는 자기지도학습 과정에서 정확도를 높일 수 있는 몇 가지 기법들을 제시한다. 제시하는 기법들은 신뢰할 수 없는 라이다 입력에 대한 강인함을 높이고 사전에 추출한 시맨틱 정보를 바탕으로 에지와 하늘 영역에 대한 깊이 추정 품질을 향상시킨다. 실험을 통해 우리의 모델은 매우 경량임에도 (2.42ms at 1280x480) 노이즈에 강하며 최신 연구들과 대등한 정확도를 보임을 확인한다.

초음파 센서 통신선 연장을 위한 인터페이스 변환 (Interface Conversion to Extend Communication Cable of Ultrasonic Sensor)

  • 서대일;권병혁;김상진
    • 한국전자통신학회논문지
    • /
    • 제17권3호
    • /
    • pp.467-472
    • /
    • 2022
  • 3차원 초음파풍속계는 PC와 RS232C(:Recommended Standard 232C) 인터페이스로 연결하여 관측 자료를 전송한다. 관측 장소에 따라 PC와 센서를 연결하는 케이블 연장이 필요한 경우가 종종 발생한다. 항공기상청 항공기상관측장비 테스트베드에서 PC를 두는 콘테이너와 장비 설치하는 곳까지 거리가 30 m 이상 되어 본래의 AWM2919(:Appliance Wiring Material 2919) 케이블로의 연장이 필요했다. 문제 해결을 위해서 AWM2919 케이블 연장, PC와의 인터페이스를 RS232C에서 RS485로 개조, RS485 검사 등의 조치를 하였다. 연장된 케이블로 장비를 설치한 후에 원격으로 자료를 수집하고 분석하여 성공적인 케이블 연장을 확인하였다.

딥러닝에 기반한 우리나라 장기간 일 단위 고해상도 격자형 기상자료 생산 (Development of long-term daily high-resolution gridded meteorological data based on deep learning)

  • 정유경;변규현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.198-198
    • /
    • 2023
  • 유역 내 수자원 계획을 효율적으로 수립하기 위해서는 장기간에 걸친 수문 모델링 뿐만 아니라 미래 기후 시나리오에 따른 수문학적 기후변화 영향 분석도 중요하다. 이를 위해서는 관측 값에 기반한 고품질 및 고해상도 격자형 기상자료 생산이 필수적이다. 하지만, 우리나라는 종관기상관측시스템(ASOS)과 방재기상관측시스템(AWS)으로 이루어진 고밀도 관측 네트워크가 2000년 이후부터 이용 가능했기에 장기간 격자형 기상자료가 부족하다. 이를 보완하고자 본 연구는 가정적인 상황에 기반하여 만약 2000년 이전에도 현재와 동일한 고밀도 관측 네트워크가 존재했다면 산출 가능했을 장기간 일 단위 고해상도 격자형 기상자료를 생산하는 것을 목표로 한다. 구체적으로, 2000년을 기준으로 최근과 과거 기간의 격자형 기상자료를 딥러닝 알고리즘으로 모델링하여 과거 기간을 대상으로 기상자료(일 단위 기온, 강수량)의 공간적 변동성 및 특성을 재구성한다. 격자형 기상자료의 생산을 위해 우리나라의 고도에 기반하여 기상 인자들의 영향을 정량화 하는 보간법인 K-PRISM을 적용하여 고밀도 및 저밀도 관측 네트워크로 두 가지 격자형 기상자료를 생산한다. 생산한 격자형 기상자료 중 저밀도 관측 네트워크의 자료를 입력 자료로, 고밀도 관측 네트워크의 자료를 출력 자료로 선정하여 각 격자점에 대해 Long-Short Term Memory(LSTM) 알고리즘을 개발한다. 이 때, 멀티 그래픽 처리장치(GPU)에 기반한 병렬 처리를 통해 비용 효율적인 계산이 가능하도록 한다. 최종적으로 1973년부터 1999년까지의 저밀도 관측 네트워크의 격자형 기상자료를 입력 자료로 하여 해당 기간에 대한 고밀도 관측 네트워크의 격자형 기상자료를 생산한다. 개발된 대부분의 예측 모델 결과가 0.9 이상의 NSE 값을 나타낸다. 따라서, 본 연구에서 개발된 모델은 고품질의 장기간 기상자료를 효율적으로 정확도 높게 산출하며, 이는 향후 장기간 기후 추세 및 변동 분석에 중요 자료로 활용 가능하다.

  • PDF

BPE를 활용한 한국어 감정사전 제작 (Developing a Korean sentiment lexicon through BPE)

  • 박호민;천민아;남궁영;최민석;윤호;김재균;김재훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.510-513
    • /
    • 2019
  • 감정분석은 텍스트에서 나타난 저자 혹은 발화자의 태도, 의견 등과 같은 주관적인 정보를 추출하는 기술이며, 여론 분석, 시장 동향 분석 등 다양한 분야에 두루 사용된다. 감정분석 방법은 사전 기반 방법, 기계학습 기반 방법 등이 있다. 본 논문은 사전 기반 감정분석에 필요한 한국어 감정사전 자동 구축 방법을 제안한다. 본 논문은 영어 감정사전으로부터 한국어 감정사전을 자동으로 구축하는 방법이며, 크게 세 단계로 구성된다. 첫 번째는 한영 병렬 말뭉치를 이용한 한영 이중언어 사전을 구축하는 단계이고, 두 번째는 한영 이중언어 사전을 통한 한영 이중언어 그래프를 생성하는 단계이며, 세 번째는 영어 단어의 감정값을 한국어 BPE의 감정값으로 전파하는 단계이다. 본 논문에서는 제안된 방법의 유효성을 보이기 위해 사전 기반 한국어 감정분석 시스템을 구축하여 평가하였으며, 그 결과 제안된 방법이 합리적인 방법임을 확인할 수 있었으며 향후 연구를 통해 개선한다면 질 좋은 한국어 감정사전을 효과적인 방법으로 구축할 수 있을 것이다.

  • PDF

분산 인공지능 학습 기반 작업증명 합의알고리즘 (Distributed AI Learning-based Proof-of-Work Consensus Algorithm)

  • 채원부;박종서
    • 한국빅데이터학회지
    • /
    • 제7권1호
    • /
    • pp.1-14
    • /
    • 2022
  • 대부분의 블록체인이 사용하는 작업증명 합의 알고리즘은 채굴이라는 형태로 대규모의 컴퓨팅리소스 낭비를 초래하고 있다. 작업증명의 컴퓨팅리소스 낭비를 줄이기 위해 유용한 작업증명 합의 알고리즘이 연구 되었으나 여전히 블록 생성 시 리소스 낭비와 채굴의 중앙화 문제가 존재한다. 본 논문에서는 블록생성을 위한 상대적으로 비효율적인 연산 과정을 분산 인공지능 모델 학습으로 대체하여 블록생성 시 리소스 낭비문제를 해결하였다. 또한 학습 과정에 참여한 노드들에게 공평한 보상을 제공함으로써 컴퓨팅파워가 약한 노드의 참여 동기를 부여했고, 기존 중앙 집중 인공지능 학습 방식에 근사한 성능은 유지하였다. 제안된 방법론의 타당성을 보이기 위해 분산 인공지능 학습이 가능한 블록체인 네트워크를 구현하여 리소스 검증을 통한 보상 분배를 실험 하였고, 기존 중앙 학습 방식과 블록체인 분산 인공지능 학습 방식의 결과를 비교하였다. 또한 향후 연구로 블록체인 메인넷과 인공지능 모델 확장 시 발생 할 수 있는 문제점과 개발 방향성을 제시함으로서 논문을 마무리 하였다.

NoC 용 고속 데이터 패킷 할당 회로 설계 (Design of a High-Speed Data Packet Allocation Circuit for Network-on-Chip)

  • 김정현;이재성
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.459-461
    • /
    • 2022
  • Network-on-Chip (NoC) 이 오프칩 네트워크 기반의 기존 병렬처리 시스템과 가장 크게 다른 점은 데이터 패킷 라우팅을 중앙 제어 방식(Centralized control scheme)으로 수행한다는 점이다. 이러한 환경에서 Best-effort 패킷 라우팅 문제는 데이터 패킷이 해당 코어에 도달 및 처리되는 시간을 Cost 로 하는 실시간 최소화 할당 문제(Assignment problem)가 된다. 본 논문에서는 할당 문제의 선형 대수 방정식에 대한 대표적인 연산 복잡도 저감 알고리즘인 헝가리안 알고리즘을 하드웨어 가속기 형태로 구현하였다. TSMC 0.18um 표준 셀라이브러리를 이용하여 논리 합성한 결과 헝가리안 알고리즘의 연산과정을 그대로 구현한 하드웨어 회로보다 Cost 분포에 대한 Case 분석을 통하여 구현한 것이 면적은 약 16%, Propagation delay는 약 52% 감소한 것으로 나타났다.

  • PDF

입상 활성탄 표면 개질을 통한 과불화옥탄산 (PFOA) 제거 향상 및 특성 평가 (The preparation of surface-modified granular activated carbon (GAC) to enhance Perfluorooctanoic acid (PFOA) removal and evaluation of adsorption behavior)

  • 신정우;안병렬
    • 상하수도학회지
    • /
    • 제37권4호
    • /
    • pp.177-186
    • /
    • 2023
  • Perfluorooctanoic acid(PFOA) was one of widely used per- and poly substances(PFAS) in the industrial field and its concentration in the surface and groundwater was found with relatively high concentration compared to other PFAS. Since various processes have been introduced to remove the PFOA, adsorption using GAC is well known as a useful and effective process in water and wastewater treatment. Surface modification for GAC was carried out using Cu and Fe to enhance the adsorption capacity and four different adsorbents, such as GAC-Cu, GAC-Fe, GAC-Cu(OH)2, GAC-Fe(OH)3 were prepared and compared with GAC. According to SEM-EDS, the increase of Cu or Fe was confirmed after surface modification and higher weight was observed for Cu and Fe hydroxide(GAC-Cu(OH)2 and GAC-Fe(OH)3, respectively). BET analysis showed that the surface modification reduced specific surface area and total pore volumes. The highest removal efficiency(71.4%) was obtained in GAC-Cu which is improved by 17.9% whereas the use of Fe showed lower removal efficiency compared to GAC. PFOA removal was decreased with increase of solution pH indicating electrostatic interaction governs at low pH and its effect was decreased when the point of zero charges(pzc) was negatively increased with an increase of pH. The enhanced removal of PFOA was clearly observed in solution pH 7, confirming the Cu in the surface of GAC plays a role on the PFOA adsorption. The maximum uptake was calculated as 257 and 345 ㎍/g for GAC and GAC-Cu using Langmuir isotherm. 40% and 80% of removal were accomplished within 1 h and 48 h. According to R2, only the linear pseudo-second-order(pso) kinetic model showed 0.98 whereas the others obtained less than 0.870.

산업용 임베디드 시스템 플랫폼 개발 (Development of Industrial Embedded System Platform)

  • 김대남;김교선
    • 전자공학회논문지CI
    • /
    • 제47권5호
    • /
    • pp.50-60
    • /
    • 2010
  • 지난 반세기 동안 컴퓨터 시스템의 발전으로 개인용 컴퓨터와 소프트웨어 산업은 유래 없는 호황을 누렸다. 21세기에 들어서는 이러한 흐름이 모바일 기기로 점차 이동하면서 임베디드 시스템 시장이 폭발적으로 증가하였다. 휴대전화, 내비게이션 시스템, PMP 등의 휴대용 멀티미디어 기기들은 시장에 쏟아져 나온 반면에 대부분의 산업용 제어시스템은 여전히 단순제어 시스템에 의존하여 제품이 개발되고 있다. 실제로 이를 첨단 하드웨어와 소프트웨어의 기술로 전환하려고 해도 그 수요가 모바일 시장에 비해 낮아 부품수급이 어렵고 가격이 상승하는 문제를 안고 있으며 기술개발 시 발생하는 많은 비용과 인력은 기업 입장에서는 투자 부담이 될 수밖에 없다. 그러나 미래 고객들에게 제품에 대한 기업 이미지를 끌어올리기 위해서는 고성능 시스템의 하드웨어와 소프트웨어 플랫폼 개발이 반드시 필요하다. 본 논문에서는 이러한 문제점들을 해결하기 위해서 네트워크 임베디드 시스템의 최적화된 하드웨어 플랫폼과 소프트웨어 플랫폼을 개발하였다. 개발된 플랫폼은 멀티미디어 기능을 추가하여 고급형 제품을 위한 플랫폼으로 제작하였다. 멀티미디어 기능을 구현하기 위해서 텔레칩스 사의 멀티미디어 프로세서인 TCC8300을 기반으로 개발하였으며 프로세서 내부의 다양한 병렬하드웨어 기능을 이용함으로써 회로상의 부품의 수를 최소화 하고 성능 향상과 더불어 전력소모량을 최소화하였다. 그리고 소프트웨어의 기술비용(로열티)을 없애기 위해서 오픈소스 기반의 운영체제인 임베디드 리눅스와 오픈소스 기반의 그래픽 라이브러리인 TinyX와 GTK+를 이용하여 GUI(Graphic User Interface)를 구현하였다. 또한 개발된 플랫폼을 이용하여 여러 가지 방식의 YUV2RGB 프레임 변환 실험 및 측정을 통해서 성능 및 프레임별 변환 시에 소모되는 전력량을 계산하였고 플랫폼의 각 부분별 동작에 대한 전력소모량 측정을 통해서 플랫폼 구성 시 필요한 전력과 성능을 예측할 수 있도록 하였다. 응용제품을 개발할 때 주어진 기능 및 성능 그리고 저전력 등의 사양이 구현 가능한지 분석하고 절충할 때 사용할 수 있는 모델식을 개발하였고 이를 활용하여 직접 제작해 봄으로써 신뢰성을 입증하였다. 이 때, 하드웨어 부품들은 휴대폰 생산 시에 사용되는 부품들을 사용함으로써 저가의 부품을 안정적으로 수급하여 대량생산을 용이하게 하였다.