• 제목/요약/키워드: HDFS

검색결과 152건 처리시간 0.028초

에너지신산업을 위한 에너지 빅데이터 전처리 시스템 (Energy Big Data Pre-processing System for Energy New Industries)

  • 양수영;김요한;김상현;김원중
    • 한국전자통신학회논문지
    • /
    • 제16권5호
    • /
    • pp.851-858
    • /
    • 2021
  • 재생에너지 및 분산자원의 증가로 에너지신산업에서는 전통적인 데이터뿐만 아니라 다양한 에너지 관련 데이터들이 생성되고 있다. 즉 다양한 재생에너지 설비와 발전 데이터, 계통 운영 데이터, 계량 및 요금 관련 데이터뿐만 아니라 새로운 서비스와 분석을 위해 필요한 기상 및 에너지 효율화 데이터 등이 있다. 에너지 빅데이터 처리 기술은 분산자원, 계통, AMI(: Advanced Metering Infrastructure)를 포함한 전력 생산·소비 인프라의 전반기에서 발생하는 데이터를 체계적으로 분석 ·진단할 수 있다. 이를 통해 ICT(: Information and Communications Technology)산업과 에너지 산업 간 융복합의 새로운 비즈니스 창출을 지원하는 기술이 될 수 있을 것이다. 이를 위해서 수집된 데이터의 항목별 특성 분석 및 연관관계 표본 추출과 각 특징들의 범주화 및 요소 정의 등 데이터 분석 시스템에 대한 연구가 필요하다. 또한 데이터의 손실 및 이상 상태 처리를 위한 데이터 정제 기술에 대한 연구가 이루어져야 한다. 그리고 에너지 데이터를 실시간으로 저장 및 관리할 수 있도록 Apache NIFI, Spark, HDFS(: Hadoop Distributed File System)에 대한 개발 및 구축이 필요하다. 본 연구에서는 위와 같은 다양한 전력거래를 위한 전반적인 에너지 데이터 처리 기술과 시스템를 제안하였다.

베이지안 확률 및 폐쇄 순차패턴 마이닝 방식을 이용한 설명가능한 로그 이상탐지 시스템 (An Interpretable Log Anomaly System Using Bayesian Probability and Closed Sequence Pattern Mining)

  • 윤지영;신건윤;김동욱;김상수;한명묵
    • 인터넷정보학회논문지
    • /
    • 제22권2호
    • /
    • pp.77-87
    • /
    • 2021
  • 인터넷과 개인용 컴퓨터가 발달하면서 다양하고 복잡한 공격들이 등장하기 시작했다. 공격들이 복잡해짐에 따라 기존에 사용하던 시그니처 기반의 탐지 방식으로 탐지가 어려워졌으며 이를 해결하기 위해 행위기반의 탐지를 위한 로그 이상탐지에 대한 연구가 주목 받기 시작했다. 최근 로그 이상탐지에 대한 연구는 딥러닝을 활용해 순서를 학습하는 방식으로 이루어지고 있으며 좋은 성능을 보여준다. 하지만 좋은 성능에도 불구하고 판단에 대한 근거를 제공하지 못한다는 한계점을 지닌다. 판단에 대한 근거 및 설명을 제공하지 못할 경우, 데이터가 오염되거나 모델 자체에 결함이 발생해도 이를 발견하기 어렵다는 문제점을 지닌다. 결론적으로 사용자의 신뢰성을 잃게 된다. 이를 해결하기 위해 본 연구에서는 설명가능한 로그 이상탐지 시스템을 제안한다. 본 연구는 가장 먼저 로그 파싱을 진행해 로그 전처리를 수행한다. 이후 전처리된 로그들을 이용해 베이지안 확률 기반 순차 규칙추출을 진행한다. 결과적으로 "If 조건 then 결과, 사후확률(θ)" 형식의 규칙집합을 추출하며 이와 매칭될 경우 정상, 매칭되지 않을 경우, 이상행위로 판단하게 된다. 실험으로는 HDFS 로그 데이터셋을 활용했으며, 그 결과 F1score 92.7%의 성능을 나타내었다.

사람 피부 섬유아세포에서 자외선으로 유도된 기질분해효소-1과 기질분해효소-3의 발현 유도에 대한 사상자 추출물의 억제효과 (Extracts of Torilis Japonica Suppresses of Ultraviolet B-induced Matrix Metalloproteinase-1/-3 Expressions in Human Dermal Fibroblasts)

  • 노은미;송현경;김정미;이금산;권강범;이영래
    • 동의생리병리학회지
    • /
    • 제33권3호
    • /
    • pp.175-180
    • /
    • 2019
  • Torilis Japonica (TJ) has been used as an anti-allergy, antifungal, and antibacterial agent. Recent studies have reported that it also shows anti-cancer effects. It is report that TJ inhibits melanin synthesis in melanocyte in the skin. However, the effect and mechanism of TJ extract (TJE) on Ultraviolet (UV)B-induced photoaging are unknown. In this study, we investigated the preventive effects of TJE on matrix metalloproteinase (MMP)-1 and MMP-3 expressions and the underlying molecular mechanism in UVB-irradiated primary human dermal fibroblasts (HDFs). The effect of TJE on HDF cell viability was determined using the XTT assay and cell counting. MMP-1 and MMP-3 expressions levels were measured by western blotting and real-time PCR analysis. Activations of mitogen-activated protein kinase (MAPKinase), nuclear $factor-{\kappa}B$ ($NF-{\kappa}B$), and activator protein-1(AP-1) were measured by western blotting. Our results showed that TJE effectively reduced UVB-induced MMP-1 and MMP-3 protein and mRNA levels. Moreover, TJE significantly blocked the UVB-induced activation of MAPK (p38 and JNK) and transcription factors ($NF-{\kappa}B$ and AP-1), but not ERK. Taken together, our results suggest that the TJE inhibits UVB-induced MMP expressions in HDFs and its may be a potential agent for the prevention and treatment of skin photoaging.

A study on Digital Agriculture Data Curation Service Plan for Digital Agriculture

  • Lee, Hyunjo;Cho, Han-Jin;Chae, Cheol-Joo
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권2호
    • /
    • pp.171-177
    • /
    • 2022
  • 본 논문에서는 다출처 농업 데이터를 통찰할 수 있는 지식체계를 마련하고, 시간 흐름을 가지는 환경인자 분석 정보를 클러스터링 할 수 있는, 농작물 환경 인자 큐레이션 서비스 방법을 제안한다. 제안하는 큐레이션 서비스는 크게 수집, 전처리, 저장, 분석의 네 단계로 구성된다. 첫째, 수집 단계에서는 OpenAPI 기반의 웹크롤러를 이용하여 다출처 농업 데이터에 대한 수집 및 정리를 수행한다. 둘째, 전처리 단계에서는 데이터 측정 오차를 감소시키기 위해 데이터 평활화를 수행한다. 이때 온실, 노지 등의 시설 특성에 따른 오차율을 고려하여 시설 유형별 평활화 방법을 적용한다. 셋째, 저장단계에서는 대용량 농업 데이터 관리를 위해, 농업 데이터 통합 스키마 및 Hadoop HDFS 기반의 저장 구조를 제안한다. 마지막으로 분석 단계에서는 농업 디지털 데이터의 시계열 특성을 고려한 DTW 기반의 시계열 분류를 수행한다. DTW 기반 시계열 분류를 통해 시계열 데이터의 특성을 손실 없이 반영하여 예측 결과 정확도를 향상시킨다. 향후 연구로는 제안한 서비스 방법을 구현하여 스마트팜 온실에 적용하고, 테스트 및 검증을 수행할 예정이다.

Ginsenoside Rb2 suppresses cellular senescence of human dermal fibroblasts by inducing autophagy

  • Kyeong Eun Yang;Soo-Bin Nam;Minsu Jang;Junsoo Park;Ga-Eun Lee;Yong-Yeon Cho;Byeong-Churl Jang;Cheol-Jung Lee;Jong-Soon Choi
    • Journal of Ginseng Research
    • /
    • 제47권2호
    • /
    • pp.337-346
    • /
    • 2023
  • Background: Ginsenoside Rb2, a major active component of Panax ginseng, has various physiological activities, including anticancer and anti-inflammatory effects. However, the mechanisms underlying the rejuvenation effect of Rb2 in human skin cells have not been elucidated. Methods: We performed a senescence-associated β-galactosidase staining assay to confirm cellular senescence in human dermal fibroblasts (HDFs). The regulatory effects of Rb2 on autophagy were evaluated by analyzing the expression of autophagy marker proteins, such as microtubule-associated protein 1A/1B-light chain (LC) 3 and p62, using immunoblotting. Autophagosome and autolysosome formation was monitored using transmission electron microscopy. Autophagic flux was analyzed using tandem-labeled GFP-RFP-LC3, and lysosomal function was assessed with Lysotracker. We performed RNA sequencing to identify potential target genes related to HDF rejuvenation mediated by Rb2. To verify the functions of the target genes, we silenced them using shRNAs. Results: Rb2 decreased β-galactosidase activity and altered the expression of cell cycle regulatory proteins in senescent HDFs. Rb2 markedly induced the conversion of LC3-I to LC3-II and LC3 puncta. Moreover, Rb2 increased lysosomal function and red puncta in tandem-labeled GFP-RFP-LC3, which indicate that Rb2 promoted autophagic flux. RNA sequencing data showed that the expression of DNA damage-regulated autophagy modulator 2 (DRAM2) was induced by Rb2. In autophagy signaling, Rb2 activated the AMPK-ULK1 pathway and inactivated mTOR. DRAM2 knockdown inhibited autophagy and Rb2-restored cellular senescence. Conclusion: Rb2 reverses cellular senescence by activating autophagy via the AMPK-mTOR pathway and induction of DRAM2, suggesting that Rb2 might have potential value as an antiaging agent.

하둡을 이용한 내용기반 음악 검색 시스템 설계 (The Design of Content-based Music Search System Using Hadoop)

  • 정형용;김준형;박현민;이정준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.377-380
    • /
    • 2011
  • 음악은 인류의 대표적인 예술로서 오랜 세월동안 사랑을 받아왔다. 그 오래된 세월만큼이나 인류가 만들어온 음악의 수는 방대하다. 방대한 음악이 IT기술의 발달과 인터넷의 확산을 통하여 온라인 음악시장을 형성하였고 음악은 디지털 음원으로 관리되게 되었다. 이러한 디지털 음원을 효과적으로 검색하기 위한 방법은 많이 연구되었다. 그리고 검색을 도와줄 대량의 디지털 음원 자료들을 저장하고 관리하는 기법에 관한 연구가 필요하다. 본 논문에서는 대용량 자료를 처리하는 기술로 관심 받고 있는 하둡을 통하여 이 문제를 연구하였다. 하둡의 맵리듀스, HDFS 그리고 HBase를 이용하여 음악 내용기반검색을 설계하였다. 본 시스템은 음악 검색 시스템을 관리하고 유지하는데 있어서 컴퓨팅자원을 절약함으로써 비용을 절감 효과를 얻을 수 있다.

SNS상의 비정형 빅데이터로부터 감성정보 추출 기법 (An Extraction Method of Sentiment Infromation from Unstructed Big Data on SNS)

  • 백봉현;하일규;안병철
    • 한국멀티미디어학회논문지
    • /
    • 제17권6호
    • /
    • pp.671-680
    • /
    • 2014
  • Recently, with the remarkable increase of social network services, it is necessary to extract interesting information from lots of data about various individual opinions and preferences on SNS(Social Network Service). The sentiment information can be applied to various fields of society such as politics, public opinions, economics, personal services and entertainments. To extract sentiment information, it is necessary to use processing techniques that store a large amount of SNS data, extract meaningful data from them, and search the sentiment information. This paper proposes an efficient method to extract sentiment information from various unstructured big data on social networks using HDFS(Hadoop Distributed File System) platform and MapReduce functions. In experiments, the proposed method collects and stacks data steadily as the number of data is increased. When the proposed functions are applied to sentiment analysis, the system keeps load balancing and the analysis results are very close to the results of manual work.

Hadoop에서 3D 프린팅용 G-code 생성 소프트웨어 개발 (Development of G-code generating software for 3D printer in Hadoop)

  • 이규영;남기원;김건영;김성석;양순옥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.78-80
    • /
    • 2017
  • 3D 프린터를 이용하여 출력을 하기 위해서는 3D 모델 데이터를 G-code로 변환하는 과정을 수행해야 한다. 일반적으로 3D 모델은 STL 파일 형식으로 저장되는데, 이 파일은 대개 삼각형 형식인 페이셋들의 좌표 데이터를 포함하고 있다. 만약 3D 모델의 크기가 커지거나 정밀도가 높아진다면, 페이셋의 수가 매우 많아지게 되고, 결과적으로 3D 모델에서 G-code로 변환하는 시간이 길어지게 된다. 본 논문에서는 널리 활용되고 있는 Hadoop에서 변환 소프트웨어를 개발하고자 하였다. Hadoop은 마스터 노드와 여러 데이터 노드들이 Map-Reduce 방식으로 작업을 수행한다. 이러한 노드들은 하둡 파일시스템(HDFS)을 공유할 수 있어 작업을 효율적으로 수행할 수 있다. 이에 본 논문에서는 이 시스템의 기능을 활용하여 기존에 개발된 분산 알고리즘을 변형한 후 이를 구현하고자 한다.

USB 하이재킹을 이용한 클라우드 스토리지로의 효율적인 데이터 전송 기법 (An Efficient Data Transmission to Cloud Storage using USB Hijacking)

  • 엄현철;노재춘
    • 전자공학회논문지CI
    • /
    • 제48권6호
    • /
    • pp.47-55
    • /
    • 2011
  • 클라우드 스토리지로 데이터를 전송하는 경우, 데이터의 전송용량 및 속도와 모바일 기기의 배터리 사용량 과다로 인해 많은 제약이 따르게 된다. 특히 스마트폰과 같은 모바일 기기들이 대용량 데이터를 전송할 때, 일정하지 않은 데이터 전송 속도와 배터리 사용량은 신뢰성 있는 고속 통신 환경을 구축하는데 큰 장애가 되고 있다. 본 연구는 하둡(Hadoop) 기반의 클라우드 스토리지로 효율적인 데이터 전송을 실행하기 위한 기법을 제안한다. 본 연구에서 제안하는 기법은 USB Hijacking을 이용하여 모바일 기기와 사용자 PC를 동기화 시키도록 하였으며, 이를 통해 데이터 통신 시 용량이나 배터리의 제한 없이 대용량 데이터 전송이 이루어지도록 구현하였다.

농업 이미지 처리를 위한 빅테이터 플랫폼 설계 및 구현 (Design and Implementation of Big Data Platform for Image Processing in Agriculture)

  • 반퀴엣뉘엔;신응억뉘엔;둑티엡부;김경백
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.50-53
    • /
    • 2016
  • Image processing techniques play an increasingly important role in many aspects of our daily life. For example, it has been shown to improve agricultural productivity in a number of ways such as plant pest detecting or fruit grading. However, massive quantities of images generated in real-time through multi-devices such as remote sensors during monitoring plant growth lead to the challenges of big data. Meanwhile, most current image processing systems are designed for small-scale and local computation, and they do not scale well to handle big data problems with their large requirements for computational resources and storage. In this paper, we have proposed an IPABigData (Image Processing Algorithm BigData) platform which provides algorithms to support large-scale image processing in agriculture based on Hadoop framework. Hadoop provides a parallel computation model MapReduce and Hadoop distributed file system (HDFS) module. It can also handle parallel pipelines, which are frequently used in image processing. In our experiment, we show that our platform outperforms traditional system in a scenario of image segmentation.