• 제목/요약/키워드: HDFs

검색결과 151건 처리시간 0.048초

Adaptable I/O System based I/O Reduction for Improving the Performance of HDFS

  • Park, Jung Kyu;Kim, Jaeho;Koo, Sungmin;Baek, Seungjae
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제16권6호
    • /
    • pp.880-888
    • /
    • 2016
  • In this paper, we propose a new HDFS-AIO framework to enhance HDFS with Adaptive I/O System (ADIOS), which supports many different I/O methods and enables applications to select optimal I/O routines for a particular platform without source-code modification and re-compilation. First, we customize ADIOS into a chunk-based storage system so its API semantics can fit the requirement of HDFS easily; then, we utilize Java Native Interface (JNI) to bridge HDFS and the tailored ADIOS. We use different I/O patterns to compare HDFS-AIO and the original HDFS, and the experimental results show the design feasibility and benefits. We also examine the performance of HDFS-AIO using various I/O techniques. There have been many studies that use ADIOS, however our research is expected to help in expanding the function of HDFS.

하둡 상에서 ARIA 알고리즘을 이용한 HDFS 데이터 암호화 기법의 설계 및 구현 (Design and Implementation of HDFS Data Encryption Scheme Using ARIA Algorithms on Hadoop)

  • 송영호;신영성;장재우
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권2호
    • /
    • pp.33-40
    • /
    • 2016
  • 최근 소셜 네트워크 서비스(SNS)의 발전으로 빅데이터가 출현하였고, 이를 분석하기 위한 분산 병렬 플랫폼으로 하둡이 개발되었다. 하둡을 사용하는 기업은 개인적인 정보가 포함된 데이터를 분석하여 마케팅 등에 활용하고 있다. 이에 따라, 하둡에 저장된 센서티브(sensitive) 데이터의 유출을 방지하기 위한 데이터 암호화 연구가 수행되었다. 하지만 기존 데이터 암호화에 대한 연구는 국외 표준인 AES 암호화 알고리즘만을 지원하는 한계점이 존재한다. 한편 정부에서는 데이터 암호화 알고리즘으로 ARIA 알고리즘을 국내 표준으로 지정하였다. 본 논문에서는 하둡 상에서 ARIA 알고리즘을 이용한 HDFS 데이터 암호화 기법을 제안하였다. 첫째, 제안하는 암호화 기법은 하둡의 분산 컴퓨팅 환경에서 ARIA 암호화 및 복호화를 수행하는 HDFS 블록 분할 컴포넌트를 제공한다. 둘째, 제안하는 암호화 기법은 데이터의 마지막 블록이 128비트 단위의 데이터가 아닐 경우, 더미(dummy) 데이터를 추가하여 암호화 및 복호화를 수행하는 가변길이 데이터 처리 컴포넌트를 제공한다. 마지막으로 성능 평가를 통해, 제안하는 ARIA 기반 암호화 기법이 텍스트 문자열 처리 응용 및 과학 데이터 분석 응용에서 효과적으로 사용될 수 있음을 보였다.

A Network Load Sensitive Block Placement Strategy of HDFS

  • Meng, Lingjun;Zhao, Wentao;Zhao, Haohao;Ding, Yang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권9호
    • /
    • pp.3539-3558
    • /
    • 2015
  • This paper investigates and analyzes the default block placement strategy of HDFS. HDFS is a typical representative distributed file system to stream vast amount of data effectively at high bandwidth to user applications. However, the default HDFS block placement policy assumes that all nodes in the cluster are homogeneous, and places blocks with a simple RoundRobin strategy without considering any nodes' resource characteristics, which decreases self-adaptability of the system. The primary contribution of this paper is the proposition of a network load sensitive block placement strategy. We have implemented our algorithm and justify it through extensive simulations and comparison with similar existing studies. The results indicate that our work not only performs much better in the data distribution but also improves write performance more significantly than the others.

인간 진피섬유아세포에서 Bifidobacterium bifidum 배양액 및 추출액의 자외선B에 대한 보호 효능 (Protective Effects of Bifidobacterium bifidum Culture Supernatants and Intracellular Cell-Free Extracts on Human Dermal Fibroblasts against UV-B Irradiation)

  • 권기영;박귀근
    • 한국식품영양과학회지
    • /
    • 제46권7호
    • /
    • pp.801-808
    • /
    • 2017
  • 본 연구는 장내세균 Bifidobacterium bifidum 배양액과 추출액을 사용하여 자외선B를 조사한 인간 진피섬유아세포에서 세포생존율과 세포 노화 및 세포주기의 변화를 살펴봄으로써 자외선B에 의한 세포 보호 효능을 평가하였다. 우선 자외선B를 조사한 결과 광량에 비례하여 HDFs의 생존율이 감소하였으며 $100mJ/cm^2$ 조사 시 67.3%로 떨어졌으나 B. bifidum 배양액과 추출액 처리 후 세포생존율을 증가시켜 자외선B에 대한 보호 효능이 있었다. 그리고 $SA-{\beta}-gal$ activity 변화를 측정한 결과에서 세포 노화율을 감소시켰음을 확인하였다. 또한, propidium iodide staining을 통하여 세포주기상 Sub-G1기 세포 수가 감소하였으므로 apoptosis를 억제하였고 이는 세포주기를 정상화하는 데 긍정적인 영향을 미쳤다. B. bifidum 배양액과 추출액 처리한 결과 세포 내 활성산소종이 감소함에 따라 p53과 p21의 발현을 감소시켰으며, 따라서 이에 본 연구에서 B. bifidum 배양액과 추출액은 UV-B로 인한 손상을 보호하는 효과가 있음을 규명하였다.

Stereoisomer-specific ginsenoside 20(S)-Rg3 reverses replicative senescence of human diploid fibroblasts via Akt-mTOR-Sirtuin signaling

  • Yang, Kyeong-Eun;Jang, Hyun-Jin;Hwang, In-Hu;Hong, Eun Mi;Lee, Min-Goo;Lee, Soon;Jang, Ik-Soon;Choi, Jong-Soon
    • Journal of Ginseng Research
    • /
    • 제44권2호
    • /
    • pp.341-349
    • /
    • 2020
  • Background: The replicative senescence of human dermal fibroblasts (HDFs) is accompanied by growth arrest. In our previous study, the treatment of senescent HDFs with Rg3(S) lowered the intrinsic reactive oxygen species (ROS) levels and reversed cellular senescence by inducing peroxiredoxin-3, an antioxidant enzyme. However, the signaling pathways involved in Rg3(S)-induced senescence reversal in HDFs and the relatedness of the stereoisomer Rg3(R) in corresponding signaling pathways are not known yet. Methods: We performed senescence-associated β-galactosidase and cell cycle assays in Rg3(S)-treated senescent HDFs. The levels of ROS, adenosine triphosphate (ATP), and cyclic adenosine monophosphate (cAMP) as well as the mitochondrial DNA copy number, nicotinamide adenine dinucleotide (NAD)+/1,4-dihydronicotinamide adenine dinucleotide (NADH) ratio, and NAD-dependent sirtuins expression were measured and compared among young, old, and Rg3(S)-pretreated old HDFs. Major signaling pathways of phosphatidylinositol 3-kinase/Akt, 5' adenosine monophosphate-activated protein kinase (AMPK), and sirtuin 1/3, including cell cycle regulatory proteins, were examined by immunoblot analysis. Results: Ginsenoside Rg3(S) reversed the replicative senescence of HDFs by restoring the ATP level and NAD+/NADH ratio in downregulated senescent HDFs. Rg3(S) recovered directly the cellular levels of ROS and the NAD+/NADH ratio in young HDFs inactivated by rotenone. Rg3(S) mainly downregulated phosphatidylinositol 3-kinase/Akt through the inhibition of mTOR by cell cycle regulators like p53/p21 in senescent HDFs, whereas Rg3(R) did not alter the corresponding signaling pathways. Rg3(S)-activated sirtuin 3/PGC1α to stimulate mitochondrial biogenesis. Conclusion: Cellular molecular analysis suggests that Rg3(S) specifically reverses the replicative senescence of HDFs by modulating Akt-mTOR-sirtuin signaling to promote the biogenesis of mitochondria.

NGSO/FSS와 HDFS간 공유 기준에 관한 연구 (A Study on the Sharing Criteria Between NGSO/FSS and HDFS)

  • 강병수;권태곤;이성팔
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 추계종합학술대회 논문집(1)
    • /
    • pp.465-468
    • /
    • 2000
  • The interference situation for the satellite networks using non-geostationary satellite orbit (NGSO) is more complicated than the situation between geostationary satellite orbit (GSO) networks because of the time varying orbital characteristics of NGSO systems. Most of frequency bands are allocated to fixed-satellite service and liked-service in co-primary basis. In this paper, the sharing criteria between NGSO/FSS systems and HDFS (High Density Fixed-Service) are examined.

  • PDF

HMM을 이용한 HDFS 기반 동적 데이터 복제본 삭제 전략 (A Dynamic Data Replica Deletion Strategy on HDFS using HMM)

  • 서영호;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.241-244
    • /
    • 2014
  • 본 논문에서는 HDFS(Hadoop Distributed File System)에서 문제되고 있는 복제정책의 개선을 위해 HMM(Hidden Markov Model)을 이용한 동적 데이터 복제본 삭제 전략을 제안한다. HDFS는 대용량 데이터를 효과적으로 처리할 수 있는 분산 파일 시스템으로 높은 Fault-Tolerance를 제공하며, 데이터의 접근에 높은 처리량을 제공하여 대용량 데이터 집합을 갖는 응용 프로그램에 최적화 되어있는 장점을 가지고 있다. 하지만 HDFS 에서의 복제 메커니즘은 시스템의 안정성과 성능을 향상시키지만, 추가 블록 복제본이 많은 디스크 공간을 차지하여 유지보수 비용 또한 증가하게 된다. 본 논문에서는 HMM과 최상의 상태 순서를 찾는 알고리즘인 Viterbi Algorithm을 이용하여 불필요한 데이터 복제본을 탐색하고, 탐색된 복제본의 삭제를 통하여 HDFS의 디스크 공간과 유지보수 비용을 절약 할 수 있는 전략을 제안한다.

  • PDF

LDBAS: Location-aware Data Block Allocation Strategy for HDFS-based Applications in the Cloud

  • Xu, Hua;Liu, Weiqing;Shu, Guansheng;Li, Jing
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권1호
    • /
    • pp.204-226
    • /
    • 2018
  • Big data processing applications have been migrated into cloud gradually, due to the advantages of cloud computing. Hadoop Distributed File System (HDFS) is one of the fundamental support systems for big data processing on MapReduce-like frameworks, such as Hadoop and Spark. Since HDFS is not aware of the co-location of virtual machines in the cloud, the default scheme of block allocation in HDFS does not fit well in the cloud environments behaving in two aspects: data reliability loss and performance degradation. In this paper, we present a novel location-aware data block allocation strategy (LDBAS). LDBAS jointly optimizes data reliability and performance for upper-layer applications by allocating data blocks according to the locations and different processing capacities of virtual nodes in the cloud. We apply LDBAS to two stages of data allocation of HDFS in the cloud (the initial data allocation and data recovery), and design the corresponding algorithms. Finally, we implement LDBAS into an actual Hadoop cluster and evaluate the performance with the benchmark suite BigDataBench. The experimental results show that LDBAS can guarantee the designed data reliability while reducing the job execution time of the I/O-intensive applications in Hadoop by 8.9% on average and up to 11.2% compared with the original Hadoop in the cloud.

식용 해조류 톳(Hizikia fusiformis) 유래 항산화 활성분획물의 산화적 손상이 유도된 인간피부섬유아세포 보호 효과 (Protective Effects of Antioxidant Active Fractions Derived from the Edible Seaweed Hizikia fusiformis in Oxidatively Stressed Human Dermal Fibroblasts)

  • ;김현수;제준건;;오재영;;전유진
    • 한국수산과학회지
    • /
    • 제52권1호
    • /
    • pp.35-42
    • /
    • 2019
  • We investigated the protective effects of antioxidant fractions from a 70% ethanolic extract of Hizikia fusiformis in human dermal fibroblasts (HDFs). Powdered H. fusiformis was extracted with 70% ethanol and then partitioned into three fractions according to polarity using n-hexane (HFH), chloroform (HFC), and ethyl acetate (HFEA). Antioxidant activity was observed in HFEA at 0.66 mg/mL based on the half maximal inhibitory concentration ($IC_{50}$) of 1,1-diphenyl-2-picrylhydrazyl (DPPH), and at 0.24 mg/mL based on alkyl radical scavenging. The protective effects of the HFEA antioxidant fraction against 2,2-azobis-(2-amidinopropane) dihydrochloride (AAPH)-damaged HDFs and the expression of Type I procollagen in HDFs were examined. HFEA caused the proliferation of HDFs with and without AAPH treatment and protected against AAPH damage to HDFs in a dose-dependent manner ($50-200{\mu}g/mL$). This implies that the antioxidant properties of the fractions depended on their proliferative and protective effects. The HFEA antioxidant fraction had significant effects and caused the dose-dependent expression of Type I procollagen, an important anti-wrinkle protein, in HDFs. In conclusion, antioxidant substances in H. fusiformis were found in the ethyl acetate fraction, and the resulting HFEA may have cosmetic applications.

감성분석을 위한 병렬적 HDFS와 맵리듀스 함수 (A Parallel HDFS and MapReduce Functions for Emotion Analysis)

  • 백봉현;류윤규
    • 한국정보컨버전스학회논문지
    • /
    • 제7권2호
    • /
    • pp.49-57
    • /
    • 2014
  • 최근 대량의 SNS(Social Network Service) 데이터로부터 유용한 정보를 추출하고 사용자의 진의 정보를 평가하기 위한 오피니언 마이닝(opinion mning)이 소개되고 있다. 오피니언 마이닝은 대량의 SNS 데이터로부터 빠른 기간 내에 데이터를 수집하고 분석하여 목적에 적합한 정보를 추출하는 효율적인 기법이 필요하다. SNS에서 발생되는 다양한 비정형 데이터로부터 감성정보를 추출하기 위해, 본 논문에서는 하둡(Hadoop) 시스템 기반의 병렬적 HDFS(Hadoop Distributed File System)와 맵리듀스(MapReduce) 기반 감성분석 함수를 제안한다. 실험결과로 제안한 시스템과 함수는 데이터 수집과 적재시간에 대해 O(n)보다 빠르게 처리하며, 메모리와 CPU 자원에 대해 안정적인 부하분산이 이루어지는 것을 확인하였다.

  • PDF