• 제목/요약/키워드: HDFs

검색결과 151건 처리시간 0.028초

Hadoop Distribute file system에서 Small file을 효과적으로 처리하기 위한 파일 병합 기법 연구 (A File Merging Scheme for Efficient Handling of Small Files in Hadoop Distributed File System)

  • 박종창;윤희용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.15-17
    • /
    • 2013
  • HDFS(Hadoop Distribute File System)는 대용량 파일 처리를 목적으로 설계 되었으며 현재 이상적인 분산 파일 시스템으로 각광 받고 있다. 이러한 HDFS는 기존 분산파일 시스템과 많은 유사성을 가지고 있으나, Fault Tolerance를 제공하고, 데이터 엑세스 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다는 차별성을 가지고 있다. 하지만 실제 HDFS 데이터 집합에는 Small file이 차지하는 비중이 상당히 높으며, 이러한 다수의 Small file 은 데이터 처리에 있어 높은 비용을 초래할 뿐 아니라 Master Node 의 파일 처리 및 메모리 성능에 악영향을 미친다. 따라서 본 논문에서는 HDFS에서 Small file 이 미치는 영향을 분석하고 이러한 문제점을 해결 할 수 있는 로컬 인덱스 파일기반의 파일 병합 기법을 제안한다.

Design of Distributed Cloud System for Managing large-scale Genomic Data

  • Seine Jang;Seok-Jae Moon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제16권2호
    • /
    • pp.119-126
    • /
    • 2024
  • The volume of genomic data is constantly increasing in various modern industries and research fields. This growth presents new challenges and opportunities in terms of the quantity and diversity of genetic data. In this paper, we propose a distributed cloud system for integrating and managing large-scale gene databases. By introducing a distributed data storage and processing system based on the Hadoop Distributed File System (HDFS), various formats and sizes of genomic data can be efficiently integrated. Furthermore, by leveraging Spark on YARN, efficient management of distributed cloud computing tasks and optimal resource allocation are achieved. This establishes a foundation for the rapid processing and analysis of large-scale genomic data. Additionally, by utilizing BigQuery ML, machine learning models are developed to support genetic search and prediction, enabling researchers to more effectively utilize data. It is expected that this will contribute to driving innovative advancements in genetic research and applications.

소수성 표면의 해수 방오성능 (Anti-fouling Property of Hydrophobic Surfaces in Sea Water)

  • 조승현;류성남;황운봉;윤범상
    • 한국해양환경ㆍ에너지학회지
    • /
    • 제16권2호
    • /
    • pp.82-87
    • /
    • 2013
  • 본 논문에서는 해수에 잠겨있는 물체표면의 물리적 성질과 생물오손현상 간의 상관관계를 관찰하기 위하여 생물오손에 미치는 소수성(hydrophobic) 표면의 효과에 대해 실험해석을 수행하였다. 시편으로서, 일반알루미늄, 소수성표면을 가진 알루미늄, 친수성(hydrophilic)표면을 가진 알루미늄 등 세 종류를 사용하였으며, 단, 소수성시편의 경우, AAO(Anodic Aluminum Oxide)기법으로 제작한 것과 HDFS(heptadecafluoro-1,1,2,2,-tetrahydrodecyltricholorosilane)코팅처리하여 제작한 것, 두 종류를 사용하였다. 세 종류, 네 개의 시편에서 확인된 생물오손정도는 중장기적인 면에서는 시편 간에 큰 차이가 없지만, 오손초기에는 괄목할 만한 차이가 관찰되었다. 생물 부착물의 두께가 소수성표면의 미세돌기 높이에 다다를 때 까지는 소수성표면의 오손지연효과가 현저하게 나타나나, 일단 이를 초과하면 소수성표면의 오손방지효과는 소멸됨을 확인하였다.

The Isolation and Antioxidative Effects of Vitexin from Acer palmatum

  • Kim Jin Hwa;Lee Bum Chun;Kim Jin Hui;Sim Gwan Sub;Lee Dong Hwan;Lee Kyung Eun;Yun Yeo Pyo;Pyo Hyeong Bae
    • Archives of Pharmacal Research
    • /
    • 제28권2호
    • /
    • pp.195-202
    • /
    • 2005
  • Free radicals and reactive oxygen species (ROS) caused by UV exposure or other environmental factors are critical players in cellular damage and aging. In order to develop a new antiphotoaging agent, this work focused on the antioxidant effects of the extract of tinged autumnal leaves of Acer palmatum. One compound was isolated from an ethyl acetate soluble fraction of the A. palmatum extract using silica gel column chromatography. The chemical structure was identified as apigenin-8-C-beta-D-glucopyranoside, more commonly known as vitexin, by spectral analysis including LC-MS, FT-IR, UV, $^{1}H-$, and $^{13}C-NMR$. The biological activities of vitexin were investigated for the potential application of its anti-aging effects in the cosmetic field. Vitexin inhibited superoxide radicals by about $70\%$ at a concentration of $100\;{\mu}g/mL$ and 1,1-diphenyl-2-picrylhydrazyl (DPPH) radicals by about $60\%$ at a concentration of $100\;{\mu}g/mL$. Intracellular ROS scavenging activity was indicated by increases in dichlorofluorescein (DCF) fluorescence upon exposure to UVB $20\;mJ/cm^2$ in cultured human dermal fibroblasts (HDFs) after the treatment of vitexin. The results show that oxidation of 5-(6-)chloromethyl-2',7'-dichlo-rodihydrofluorescein diacetate ($CM-H_{2}DCFDA$) is inhibited by vitexin effectively and that vitexin has a potent free radical scavenging activity in UVB-irradiated HDFs. In ROS imaging using a confocal microscope we visualized DCF fluorescence in HDFs directly. In conclusion, our findings suggest that vitexin can be effectively used for the prevention of UV-induced adverse skin reactions such as free radical production and skin cell damage.

데스크탑 가상화에서 HDFS를 이용한 서비스 제공시간 개선 연구 (Service Delivery Time Improvement using HDFS in Desktop Virtualization)

  • 이완희;이봉환
    • 한국정보통신학회논문지
    • /
    • 제16권5호
    • /
    • pp.913-921
    • /
    • 2012
  • 기존의 PC 기반의 데스크탑 환경은 보안, 이동성, 업그레이드 비용 감소 등의 장점으로 인하여 서버 기반의 가상데스크탑 환경으로 바뀌고 있다. 본 논문에서는 오픈 소스 기반의 클라우드 컴퓨팅 플랫폼과 하이퍼바이저를 이용한 데스크탑 가상화 시스템을 구축하여 이를 대학의 컴퓨터 실습실에 적용하였으며, 가상화 서비스 제공시간을 개선하기 위하여 HDFS를 이용한 해결 방법을 제안하였다. 또한, HDFS를 사용하여 데스크탑 가상화 서비스에 필요한 이미지 관리 구조를 설계하고 구현하였으며, 이를 실제 PC 30대를 운영하는 실습실에 적용하여 구축비용, 전원절약율, 라이센스 비용 절감율 및 관리 비용 등 네 가지 측면에서 기존시스템과 비교하였다. 실험 결과 HDFS를 이용하였을 경우 데스크탑 가상화를 서비스하기 위한 이미지 전송시간을 대폭 줄일 수 있었다.

에르고티오네인의 당화 억제 및 항산화 활성에 관한 연구 (Glycation Inhibitory and Antioxidative Activities of Ergothioneine)

  • 배준태;이청희;이근수;김진화;홍진태
    • 대한화장품학회지
    • /
    • 제45권2호
    • /
    • pp.151-159
    • /
    • 2019
  • 에르고티오네인은 생체 내에서 우수한 항산화제로서 산화스트레스로부터 세포 보호제로 알려져 있다. 본 연구에서는 에르고티오네인의 라디칼 소거 활성은 자외선에 조사된 사람 섬유아세포 생존율을 향상 시키는 것을 확인하였으며, 세포노화 지표물질인 senescence-associated ${\beta}$-galactosidase (SA-${\beta}$-gal) 활성을 사람 섬유아세포를 이용하여 확인한 결과, 에르고티오네인 $400{\mu}M$ 처리 농도에서 염색된 세포의 수가 약 45%의 SA-${\beta}$-gal의 레벨이 감소하여 세포 노화(senescence)를 억제하는 것을 확인할 수 있었다. 또한, 에르고티오네인은 글리세르알데하이드에 의해 유도된 최종당화산물(AGEs) 생성을 저해하였으며, 카르복시메칠라이신(CML) 발현을 농도의존적으로 저해하는 것으로 나타내었다. 글리옥살에 의해 최종당화산물의 수용체(RAGE)가 발현된 사람 섬유아세포에 에르고티오네인을 처리하였을 때 RAGE의 발현이 농도의존적으로 감소하는 것을 확인하였다. 따라서, 본 연구결과를 바탕으로 에르고티오네인의 항노화 효과와 최종당화산물의 세포 내 축적을 저해할 수 있는 화장품 소재로서 활용가치가 있음을 확인하였다.

하둡 프레임워크 기반 분산시스템 내의 작은 파일들을 효율적으로 처리하기 위한 방법의 설계 (The Design of Method for Efficient Processing of Small Files in the Distributed System based on Hadoop Framework)

  • 김승현;김영근;김원중
    • 한국전자통신학회논문지
    • /
    • 제10권10호
    • /
    • pp.1115-1122
    • /
    • 2015
  • 하둡 프레임워크는 매우 큰 크기의 파일을 처리하기에 적합하도록 설계되었다. 반면 작은 크기의 파일을 처리할 경우, 분산 시스템의 자원 낭비와 분석 성능 저하가 발생하며 이는 작은 파일의 개수가 많을수록 현저하게 나타난다. 이 문제는 파일의 크기가 작기 때문에 발생하므로, 연관성 있는 작은 파일들의 병합을 통해 해결할 수 있다. 그러나 기존의 작은 파일 병합 방법들은 부차적인 한계점을 지니고 있다. 따라서 본 연구는 기존의 병합 방법의 문제점에 대하여 살펴보고, 작은 파일들의 효율적 처리를 위한 병합 방법을 설계하였다.

생체신호 습득과 건강 모니터링을 위한 스마트 헬스케어 의복 개발 (Development of Smart Healthcare Wear System for Acquiring Vital Signs and Monitoring Personal Health)

  • 주문일;고동희;김희철
    • 한국멀티미디어학회논문지
    • /
    • 제19권5호
    • /
    • pp.808-817
    • /
    • 2016
  • Recently, the wearable computing technology with bio-sensors has been rapidly developed and utilized in various areas such as personal health, care-giving for senior citizens who live alone, and sports activities. In particular, the wearable computing equipment to measure vital signs by means of digital yarns and bio sensors is noticeable. The wearable computing devices help users monitor and manage their health in their daily lives through the customized healthcare service. In this paper, we suggest a system for monitoring and analyzing vital signs utilizing smart healthcare clothing with bio-sensors. Vital signs that can be continuously acquired from the clothing is well-known as unstructured data. The amount of data is huge, and they are perceived as the big data. Vital sings are stored by Hadoop Distributed File System(HDFS), and one can build data warehouse for analyzing them in HDFS. We provide health monitoring system based on vital sings that are acquired by biosensors in smart healthcare clothing. We implemented a big data platform which provides health monitoring service to visualize and monitor clinical information and physical activities performed by the users.

Downregulation of matrix metalloproteinases in hyperplastic dental follicles results in abnormal tooth eruption

  • Kim, Seong-Gon;Kim, Myung-Hee;Chae, Chang-Hoon;Jung, Youn-Kwan;Choi, Je-Yong
    • BMB Reports
    • /
    • 제41권4호
    • /
    • pp.322-327
    • /
    • 2008
  • In this study, we compared the gene expression profiles of non-syndromic hyperplastic dental follicle (HDF) fibroblasts and normal dental follicle (NDF) fibroblasts using cDNA micro-arrays, quantitative PCR, and immunohistochemical staining. Microarray analysis showed that several collagens genes were upregulated in the HDF's, including collagen types I, IV, VIII, and XI and TIMP-1, -3, and -4 (fold ratio > 2.0). In contrast, the expression of MMP-1, -3, -10, and -16 together with IL-8 was more than two fold downregulated. The differential expression of the genes encoding alkaline phosphatase, MMP-1, -3, -8, and IL-8 was confirmed by quantitative RT-PCR, while that of 24 HDFs and 18 NDFs was confirmed by immunohistochemical analysis. However, HDFs showed stronger expression of MMP-3 than NDFs (P < 0.001). Collectively, these results indicate that defective regulation of MMPs mediating connective tissue remodeling may be responsible for abnormal tooth eruption.