• 제목/요약/키워드: HDFS

검색결과 151건 처리시간 0.033초

IoT 환경을 위한 빅데이터 기반 센서 데이터 처리 및 분석 (Big Data-based Sensor Data Processing and Analysis for IoT Environment)

  • 신동진;박지훈;김주호;곽광진;박정민;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.117-126
    • /
    • 2019
  • IoT 환경에서 발생하는 데이터는 아주 다양하고, 4차 산업혁명의 발전으로 인해 특히 스마트팩토리와 같은 제조 설비 공장에서 발생하는 정형, 비정형 데이터도 확연하게 증가하는 추세이다. 이를 빅데이터 관련 솔루션을 이용하면 다양한 대용량 데이터의 수집, 저장, 처리, 분석 및 시각화 과정을 거쳐 정확한 분석 및 데이터 기반 의사결정을 통한 시스템의 개선 및 확장을 할 수 있다. 따라서 본 논문에서는 IoT 환경에서 사용되는 라즈베리 파이를 이용하여 직접 데이터를 생성하고, 다양한 빅데이터 솔루션을 이용하여 분석한다. 수집에는 Sqoop 솔루션을 이용하여 데이터베이스에서 HDFS로 수집 및 저장하고, 처리에는 Hadoop과 연결되어 병렬 처리가 가능한 Hive 솔루션을 사용하여 데이터를 처리한다. 마지막으로 범용적으로 쓰이는 R 프로그래밍을 통해 처리된 데이터를 분석 및 시각화하여 최종 검증하고자 한다.

빅데이터 기반 의료 임상 결과 분석 (Big Data-based Medical Clinical Results Analysis)

  • 황승연;박지훈;윤하영;곽광진;박정민;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.187-195
    • /
    • 2019
  • 최근 빅데이터 관련 기술들이 발전함에 따라 다양한 분야에서 생성되는 데이터들을 수집하여 저장하고 처리 및 분석할 수 있게 되었다. 이러한 빅데이터 기술들을 임상 결과 분석에 활용하고, 임상시험 설계 최적화를 통해 보건의료분야에 투입되는 막대한 비용을 절감할 수 있을 것으로 전망된다. 따라서 본 논문에서는 임상 결과를 분석하여 임상시험 기간과 비용 등을 줄일 수 있는 가이드 정보를 제시하고자 한다. 먼저 Sqoop을 사용하여 임상 결과 데이터가 저장된 관계형 데이터 베이스로부터 HDFS에 수집하여 저장하고, 하둡을 기반으로 동작하는 처리 도구인 Hive를 이용하여 데이터를 처리한다. 공공분야, 기업 등 각 분야에서 많이 활용되고 있는 빅데이터 분석 도구인 R을 이용하여 연관성 분석을 한다.

차량에서 배출되는 대기 오염 물질의 빅 데이터에 대한 병렬 데이터 처리 모델의 강화 및 성능 최적화에 관한 연구 (A study on the enhancement and performance optimization of parallel data processing model for Big Data on Emissions of Air Pollutants Emitted from Vehicles)

  • 강성인;조성윤;김지환;김현정
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권6호
    • /
    • pp.1-6
    • /
    • 2020
  • 도로이동 오염원 대기환경 빅데이터는 상시 교통량 조사장비인 AVC, VDS, WIM, DTG를 활용한 차종, 속도, 하중 등 실시간 교통류 데이터와 GIS를 활용한 도로형상(오르막, 내리막, 회전구간) 데이터를 연계한 교통류 데이터로 구성되어 있다. 또한, 일반적인 데이터와 달리 단위시간 당 데이터가 많이 발생하고, 다양한 포맷을 가지고 있다. 특히, 이들 상세 교통류 정보로 수집되는 대용량의 실시간 데이터들은 약 총 740만 건/시간 이상이 수집되어 저장 및 가공되기 때문에 효율적으로 데이터를 처리할 수 있는 시스템이 필요하다. 따라서 본 연구에서는 도로이동 오염뭔 대기환경 빅데이터 시각화를 위한 오픈소스 기반의 데이터 병렬처리 성능 최적화 연구를 수행한다.

대용량 위성영상 처리를 위한 FAST 시스템 설계 (FAST Design for Large-Scale Satellite Image Processing)

  • 이영림;박완용;박현춘;신대식
    • 한국군사과학기술학회지
    • /
    • 제25권4호
    • /
    • pp.372-380
    • /
    • 2022
  • This study proposes a distributed parallel processing system, called the Fast Analysis System for remote sensing daTa(FAST), for large-scale satellite image processing and analysis. FAST is a system that designs jobs in vertices and sequences, and distributes and processes them simultaneously. FAST manages data based on the Hadoop Distributed File System, controls entire jobs based on Apache Spark, and performs tasks in parallel in multiple slave nodes based on a docker container design. FAST enables the high-performance processing of progressively accumulated large-volume satellite images. Because the unit task is performed based on Docker, it is possible to reuse existing source codes for designing and implementing unit tasks. Additionally, the system is robust against software/hardware faults. To prove the capability of the proposed system, we performed an experiment to generate the original satellite images as ortho-images, which is a pre-processing step for all image analyses. In the experiment, when FAST was configured with eight slave nodes, it was found that the processing of a satellite image took less than 30 sec. Through these results, we proved the suitability and practical applicability of the FAST design.

치마버섯을 이용한 진피 발효 배양물의 항산화 및 항염 효과 (Anti-Oxidant Effect and Anti-Inflammatory of Fermented Citrus unshiu Peel Extract by using Schizophyllum commune)

  • 송민현;배준태;고현주;장용만;이종대;이근수;표형배
    • 대한화장품학회지
    • /
    • 제37권4호
    • /
    • pp.351-356
    • /
    • 2011
  • 감귤은 국내 및 동남아시아 지역에서 많이 즐기는 식품 중 하나이며, 이러한 감귤류의 껍질을 건조시킨 것을 진피라고 한다. 이러한 진피는 한방에서는 이뇨작용, 비장기능을 강화하는 것으로 알려져 있으나, 천연 플라보노이드를 다량 함유하고 있어 학계에서 여러 분야로 연구가 되고 있는 실정이다. 본 연구에서는 플라보노이드 배당체를 함유한 진피 추출물을 ${\beta}$-glucosidase 효소를 이용하여 아글리콘(aglycone)으로 변환 할 수 있도록 치마버섯 배양을 실시하였다. 진피 발효 배양액을 HPLC를 이용하여 분석하였으며, UVA에 의한 광손상 보호능을 섬유아세포를 이용하여 측정하였다. 진피 발효 배양액은 COX-2, LOX-5와 같은 항염증 관련 대사에도 관여하여 염증완화에도 도움을 줄 수 있음을 확인하였다. 또한 각질 형성세포를 이용한 interleukin-$1{\alpha}$를 측정한 결과 진피발효배양액 처리군의 저해활성이 더 높았다. 이러한 결과로 미루어 볼 때, 진피발효 배양액은 피부에 대한 항염 및 항산화 효과가 우수한 것으로 사료된다.

피부 섬유아세포에서 밤나무 잎 추출물의 항산화 및 항노화 효능 (Antioxidant and Anti-aging Effects of Extracts from Leaves of Castanea crenata Siebold & Zucc. in Human Dermal Fibroblast)

  • 최선일;이종석;이사라;이혜진;김병직;여주홍;정태동;조봉연;최승현;이진하;김종예;이옥환
    • 한국식품위생안전성학회지
    • /
    • 제32권3호
    • /
    • pp.243-248
    • /
    • 2017
  • 현재 식품공전에 식품원료로 사용이 가능한 것으로 등록된 국내 산림지역 자생 식물을 식품산업에 활용하고자 국내 자생식물 45종을 선별하였고, 본 연구팀의 선행연구에서 45종의 항산화 활성을 평가한 결과, 다른 종들과 비교하여 우수한 항산화 활성을 보인 밤나무 잎을 본 연구에서 사용하였다. 본 연구에서는 hydrogen peroxide로 산화적 스트레스를 유도한 상태에서 밤나무 잎 추출물의 세포 보호효과, 세포내 항산화 효과 및 항노화 효과를 관찰하였다. 세포 보호효과를 측정한 결과 밤나무 잎 추출물의 농도 유의적으로 세포를 보호하는 효과를 확인하였고, 특히 $100{\mu}g/mL$에서는 양성대조군으로 사용한 항산화 물질인 ascorbic acid 수준까지 세포를 보호하는 효과를 나타내었다. $H_2$-DCFDA 염색을 통한 세포내 항산화 효과를 확인한 결과, 형광현미경과 형광흡광도 측정에서 모두 밤나무 잎 추출물이 농도 유의적으로 세포내 ROS를 저감을 확인하였고, 세포 보호효과와 마찬가지로 농도 $100{\mu}g/mL$에서는 ascorbic acid와 비슷한 수준을 보였다. SA-${\beta}$-galactosidase 염색을 통하여 관찰한 세포노화 억제 효과는 ROS 생성 억제 효과와 유사한 경향으로 밤나무 잎 추출물의 농도 유의적으로 세포노화 억제를 관찰되었다. 이상의 결과를 종합하여 볼 때 밤나무 잎 추출물은 산화적 스트레스로 인한 세포노화를 억제하는 효능을 보였으며, 이는 천연물에서 유래한 항산화 및 항노화 활성 첨가제로 활용도가 매우 넓을 것으로 판단된다.

인체 섬유아세포 및 케라티노사이트에 대한 지방줄기세포 분비물의 세포생물학적 기능 (Cell Biological Function of Secretome of Adipose-Derived Stem Cells on Human Dermal Fibroblasts and Keratinocytes)

  • 이재설;이종환
    • 한국미생물·생명공학회지
    • /
    • 제40권2호
    • /
    • pp.117-127
    • /
    • 2012
  • 피부재생에 대한 지방줄기세포 배양상등액(ADSC-CM)의 효능에 대한 연구를 진행하였다. ADSC-CM이 피부재생에 기여하는 기작은 명확하지 못하지만, ADSC-CM은 다양한 분비물을 포함하고 있고 따라서 피부트러블 처리를 위한 훌륭한 재료이다. 저 산소 상태에서 생산된 ADSC-CM, 즉 advanced adipose-derived stem cell protein extract (AAPE)는 피부재생에 보다 좋은 재료이다. 본 연구는 피부 재생에 결정적 역할을 하는 인체 primary 세포인 섬유아세포(HDF)와 케라티노사이트(HK)를 이용하여 AAPE의 효능을 검증하였다. 0.32 ${\mu}g/ml$ AAPE에서 콜라겐 합성이 관찰 되었으며 AAPE는 stress fiber 형성을 강화하였다. DNA microarray 결과에서는 세포증식, 세포이동, 세포부착, 상처반응에 관여하는 133개의 유전자 발현이 조절되는 것을 알았다. Antibody array를 통해 CD54, FGF-2, GM-CSF, IL-4, IL-6, VEGF, TGF-${\beta}2$, TGF-${\beta}3$, MMP-1, MMP-10, 그리고 MMP-19와 같은 MMP, 성장인자, 사이토카인등 25개의 알려진 단백질이 포함되어 있다는 것을 알았다. 따라서, AAPE는 HK의 세포생물학적 기능을 활성화 할 수 있다고 사료되며 HDF에서는 콜라겐 합성을 유도하였다. 이러한 결과는 AAPE가 피부재생에 임상적 적용이 가능하리라는 것을 의미한다.

빅데이터 기반 환자 간병 방법 분석 연구 (A Study on Big Data Based Method of Patient Care Analysis)

  • 박지훈;황승연;윤범식;최수길;이돈희;김정준;문진용;박경원
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권3호
    • /
    • pp.163-170
    • /
    • 2020
  • 정보통신기술의 발전과 함께 데이터의 생산량이 기하급수적으로 증가하면서 빅데이터에 대한 관심이 높아지고 있다. 빅데이터 관련 기술들도 발전함에 따라 여러 분야에서 빅데이터가 수집, 저장, 처리, 분석, 활용되고 있다. 특히 보건의료 분야에서의 빅데이터 분석은 사회경제적으로도 큰 영향력을 발휘할 수 있기 때문에 큰 주목을 받고 있다. 빅데이터 기술을 환자 진단 데이터 분석에 활용하여 간단한 병원 진료에 투여되는 막대한 비용을 절감할 수 있을 것으로 전망된다. 따라서 본 논문에서는 환자 데이터를 분석하여 병원에 가기 어려운 환자나 의학적인 전문 지식이 없는 간병인들에게 의사의 진단과 가까운 간병 가이드 정보를 제시하고자 한다. 먼저 수집된 환자 데이터를 HDFS에 저장하고, 하둡 환경에서 빅데이터 처리 및 분석 도구인 R을 이용하여 데이터를 처리한 후 분류분석을 한다. R의 다양한 기능들을 웹에 구현하기 위해 활용되는 R Shiny를 이용하여 웹 서버에 시각화를 한다.

Taxol Produced from Endophytic Fungi Induces Apoptosis in Human Breast, Cervical and Ovarian Cancer Cells

  • Wang, Xin;Wang, Chao;Sun, Yu-Ting;Sun, Chuan-Zhen;Zhang, Yue;Wang, Xiao-Hua;Zhao, Kai
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제16권1호
    • /
    • pp.125-131
    • /
    • 2015
  • Currently, taxol is mainly extracted from the bark of yews; however, this method can not meet its increasing demand on the market because yews grow very slowly and are a rare and endangered species belonging to first-level conservation plants. Recently, increasing efforts have been made to develop alternative means of taxol production; microbe fermentation would be a very promising method to increase the production scale of taxol. To determine the activities of the taxol extracted from endophytic fungus N. sylviforme HDFS4-26 in inhibiting the growth and causing the apoptosis of cancer cells, on comparison with the taxol extracted from the bark of yew, we used cellular morphology, cell counting kit (CCK-8) assay, staining (HO33258/PI and Giemsa), DNA agarose gel electrophoresis and flow cytometry (FCM) analyses to determine the apoptosis status of breast cancer MCF-7 cells, cervical cancer HeLa cells and ovarian cancer HO8910 cells. Our results showed that the fungal taxol inhibited the growth of MCF-7, HeLa and HO8910 cells in a dose-and time-dependent manner. IC50 values of fungal taxol for HeLa, MCF-7 and HO8910 cells were $0.1-1.0{\mu}g/ml$, $0.001-0.01{\mu}g/ml$ and $0.01-0.1{\mu}g/ml$, respectively. The fungal taxol induced these tumor cells to undergo apoptosis with typical apoptotic characteristics, including morphological changes for chromatin condensation, chromatin crescent formation, nucleus fragmentation, apoptotic body formation and G2/M cell cycle arrest. The fungal taxol at the $0.01-1.0{\mu}g/ml$ had significant effects of inducing apoptosis between 24-48 h, which was the same as that of taxol extracted from yews. This study offers important information and a new resource for the production of an important anticancer drug by endofungus fermentation.

두릅순 에탄올 추출물의 인간유래 피부각질형성세포와 피부섬유아세포에서의 자외선에 의한 광노화 억제효과 (Inhibitory effect of Aralia elata ethanol extract against skin damage in UVB-exposed human keratinocytes and human dermal fibroblasts)

  • 양지원;곽충실
    • Journal of Nutrition and Health
    • /
    • 제49권6호
    • /
    • pp.429-436
    • /
    • 2016
  • 본 연구에서는 피부의 표피와 진피에 분포하는 HaCaT 세포와 HDF 세포를 이용하여 항산화효과가 우수한 두릅순 추출물의 처리가 UVB에 의한 피부광노화를 억제할 수 있는지 알아보기 위하여 피부 염증반응과 관련한 사이토카인과 피부의 주요 구성 단백질인 collagen에 영향을 미칠 수 있는 MMP-1, type-I procollagen, TRPV-1 등의 단백질 발현에 미치는 영향을 분석하였다. HaCaT에 두릅순 추출물을 24시간 전처리한 경우 UVB ($55 mJ/cm^2$) 노출로 인해 증가한 염증매개인자인 IL-6, IL-8, $PGE_2$를 유의하게 감소시켰다. 또한, 피부 collagen의 정상적인 구조 및 양에 영향을 미치는 단백질들의 발현을 측정한 결과 HaCaT에서는 UVB 조사로 인해 증가한 TRPV-1과 MMP-1 단백질의 발현이 두릅순 에탄올 추출물의 전처리로 모두 감소하였고, HDF에서는 UVB를 조사한 대조군에 비하여 두릅순 추출물 처리가 MMP-1 단백질 발현을 감소시키는 동시에 collagen의 전구체인 type-I procollagen의 발현을 증가시키는 효과를 보였다. 이들 결과들로부터 항산화효과가 우수한 두릅순 70% 에탄올 추출물은 피부세포에서 UVB에 의한 염증반응을 억제시키는 동시에 피부 collagen의 감소를 억제시킴으로써 피부 광노화를 예방할 수 있는 천연 소재로 이용될 수 있다고 본다.