• 제목/요약/키워드: HDFs

검색결과 151건 처리시간 0.039초

학교폭력과 자살사고를 예방하기 위한 감성분석 시스템의 설계 (Design of a Sentiment Analysis System to Prevent School Violence and Student's Suicide)

  • 김영택
    • 컴퓨터교육학회논문지
    • /
    • 제17권6호
    • /
    • pp.115-122
    • /
    • 2014
  • 현 청소년들의 학교내 생활환경에서 문제점으로 대두되는 폭력 및 자살사고 발생률 증가에 대한 예방차원의 빅 데이터 처리 분석 시스템을 목표로 연구하였고 설계의 경제성과 용이성, 적용의 신속성 등을 고려해서 많은 이용률을 가지고 있는 오픈 소스인, 하둡 시스템(Hadoop system)의 맵리듀스(MapReduce) 알고리즘과 분산 병렬 환경을 위한 HDFS(Hadoop Distibuted File System) 구성을 사용하여 실험하였다. 연구에서 사용된 분석기법은 기존의 통계적인 분석기법들이 가지는 난이도를 피하기 위해 상업적인 사회 망의 비정형 대화 자료를 이용해서 폭력성 어휘에 대한 단어 수(word count) 분석을 적용하여 폭행, 자살사고를 사전에 감지하여 예방하는 감성분석(sentiment analysis) 시스템을 텍스트 마이닝 관점에서 제안하여 실험하였다.

  • PDF

MRSPAKE : Hadoop MapReduce를 이용한 웹 규모의 공간 지식 추출기 (MRSPAKE : A Web-Scale Spatial Knowledge Extractor Using Hadoop MapReduce)

  • 이석준;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.569-584
    • /
    • 2016
  • 본 논문에서는 Hadoop MapReduce 병렬 분산 컴퓨팅 환경을 이용해 개발한 공간 지식 추출기를 제안한다. 이 공간 지식 추출기는 대용량의 공간 데이터 집합으로부터, 임의의 두 공간 객체들 사이에 만족되는 위상 관계와 방향 관계를 나타내는 정성 공간 지식 베이스를 생성해낸다. 본 논문에서 제안하는 MapReduce 기반의 대용량 공간 지식 추출기 MRSPAKE는 HDFS 상의 분산 공간 데이터 파일에 대한 R 트리 색인과 범위 질의들을 이용함으로써, 웹 규모의 정성 공간 지식 베이스를 매우 효율적으로 추출해낸다. 대표적인 공개 데이터 집합인 Open Street Map(OSM)을 이용한 성능 분석 실험을 통해, 본 논문에서 제안하는 웹 규모의 공간 지식 추출기 MRSPAKE의 높은 성능과 확장성을 확인할 수 있었다.

SSD 캐시를 적용한 HDFS의 I/O 비용 기반 데이터 선택 기법 (Mechanism to Select the Data Source of HDFS with SSD Cache Based on Storage I / O Cost)

  • 김민정;신민철;박상현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.676-679
    • /
    • 2015
  • 빅데이터 분석을 위한 Hadoop 환경에서 고성능 저장장치인 SSD에 대한 중요성이 증가하면서 일반적으로 사용되는 저장장치인 HDD와 혼합하여 사용하는 연구들이 주목 받고 있다. 특히 SSD를 HDD의 캐시로 사용했을 때 저장장치에 대한 I/O 성능을 향상할 수 있다는 연구 결과들이 있다. 본 연구는 이를 바탕으로 SSD를 HDD의 캐시로 사용한다. HDFS는 저장장치에 접근하여 I/O를 수행하는데 기존에는 로컬 서버에서 캐시 미스가 발생한 경우 로컬 HDD로 접근한다. 이러한 방식은 접근하는 데이터에 따라 SSD의 높은 Bandwidth를 활용하지 못하게 되는 경우를 발생시키고 그 결과 특정 서버의 I/O 지연으로 전체 분산 처리의 성능을 저하시킬 수 있다. 이를 해결하기 위해 본 연구는 HDFS 레벨에서 로컬 서버의 HDD와 데이터 복제본들이 저장된 원격 서버의 SSD에서 I/O를 수행하는 경우에 대해 수식을 통해 비용을 비교한다. 그 결과 항상 기대 성능이 높은 저장 장치를 선택하여 데이터를 읽어오게 함으로써 기존 방식보다 성능이 개선될 수 있음을 입증한다.

사용자 중심 검색 시스템 설계 및 구현 (Search for a user-centered system design and implementation)

  • 김아용;이용우;배근호;정대진;정회경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.619-621
    • /
    • 2014
  • 최근 IT기술의 발전과 더불어 정보화에 대한 기술들이 이슈화 되고 있다. 웹을 사용하는 사용자들을 개인들이 필요한 정보를 찾는데 있어 검색데이터를 선별하는 방법에 대해 많은 어려움을 겪고 있다. 본 논문에서는 사용자 중심 검색 시스템을 제안한다. 제안하는 검색 시스템은 아파치 프로젝트인 Lucene과 Hadoop의 MapReduce, HDFS, Nutch, Solr를 활용하여 설계 및 구현한다. 이는 웹 검색을 이용하고자 하는 사용자의 의도에 따라 데이터를 수집하고 색인하여 원하는 정보를 제공하는 검색분야에 활용될 것이다.

  • PDF

Sim-Hadoop : 신뢰성 있고 효율적인 N-body 시뮬레이션을 위한 Hadoop 분산 파일 시스템과 병렬 I / O (Sim-Hadoop : Leveraging Hadoop Distributed File System and Parallel I/O for Reliable and Efficient N-body Simulations)

  • 아마드;이승룡;정태충
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.476-477
    • /
    • 2013
  • Gadget-2 is a scientific simulation code has been used for many different types of simulations like, Colliding Galaxies, Cluster Formation and the popular Millennium Simulation. The code is parallelized with Message Passing Interface (MPI) and is written in C language. There is also a Java adaptation of the original code written using MPJ Express called Java Gadget. Java Gadget writes a lot of checkpoint data which may or may not use the HDF-5 file format. Since, HDF-5 is MPI-IO compliant, we can use our MPJ-IO library to perform parallel reading and writing of the checkpoint files and improve I/O performance. Additionally, to add reliability to the code execution, we propose the usage of Hadoop Distributed File System (HDFS) for writing the intermediate (checkpoint files) and final data (output files). The current code writes and reads the input, output and checkpoint files sequentially which can easily become bottleneck for large scale simulations. In this paper, we propose Sim-Hadoop, a framework to leverage HDFS and MPJ-IO for improving the I/O performance of Java Gadget code.

Effects of human collagen α-1 type I-derived proteins on collagen synthesis and elastin production in human dermal fibroblasts

  • Hwang, Su Jin;Kim, Su Hwan;Seo, Woo-Young;Jeong, Yelin;Shin, Min Cheol;Ryu, Dongryeol;Lee, Sang Bae;Choi, Young Jin;Kim, KyeongJin
    • BMB Reports
    • /
    • 제54권6호
    • /
    • pp.329-334
    • /
    • 2021
  • Collagen type I is the most abundant form of collagen in human tissues, and is composed of two identical α-1 type I chains and an α-2 type I chain organized in a triple helical structure. A previous study has shown that human collagen α-2 type I (hCOL1A2) promotes collagen synthesis, wound healing, and elastin production in normal human dermal fibroblasts (HDFs). However, the biological effects of human collagen α-1 type I (hCOL1A1) on various skin properties have not been investigated. Here, we isolate and identify the hCOL1A1-collagen effective domain (CED) which promotes collagen type I synthesis. Recombinant hCOL1A1-CED effectively induces cell proliferation and collagen biosynthesis in HDFs, as well as increased cell migration and elastin production. Based on these results, hCOL1A1-CED may be explored further for its potential use as a preventative agent against skin aging.

HDFSS 주파수 분배 동향 분석 (Analysis of identification of Spectrum for HDFSS)

  • 오대섭;안도섭
    • 전자통신동향분석
    • /
    • 제17권5호통권77호
    • /
    • pp.149-156
    • /
    • 2002
  • 2000년에 개최된 세계전파통신회의에서는 차기 회의까지 글로벌 환경에서의 고밀도 고정위성업무를 위한 주파수 분배에 대한 연구를 의제로 결정하였다. 이후 ITU-R 회의에서는 17.3GHz 대역 이상의 주파수 대역에서 HDFSS에 적합한 주파수 대역을 연구하고 있는 중이다. 본 고에서에서는 국내 주파수 분배를 고려하여 적절한 HDFSS 주파수 대역을 고찰하고, 외국의 주파수 분배 현황에 대해 비교 검토하였다.

HDFS에서 적응형 캐시 관리 기법 (Adaptive Cache Management Scheme in HDFS)

  • 최형락;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.461-462
    • /
    • 2019
  • 스마트팩토리는 정보통신기술(ICT)를 이용한 공정의 모든 데이터를 수집, 분석하여 제어하고 있다. 기존보다 방대한 양의 데이터를 처리하기 위해 기업들은 하둡을 이용한다. 다양한 크기의 데이터가 나타나는 환경에서 HDFS을 효율적으로 관리하기 위한 적응형 캐시 관리 기법을 제안한다. 제안하는 기법은 데이터 노드의 로컬 디스크의 공간 이용 효율성을 높이고 평균 데이터 크기를 분석하여 데이터 노드 확장시 적합한 블록 크기를 적용할 수 있게 관리한다. 성능 평가를 통해 제안하는 기법의 데이터 노드에서 로컬 디스크 효율 향상과 읽기와 쓰기 속도의 속도에 효과를 보인다.

  • PDF

발효홍삼의 인간진피섬유모세포에서 UVA로 유도한 염증 및 기질단백분해효소 발현 억제 효능 (Ferment Red Ginseng Suppresses the Expression of Matrix Metalloproteinases in UVA-irradiated Human Dermal Fibroblast Cells)

  • 이근현;정승일;이창현;신상우;정한솔
    • 동의생리병리학회지
    • /
    • 제31권2호
    • /
    • pp.105-110
    • /
    • 2017
  • Prolonged exposure to solar ultraviolet A (UVA) radiation has been known to cause premature skin aging (photo-aging). UVA radiation generates ROS thereby induce degenerative changes of skin such as degradation of dermal collagen, elastic fibers. Matrix metalloproteinases (MMPs), the proteolytic enzymes have been implicated as a major player in the development of UVA-induced photo-aging. Many studies have been conducted to block the harmful effects of UV radiation on the skin. Recently, we are interested in the availability of fermented red ginseng (FRG) as natural matrix metalloproteinases inhibitors (MMPIs). The efficacy difference between red ginseng and FRG has been compared. Both RG and FRG have no cytotoxic effects below the concentration of $300{\mu}g/ml$. Human dermal fibroblasts (HDFs) were pretreated with FRG or RG for 24h, followed by irradiation of UVA. Then, we measured the intracellular ROS production and the expression of MMP, $IL-1{\beta}$ at the mRNA level. We also examined the intracellular localization of $NF-{\kappa}B$ and MMP-9 on the FRG or RG treated and UVA-irradiated HDFs. FRG decreased the intracellular ROS production elicited by UVA. In addition, FRG decreased the mRNA expression of MMP-3, MMP-9, and $IL-1{\beta}$ more efficiently than RG. Furthermore, FRG suppressed the nuclear localization of $NF-{\kappa}B$, and the expression of MMP-9. Taken together, our results suggest that FRG is promising agents to prevent UVA-induced photo-aging by suppressing MMP expression and inflammation.

아파치 엘라스틱서치 기반 로그스태시를 이용한 보안로그 분석시스템 (A Security Log Analysis System using Logstash based on Apache Elasticsearch)

  • 이봉환;양동민
    • 한국정보통신학회논문지
    • /
    • 제22권2호
    • /
    • pp.382-389
    • /
    • 2018
  • 최근 사이버 공격은 다양한 정보시스템에 심각한 피해를 주고 있다. 로그 데이터 분석은 이러한 문제를 해결하는 하나의 방법이다. 보안 로그 분석시스템은 로그 데이터 정보를 수집, 저장, 분석하여 보안 위험에 적절히 대처할 수 있게 한다. 본 논문에서는 보안 로그 분석을 위하여 분산 검색 엔진으로 사용되고 있는 Elasticsearch와 다양한 종류의 로그 데이터를 수집하고 가공 및 처리할 수 있게 하는 Logstash를 사용하여 보안 로그 분석시스템을 설계하고 구현하였다. 분석한 로그 데이터는 Kibana를 이용하여 로그 통계 및 검색 리포트를 생성하고 그 결과를 시각화할 수 있게 하였다. 구현한 검색엔진 기반 보안 로그 분석시스템과 기존의 Flume 로그 수집기, Flume HDFS 싱크 및 HBase를 사용하여 구현한 보안 로그 분석시스템의 성능을 비교 분석하였다. 실험 결과 Elasticsearch 기반의 로그 분석시스템을 사용할 경우 하둡 기반의 로그 분석시스템에 비하여 데이터베이스 쿼리 처리시간 및 로그 데이터 분석 시간을 현저하게 줄일 수 있음을 보였다.