• 제목/요약/키워드: Big-Data Platform

검색결과 506건 처리시간 0.031초

빅데이터 플랫폼에서 이종 서비스간 성능 간섭 현상 제어에 관한 연구 (Research of Performance Interference Control Technique for Heterogeneous Services in Bigdata Platform)

  • 진기성;이상민;김영균
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권6호
    • /
    • pp.284-289
    • /
    • 2016
  • Hadoop 기반의 빅데이터 분석 모델에서는 원시 데이터를 생산하는 응용계 시스템과 이를 분석하기 위한 분석계 시스템간의 데이터 이동이 불가피하다. 이에 따라, 응용 서비스와 분석 서비스를 하나의 플랫폼에서 동시에 지원할 수 있는 유니파이드 빅데이터 파일시스템 기술이 소개되고 있다. 그러나, 단일 플래폼 운영에 따른 경제성, 자원 효율성 등 다양한 측면에서의 장점에도 불구하고 현재 기술 수준에서는 응용 서비스와 분석 서비스의 상호 간섭에 의한 성능 저하 현상을 극복하는 것이 가장 큰 당면 과제로 남아있다. 본 논문에서는 이를 해결하기 위한 일차적 단계로 두 서비스에 대해 실서비스 수준 시뮬레이션을 통해 시스템 자원의 활용률, 워크로드 특성, 입출력 불균형의 세 가지 관점에서 관찰한 후 성능 간섭 문제의 근본적인 원인을 도출하였다. 또한 이를 해결하기 위한 방법으로 첫째, 데이터 서버의 입출력 경로를 분리하여 응용 서비스와 분석 서비스 각각 독립적인 입출력 계층을 구성하는 구조적인 해결책과, 둘째, 순차 읽기 특성을 가지는 분석 서비스 입출력 특성의 효과를 극대화하기 위한 선제적 미리 읽기 기법의 기술적 해결책을 제안한다. 한편, 논문에서 제안한 방법의 효과를 검증하기 위해 시뮬레이션과 동일한 방법의 시험을 기존 시스템과 제안한 시스템 각각에 대해 수행한 결과 기존 시스템 대비 우수한 성능을 확인할 수 있었다.

뉴스기사 빅데이터의 키워드분석을 활용한 창업 트렌드 분석:2013~2022 (Analysis entrepreneurship trends using keyword analysis of news article Big Data :2013~2022)

  • 김재억;전병훈
    • Journal of Platform Technology
    • /
    • 제11권3호
    • /
    • pp.83-97
    • /
    • 2023
  • 본 연구는 시멘틱 네트워크 분석을 통해 방대한 뉴스 기사를 분석하여 창업 트렌드를 파악하고자 하였다. 한국언론진흥재단에서 제공하는 빅카인즈 기사 분석 서비스를 이용해 2013년 1월부터 2022년 12월까지 19개 신문사의 뉴스 기사 330,628건을 종합적으로 분석하였다. 이 연구는 사회적 환경과 글로벌 경제 트렌드가 창업에 미치는 영향을 고려하여 최근 10년 동안 주요 이슈의 변화를 탐구하는 데 중점을 두었다. 또한 코로나-19 팬데믹 전후의 뉴스 기사 수와 이슈 변화를 비교하여 빈도 분석, 관계 분석, 연관어 분석을 통해 창업 트렌드를 시각화 하여 제시하였다. 연구 결과, 창업 연관어의 상위 키워드는 창업의 활성화, 사업화 등이고, 코로나-19와 창업 키워드 간의 상관관계는 선형적인 의미에서 거의 무시할 수 있는 수준이었으나, 팬데믹 기간동안 뉴스 기사 수는 감소하여 영향을 미치는 것으로 나타났다. 특히 가장 많이 언급된 키워드는 중소벤처기업부, 장소는 미국, 인물은 한정화. 기관은 중소벤처기업부로 나타났으며 창업분야는 어떤 분야보다 사회적 이슈에 다각적인 영향을 받고,시기적 접근 빈도가 증가하는 중요한 특징이 나타났다. 본 연구결과는 창업 관련 이슈 및 사건에 대한 이해와 탐구에 필수적인 기초자료를 제공하여 향후 해당 분야 연구주제를 제안할 연구로서의 의미가 있다.

  • PDF

제주해녀 인류무형문화유산 유지 방안 연구 (A Study on the sustainability of Jeju Haenyeo, an UNESCO Intangible Cultural Heritage)

  • 류재호;정연규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.1228-1231
    • /
    • 2017
  • The development of ICT brings the change in daily life and the digitized data are increasing in usage. The combination between GPS and internet results in extensive diffusion of space related information by way of smartphone, sensor and SNS. Jeju Island is only one special self-governing province in Republic of Korea and deserves to be proud of the unique culture, having those designated Intangible Cultural Heritage from UNESCO such as Culture of Jeju Haenyeo or Women Divers and Jeju Chilmeoridang Yeongdeunggut or Exorcism of Praying big Catch. In this paper, I suggest how to preserve fadable tradition economically and technically and expect to develop Haenyeo fitted portable sensors and IoT platform.

하둡 기반 빅데이터 수집 및 처리를 위한 플랫폼 설계 및 구현 (Design and Implementation of Hadoop-based Platform "Textom" for Processing Big-data)

  • 손기준;조인호;김찬우;전채남
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2015년도 춘계 종합학술대회 논문집
    • /
    • pp.297-298
    • /
    • 2015
  • 빅데이터 처리를 위한 소프트웨어 시스템을 구축하기 위하여 필요한 대표적인 기술 중 하나가 데이터의 수집 및 분석이다. 데이터 수집은 서비스를 제공하기 위한 분석의 기초 작업으로 분석 인프라를 구축하는 작업에 매우 중요하다. 본 논문은 한국어 기반 빅데이터 처리를 위하여 웹과 SNS상의 데이터 수집 어플리케이션 및 저장과 분석을 위한 플랫폼을 제공한다. 해당 플랫폼은 하둡(Hadoop) 기반으로 동작을 하며 비동기적으로 데이터를 수집하고, 수집된 데이터를 하둡에 저장하게 되며, 저장된 데이터를 분석한 후 분석결과에 대한 시각화 결과를 제공한다. 구현된 빅데이터 플랫폼 텍스톰은 데이터 수집 및 분석가를 위한 유용한 시스템이 될 것으로 기대가 된다. 특히 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 웹 환경에서 데이터 수집 및 분석이 가능하도록 구현하였다.

  • PDF

Distributed Multimedia Scheduling in the Cloud

  • Zheng, Mengting;Wang, Wei
    • Journal of Multimedia Information System
    • /
    • 제2권1호
    • /
    • pp.143-152
    • /
    • 2015
  • Multimedia services in the cloud have become a popular trend in the big data environment. However, how to efficiently schedule a large number of multimedia services in the cloud is still an open and challengeable problem. Current cloud-based scheduling algorithms exist the following problems: 1) the content of the multimedia is ignored, and 2) the cloud platform is a known parameter, which makes current solutions are difficult to utilize practically. To resolve the above issues completely, in this work, we propose a novel distributed multimedia scheduling to satisfy the objectives: 1) Develop a general cloud-based multimedia scheduling model which is able to apply to different multimedia applications and service platforms; 2) Design a distributed scheduling algorithm in which each user makes a decision based on its local information without knowing the others' information; 3) The computational complexity of the proposed scheduling algorithm is low and it is asymptotically optimal in any case. Numerous simulations have demonstrated that the proposed scheduling can work well in all the cloud service environments.

빅데이터 기반 선박기자재 유지보수 플랫폼 구축에 관한 연구 (A study on the Maintenance Platform for Ship Equipment based on Big Data)

  • 이항길;장명희
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2019년도 추계학술대회
    • /
    • pp.116-117
    • /
    • 2019
  • 자율운항선박 (MASS [Maritime Autonomous Surface Ship]) 선박은 육상 관제 센터에서 선박 기자재를 상태를 실시간 모니터링하고, 컨트롤 할 수 있는 기능을 탑재하는 걱이 필수적이다. 해상과 육상을 연결하는 통신 기술 발달 뿐 아니라, 4차 산업혁명시대에 따라 빅데이터 처리 기술과 이런 빅데이터를 딥러닝 기법을 통해 분석/예측할 수 있는 기반이 마련되고 있다. 따라서 선박 기자재를 빅데이터 기반 딥러닝 등의 기법을 활용하여 원격 진단 및 유지보수 할 수 있는

  • PDF

제한된 메모리 환경에서의 아파치 스파크 성능 비교 (A performance comparison for Apache Spark platform on environment of limited memory)

  • 송준석;김상영;이정준;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
    • /
    • pp.67-68
    • /
    • 2016
  • 최근 빅 데이터를 이용한 시스템들이 여러 분야에서 활발히 이용되기 시작하면서 대표적인 빅데이터 저장 및 처리 플랫폼인 하둡(Hadoop)의 기술적 단점을 보완할 수 있는 다양한 분산 시스템 플랫폼이 등장하고 있다. 그 중 아파치 스파크(Apache Spark)는 하둡 플랫폼의 속도저하 단점을 보완하기 위해 인 메모리 처리를 지원하여 대용량 데이터를 효율적으로 처리하는 오픈 소스 분산 데이터 처리 플랫폼이다. 하지만, 아파치 스파크의 작업은 메모리에 의존적이므로 제한된 메모리 환경에서 전체 작업 성능은 급격히 낮아진다. 본 논문에서는 메모리 용량에 따른 아파치 스파크 성능 비교를 통해 아파치 스파크 동작을 위해 필요한 적정 메모리 용량을 확인한다.

  • PDF

산업용 모바일 융합단말 플랫폼 구조 설계 (Architecture Design of Smart Mobile Platform for Industry)

  • 박종원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 추계학술대회
    • /
    • pp.765-768
    • /
    • 2011
  • 현재 스마트 모바일 기기들이 출시되어 융합성, 이동성, 편의성이 사용자들로부터 큰 호응을 받고 있다. 한편, 산업계에서도 처리하여야 할 정보가 점차 많아짐에 따라 복잡한 정보를 처리할 수 있는 모바일 기기가 요구되고 있다. 이에 본 논문에서는 이러한 요구사항들을 반영한 산업용 스마트 모바일 패드의 구조를 설계하고, 그 응용분야들에 대해 고찰해 본다.

  • PDF

복합시나리오를 이용한 IMP 기반 보안관제 모니터링 수준향상 방안에 관한 연구 (An Improving the Information Protection Level by IMP(Integrated Management Platform) based Hybrid Scenario)

  • 권대혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.530-533
    • /
    • 2014
  • IT 산업의 발전과 함께 Big-Data 와 보안은 빠른 속도로 발전하고 정보보호를 위해 다양한 시스템을 구축하는 것보다는 이를 연계하고 활용하는 것이 중요한 시대가 도래하였다. 한 기업이 가지고 있는 기업정보유출사고 등 다양한 해킹공격 또한 꾸준하게 증가되고 있다. 더불어 경제적 사회적인 손실이 증가되면서 국가 및 기업 상위 감사 기관은 정보보호 관련 법 제도를 제정하고 이를 강화하여 개정 하고 있다. 하지만, 물리적, 관리적, 기술적으로 연계된 통합 보안 관리 체계가 제대로 구현되지 않는다면 다양한 취약점을 통하여 기업 정보는 언제든 유출 될 수 있다. 본 논문에서는 기업에서 기 운영중인 정보보안 솔루션과 물리보안 솔루션이 효과적으로 통합 보안 관제가 가능한 IMP 플랫폼 구성설계 방안과 불법 침입 및 보안 사고 탐지를 위한 복합시나리오 설계 방안을 제시하여 실 적용 효과를 알아보고 향후 연구 방향을 제시하고자 한다.

생물학적 동등성 의약품 제조를 위한 에지 컴퓨팅 기반 QbD 플랫폼 설계 (QbD Platform Design Based on Edge Computing for Bioequivalent Drugs)

  • 이종혁;김주은
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.89-92
    • /
    • 2018
  • QbD(Quality by Design)는 제약분야에서 혁신적 신기술로 제조공정과 품질관리를 일원화하는 방법이다. QbD는 의약품의 품질을 높은 수준으로 향상시켜 제조공정 과정을 개선하여 효율성을 증대시키고 불량률 뿐만 아니라 공정 중 불필요한 장치의 가동을 최소화하여 비용을 절감시킬 수 있다. 본 논문은 제약분야에서 QbD 적용의 필요성에 따라 에지 컴퓨팅 기반 QbD 플렛폼 설계를 제안한다. 특히, 이 QbD 플렛폼을 통해 대조약과 시험약 간의 생물학적 동등성 의약품 제조에 필요한 실험설계방법을 획기적으로 개선하고자 한다. 이를 위해 본 논문은 먼저 QbD의 단계 중 실험설계법을 제형연구의 예를 들어 설명하고 본 논문이 계획한 QbD 플랫폼의 구조를 제안한다.