• 제목/요약/키워드: big data tasks

검색결과 96건 처리시간 0.022초

실험실정보관리시스템의 확장을 위한 오픈 소스 기반의 빅데이터 처리 기술에 관한 연구 (A Study on Big Data Processing Technology Based on Open Source for Expansion of LIMS)

  • 김순곤
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권2호
    • /
    • pp.161-167
    • /
    • 2021
  • 실험실정보관리시스템(LIMS, Laboratory Information Management System)은 실험실 데이터를 저장, 가공, 검색 그리고 분석하기 위한 중앙화된 데이터베이스로서 검사, 분석, 시험 업무를 수행하는 실험실을 위해 특별히 고안된 컴퓨터 시스템 또는 시스템을 의미한다. 특히 LIMS는 실험실의 운영을 지원하는 기능을 갖추고 있으며, 워크플로우 관리나 데이터 추적지원 등이 필요하다. 본 논문에서는 실험실의 운영을 위하여 빅데이터 자동화 수집 기술의 하나인 크롤링 기술을 활용하여 웹사이트 및 다양한 채널에 존재하는 데이터를 수집한다. 수집된 시험 방법 및 내용 중 시험자가 활용할 수 있는 유용한 시험 방법 및 내용을 추천한다. 그리고 이에 대한 피드백을 관리하여 수집 채널의 검증이 가능한 상호보완적인 LIMS 플랫폼을 구현한다.

Locality-Sensitive Hashing Techniques for Nearest Neighbor Search

  • Lee, Keon Myung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제12권4호
    • /
    • pp.300-307
    • /
    • 2012
  • When the volume of data grows big, some simple tasks could become a significant concern. Nearest neighbor search is such a task which finds from a data set the k nearest data points to queries. Locality-sensitive hashing techniques have been developed for approximate but fast nearest neighbor search. This paper introduces the notion of locality-sensitive hashing and surveys the locality-sensitive hashing techniques. It categories them based on several criteria, presents their characteristics, and compares their performance.

경영분석 업무에 종사하는 비 기술기반 전공자를 위한 빅데이터 분석 및 시각화 기법 교육과정 제안 (Proposal of Big Data Analysis and Visualization Technique Curriculum for Non-Technical Majors in Business Management Analysis)

  • 홍필태;우종필
    • 실천공학교육논문지
    • /
    • 제12권1호
    • /
    • pp.31-39
    • /
    • 2020
  • 빅데이터 분석은 경영 및 산업현장에서 다양하게 분석되고 사용되고 있으며, 경영의사결정에서 중요한 역할을 한다. 경영분석 업무에 종사하는 빅데이터 분석 직무자의 직무능력은 반드시 미시적인 IT 기술 습득이 요구되는 것이 아니라, Data Scientist로서 다양한 경험과 인문학적 지식과 분석력이 요구되어진다. 그러나, 국가직무능력표준(NCS: National Competency Standards)을 기반으로 하는 국공립 교육기관 및 직무교육기관의 빅데이터 교육은 소프트웨어 공학적 측면에서 진행되고 있으며, 이러한 교육 방법론은 비 기술기반 전공자에게는 어렵고, 비효율적인 결과를 초래하기도 한다. 따라서, 우리는 현재의 빅데이터 플렛폼과 그와 관련된 기술을 분석하여, 그 중에서 현장 직무자에게 반드시 필요한 직무능력 요구수준이 무엇인지를 정의하였다. 그리고, 이를 바탕으로 비 기술기반 전공자를 위한 빅데이터 분석 및 시각화 기법 교육과정을 구성하였다. 특화된 본 교육과정을 경영현장에서 경영분석에 종사하는 금융기관 실무자를 중심으로 Pilot test를 실시한 결과 좀 더 개선된 교육효과를 얻을 수 있었다. 이에 본 연구에서 제시되는 교육방법은 산업전반에서 효율적으로 빅데이터 직무 수행과, 비 기술기반 전공 직무자를 대상으로 빅데이터 분석 및 시각화 교육이 활성화되는 계기가 될 것이다.

RHadoop을 이용한 빅데이터 분산처리 시스템 (Big data distributed processing system using RHadoop)

  • 신지은;정병호;임동훈
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권5호
    • /
    • pp.1155-1166
    • /
    • 2015
  • 기하급수적으로 증가하는 대용량 데이터를 저장, 분석하는데 기존 방식으로는 거의 불가능하여 이를 가능케 해 주는 기술이 바로 하둡이다. 최근에 R은 하둡기술을 활용하여 분산처리에 기반한 빅데이터 분석 엔진으로 활용되고 있다. 본 논문에서는 R과 하둡의 통합환경인 RHadoop을 이용하여 실제 데이터와 모의실험 데이터에서 다양한 데이터 크기에 따라 병렬 다중 회귀분석을 구현하고자 한다. 또한, 제안된 RHadoop 플랫폼의 성능을 평가하기 위해 기본 R 패키지의 lm 함수, bigmemory 상에서 유용한 biglm 패키지와 처리 속도를 비교하였다. 실험결과 RHadoop은 데이터 노드가 많을수록 병렬처리로 인해 빠른 처리속도를 보였고 또한 대용량의 데이터에 대해 다른 패키지들보다 빠른 처리속도를 보였다.

CM사 견적업무의 빅데이터 활용 현황에 관한 연구 (A Study on the Current Situations about the Use of Big Data for Cost Estimating Tasks in CM Companies)

  • 김현진;김한수
    • 한국건설관리학회논문집
    • /
    • 제22권6호
    • /
    • pp.24-33
    • /
    • 2021
  • 사업비관리는 발주자를 위한 CM사의 주요 업무이며, 견적은 사업비관리를 위한 비용의 기준점을 설정하고 의사결정의 기초를 마련해주는 중요한 업무이다. 이를 위해 CM사는 양질의 데이터를 확보 및 활용하여 견적을 더욱 정확하고 효율적으로 수행하는 것이 필요하다. 건설산업에서 빅데이터 활용의 중요성이 증가함에 따라 관련 연구 또한 활발하게 이루어지고 있지만, CM사 견적업무를 위한 빅데이터 활용 현황을 진단한 관련 연구는 아직 미흡한 것으로 나타나고 있다. 본 연구의 목적은 CM사 견적업무의 빅데이터 활용 현황에 대한 진단을 통해 주요 특징과 시사점을 도출하는 데 있으며, 이는 견적업무를 위한 CM사의 빅데이터 활용 전략 수립에 유용하게 참고될 수 있다.

빅데이터 기반 스마트 항만 운용시스템 (The Smart Port Management System Based on Big-data)

  • 이우;김상현;오승홍;김원중
    • 한국전자통신학회논문지
    • /
    • 제17권1호
    • /
    • pp.167-172
    • /
    • 2022
  • 현재 광양항을 비롯한 수출입 항만에서 선박의 관제, 예선, 도선 작업은 선사와 상관없이 입출항 순서 등과 같은 요소에 따라 공동 배선제로 운영되고 있다. 또한, 이것마저도 수작업에 의해서 매우 비효율적으로 이루어 지고 있다. 따라서 선박의 접·이안 등에 대한 업무의 표준화와 디지털화를 통하여 항만 및 선박 운용의 효율성을 높이기 위한 시스템의 개발이 절실히 요청되고 있다. 본 연구에서는 선박의 위치정보, 도예선 스케쥴, 입출항 운영정보, 기상정보 등과 같은 빅데이터에 기반한 스마트 항만 운용시스템을 설계하여 항만 및 선박 운용의 효율성을 높이는 방안을 제시하였다.

Range Segmentation of Dynamic Offloading (RSDO) Algorithm by Correlation for Edge Computing

  • Kang, Jieun;Kim, Svetlana;Kim, Jae-Ho;Sung, Nak-Myoung;Yoon, Yong-Ik
    • Journal of Information Processing Systems
    • /
    • 제17권5호
    • /
    • pp.905-917
    • /
    • 2021
  • In recent years, edge computing technology consists of several Internet of Things (IoT) devices with embedded sensors that have improved significantly for monitoring, detection, and management in an environment where big data is commercialized. The main focus of edge computing is data optimization or task offloading due to data and task-intensive application development. However, existing offloading approaches do not consider correlations and associations between data and tasks involving edge computing. The extent of collaborative offloading segmented without considering the interaction between data and task can lead to data loss and delays when moving from edge to edge. This article proposes a range segmentation of dynamic offloading (RSDO) algorithm that isolates the offload range and collaborative edge node around the edge node function to address the offloading issue.The RSDO algorithm groups highly correlated data and tasks according to the cause of the overload and dynamically distributes offloading ranges according to the state of cooperating nodes. The segmentation improves the overall performance of edge nodes, balances edge computing, and solves data loss and average latency.

Ergonomic Problems and Their Improving Measures in Office Environment of General Hospitals

  • Kee, Dohyung
    • 대한인간공학회지
    • /
    • 제34권2호
    • /
    • pp.135-143
    • /
    • 2015
  • Objective: The purposes of this study are to investigate ergonomic problems and to propose their improving measures in office environment of big general hospitals. Background: Office tasks have varying risk factors of work-related musculoskeletal disorders (WMSDs). The first symptom resulted from the office work was recognized as an occupational disease in Korea in 1986. Although the symptoms have increased since its first recognition, there has been few study on the effect of office work environment settings. Method: First, the author took pictures of working scenes performed in three big university hospitals. Next, the pictures were analyzed in view point of ergonomics. Based on the analysis, their improving measures were proposed for reducing work stress. Results: The results showed that most physical office environment settings such as dimensions of tables/desks and chairs, leg room, thigh, knee and foot clearances, and chairs used did not satisfy the ergonomically recommended design guidelines. In addition, some clerks placed personal belongings under their desks, put monitors in high position and did not lean against the backrest of chairs in seated tasks, which resulted in poor working postures of leg, back, neck etc. It is recommended that the hospital management should provide their clerks with ergonomically designed office furniture and continuously perform ergonomics training program for raising clerks' recognition for office ergonomics. Conclusion: Most office environment settings investigated in this study were not in good condition in view point of ergonomic design for the settings. Application: It would be useful as basic data for establishing ergonomically good office environment in hospitals.

빅 데이터를 이용한 음식방송의 효과 확인: 이중차이분석을 적용하여 (Investigating the Influence of a Food-themed TV Program on Delivery Food Order Amount Using Big Data with Difference-in-Differences Method)

  • 박지혜;박재홍
    • 경영정보학연구
    • /
    • 제18권1호
    • /
    • pp.25-39
    • /
    • 2016
  • 본 연구의 목적은 데이터 분석에 익숙하지 않은 일반인도 공개된 빅 데이터를 사용하여 복잡한 프로그래밍 없이 비교적 쉽게 빅 데이터를 활용할 수 있도록 참고할 수 있는 분석 사례를 제시하는 것이다. 이를 위해 본 연구에서는 SKT Data Hub에서 공개한 '배달 업종 이용 현황 분석' 데이터를 이용하여, 음식을 주제로 한 방송이 실제로 배달음식 주문량에 긍정적인 영향을 미치는지를 이중차이(DID: Difference In Differences) 방법을 적용한 다중 회귀분석을 통해 확인하였다. 분석결과, 배달음식을 주제로 한 TV 프로그램의 5개 회 차 중 4개 회 차의 방영 후 배달음식의 주문량이 유의하게 증가한 것으로 나타났다. 본 연구의 결과는 음식을 주제로 한 방송으로 인해, 해당 방송이 진행된 점포 뿐아니라 해당 점포와 같은 음식 업종 전반에서 긍정적인 영향을 받을 수 있다는 가능성을 확인했다는 점에서 학문적 의의가 있다. 또한 공개된 빅 데이터를 이용하여 일반에서 쉽게 활용하고 분석할 수 있도록 참고사례를 제공했다는 점에서 실무적 의의를 갖는다.

증기발생기 수실 노즐댐 설치 및 제거작업의 피폭선량 저감에 영향을 주는 관리요인에 관한 연구 (Managerial Factors Influencing Dose Reduction of the Nozzle Dam Installation and Removal Tasks Inside a Steam Generator Water Chamber)

  • 이동하
    • 대한인간공학회지
    • /
    • 제36권5호
    • /
    • pp.559-568
    • /
    • 2017
  • Objective: The aim of this study is to investigate the effective managerial factors influencing dose reduction of the nozzle dam installation and removal tasks ranking within top 3 in viewpoint of average collective dose of nuclear power plant maintenance job. Background: International Commission on Radiation Protection (ICRP) recommended to reduce unnecessary dose and to minimize the necessary dose on the participants of maintenance job in radiation fields. Method: Seven sessions of nozzle dam installation and removal task logs yielded a multiple regression model with collective dose as a dependent variable and work time, number of participants, space doses before and after shield as independent variables. From the sessions in which a significant reduction in collective dose occurred, the effective managerial factors were elicited. Results: Work time was the most important factor contributing to collective dose reduction of nozzle dam installation and removal task. Introduction of new technology in nozzle dam design or maintenance job is the most important factor for work time reduction. Conclusion: With extended task logs and big data processing technique, the more accurate prediction model illustrating the relationship between collective dose reduction and effective managerial factors would be developed. Application: The effective managerial factors will be useful to reduce collective dose of decommissioning tasks as well as regular preventive maintenance tasks for a nuclear power plant.