• 제목/요약/키워드: big data tasks

검색결과 96건 처리시간 0.028초

파이썬 활용한 데이터 처리 성능 향상방법 제안 (Proposal For Improving Data Processing Performance Using Python)

  • 김효관;황원용
    • 한국정보전자통신기술학회논문지
    • /
    • 제13권4호
    • /
    • pp.306-311
    • /
    • 2020
  • 본 논문은 대량의 데이터를 활용한 모델 개발 시 다양한 라이브러리를 갖춘 파이썬 언의의 성능 향상방법을 다룬다. 파이썬 언어는 엑셀과 같은 스프레드시트 형태 데이터 처리 시 Pandas 라이브러리를 사용한다. 데이터 처리 시파이썬은 기가단위 이하 데이터 처리 시에는 인-메모리로 연산하여 성능 측면에서 크게 이슈가 없다. 하지만 기가단위 이상 데이터 처리 시 성능 이슈가 발생한다. 이에 본 논문은 데이터 처리 시 Pandas와 같이 사용할 수 있는 Dask 라이브러리를 활용하여 단일 클러스터 및 다중 클러스터에서 실행 작업을 분산처리 가능한 방법을 소개한다. 실험은 동일 사양의 하드웨어에서 간단한 지수산출 모델을 Pandas만 사용해서 처리하는 속도와 Dask를 같이 사용해서 처리하는 속도를 비교한다. 본 논문은 파이썬의 장점인 다양한 라이브러리를 쉽게 사용할 수 있다는 점을 유지하면서 성능측면에서도 대량의 데이터를 CPU 코어들이 분산 처리하여 모델을 개발할 수 있는 방법을 제시한다.

3D 시각화를 이용한 조선시대 시문 분석 (The Analysis of Chosun Danasty Poetry Using 3D Data Visualization)

  • 민경주;이병찬
    • 한국정보통신학회논문지
    • /
    • 제25권7호
    • /
    • pp.861-868
    • /
    • 2021
  • 빅데이터를 시각화하기 위한 기술이 발전하여 많은 데이터를 직관적으로 분석, 오류검출, 의미 도출 등의 작업이 활발히 진행되고 있다. 본 논문에서는 한국고전번역원의 한국고전종합DB에서 제공하는 한자로 된 문집데이터를 수집하여 데이터를 저장, 가공하여 3D 네트워크 다이어그램으로 문집 정보를 시각화하는 3D 분석의 설계와 구현에 대해 기술한다. 많은 양의 데이터를 2D로 표현했을 때의 문제를 해결하고, 직관적인 데이터 분석, 오류 검출, 특성이나 유사도와 같은 유의미한 데이터 추출이 가능하고, 사용자 편의성을 제공할 수 있다. 본 논문은 선행연구에서 진행한 2D 시각화로 한자로 된 조선시대 시문을 분석했을 때의 문제점을 개선하였다.

웹 애플리케이션 기반의 텍스트 데이터 분석 모델 (Text Data Analysis Model Based on Web Application)

  • 진고환
    • 한국콘텐츠학회논문지
    • /
    • 제21권11호
    • /
    • pp.785-792
    • /
    • 2021
  • 4차 산업혁명 이후 인공지능, 빅 데이터와 같은 기술들의 발전으로 사회 전반에 다양한 변화가 일어나고 있으며, 핵심적인 기술 적용 과정에서 수집할 수 있는 데이터의 양도 급속하게 증가하고 있는 추세이다. 특히 학계에서는 연구 동향을 파악하기 위하여 기존에 생성된 문헌 데이터에 대한 분석이 이루어지고 있으며, 이러한 문헌 분석은 연구의 흐름을 정리하고, 어떤 연구 방법론이나 주제, 또는 현재 학계에서 화두가 되고 있는 대상에 대한 파악을 통하여 향후 연구 방향 설정에 많은 기여를 하고 있는 상황이다. 그러나 문서 데이터의 분석을 위하여 데이터 수집이 필요하나, 일반적으로 프로그램에 대한 전문 지식이 없는 경우 접근하기 어렵다. 본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 제안 모델을 통하여 데이터 분석 기법에 대한 전문적인 지식이 부족하더라도, 연구 논문의 수집, 저장, 텍스트 분석과 같은 다양한 작업을 진행할 수 있으며, 연구자들이 선행 연구 분석과 연구 동향을 파악하기 위하여 데이터 분석에 투입되는 시간 및 노력을 단축시킬 수 있을 것으로 기대된다.

지능정보사회에서의 청소년 활동정책 개선방안: 프로그램, 설비·시설, 지도자를 중심으로 (The improvement measures for youth activity policies in the intelligent information society: focusing on programs, equipment and facility operation and leaders)

  • 이경상;이창호;김민
    • 정보화정책
    • /
    • 제26권4호
    • /
    • pp.62-84
    • /
    • 2019
  • 이 연구에서는 지능정보사회에 적합한 청소년 역량함양을 위해 청소년 활동시설의 프로그램, 설비·시설, 지도자에 변화를 가져올 수 있는 청소년 활동정책의 개선방안을 제시하고자 하였다. 이를 위해, 지능정보사회에서의 사회변화 전망에 따른 청소년 활동정책의 변화방향에 대한 문헌연구, 청소년 활동시설의 대응실태 파악 및 활동정책의 발전방안 모색을 위한 온라인 설문조사와 전문가 의견조사를 실시하였다. 이를 바탕으로 다음과 같은 17개 정책과제들을 제시하였다. 먼저 프로그램분야에는 1) 지능정보기술 관련 프로그램의 확대, 2) 진로체험교육프로그램에서 진로탄력성관련 내용의 강화, 3) 스팀·메이커관련 프로그램의 체계적 도입 및 확산 등 9개 과제를 제시하였다. 다음으로 설비·시설분야에는 1) 지능정보기술 관련 외부기관과의 협력네트워크 강화, 2) 활동프로그램 개발·개선·운영에서 AR·VR 기술의 적용 확대, 3) 청소년활동 분야의 빅데이터 구축 등 5개 과제를 제시하였다. 마지막으로, 지도자분야에는 1) 활동시설 지도자 대상 지능정보사회관련 정보제공 확대, 2) 청소년 지도자 대상 지능정보사회관련 직무모형 개발 및 직무연수 실시 등 3개 과제를 제시하였다.

중소제조기업을 위한 IoT기반의 자율이동모듈을 활용한 스마트 창고관리 시스템 개발 (Smart Warehouse Management System Utilizing IoT-based Autonomous Mobile Robot for SME Manufacturing Factory)

  • 김정아;정종필
    • 한국인터넷방송통신학회논문지
    • /
    • 제18권5호
    • /
    • pp.237-244
    • /
    • 2018
  • 중소기업 제조공장의 스마트팩토리 수준이 현재에는 기초 수준으로 창고를 관리하기 위해 재고 입출입에 따른 정확한 재고량을 파악하는 시스템이 부족하다. 또한 근로자 수작업과 경험에 의한 생산방식으로 데이터 손실로 정확한 자재를 관리하기 어려운 상황이다. 이를 해결하기 위해 근로자의 재고 파악을 위한 수작업을 최소화하며 자동화를 향상시키기 위해 재고량 자동 수집을 진행한다. 본 논문에서는 IoT기반의 자율이동모듈을 이용한 스마트 창고관리 시스템으로 자율이동모듈이 창고를 이동하면서 재고 보관함의 데이터를 수집한다. 이는 해당 보관함의 자재들 파악하기 위해 카메라 모듈이 비전처리 방식 통해 재고보관함의 네임텍을 인지한다. 인지한 문자화 처리 결과가 일치할 때 센서에 의해 측정된 데이터가 서버로 전달되고 데이터를 처리하여 데이터베이스에 저장한다. 저장된 데이터는 관리자용 웹 기반 모니터링 환경에서 실시간 재고량을 파악할 수 있다. 이를 통해 수작업을 줄이고 자동화된 재고관리시스템의 효과를 기대한다.

An Efficient Damage Information Extraction from Government Disaster Reports

  • Shin, Sungho;Hong, Seungkyun;Song, Sa-Kwang
    • 인터넷정보학회논문지
    • /
    • 제18권6호
    • /
    • pp.55-63
    • /
    • 2017
  • One of the purposes of Information Technology (IT) is to support human response to natural and social problems such as natural disasters and spread of disease, and to improve the quality of human life. Recent climate change has happened worldwide, natural disasters threaten the quality of life, and human safety is no longer guaranteed. IT must be able to support tasks related to disaster response, and more importantly, it should be used to predict and minimize future damage. In South Korea, the data related to the damage is checked out by each local government and then federal government aggregates it. This data is included in disaster reports that the federal government discloses by disaster case, but it is difficult to obtain raw data of the damage even for research purposes. In order to obtain data, information extraction may be applied to disaster reports. In the field of information extraction, most of the extraction targets are web documents, commercial reports, SNS text, and so on. There is little research on information extraction for government disaster reports. They are mostly text, but the structure of each sentence is very different from that of news articles and commercial reports. The features of the government disaster report should be carefully considered. In this paper, information extraction method for South Korea government reports in the word format is presented. This method is based on patterns and dictionaries and provides some additional ideas for tokenizing the damage representation of the text. The experiment result is F1 score of 80.2 on the test set. This is close to cutting-edge information extraction performance before applying the recent deep learning algorithms.

디지털트윈에서 공간정보 역할에 관한 연구 (A Study on Geospatial Information Role in Digital Twin)

  • 이인수
    • 한국산학기술학회논문지
    • /
    • 제22권3호
    • /
    • pp.268-278
    • /
    • 2021
  • 사물인터넷(IoT), 빅데이터(Big data), 인공지능(AI), 사이버물리시스템(CPS) 등 4차 산업혁명을 견인하는 기술들이 발전/보편화되고 있다. 이 기술들을 응용하여 다양한 산업 현장에서 생산성, 경제성, 안전성 등을 향상하고자 하는 요구가 확산되고 있다. 디지털트윈은 이러한 요구를 충족시키기 위한 중요한 기술 트렌드로서, 그리고 한국판 뉴딜의 10 대 과제 중 하나로 주목 받고 있다. 본 연구에서 구글 웹 검색기를 사용하여 논문, 매거진, 보고서, 기타 문헌을 탐색하였다. 디지털트윈 응용분야에서 공간정보의 기여 내용(또는 역할)을 조사하기 위해 디지털트윈의 정의·국내외 기업별 기술동향, 제조업·플랜트·스마트시티에서 요구되는 디지털트윈의 구성 요소와 디지털트윈 구동을 위한 핵심기술을 조사하였다. 그리고 공간 관련 키워드인 Geospatial Information, Geospatial data, Location, Map, Geodata와 디지털 트윈 간 연계 문장이나 낱말을 탐색하여 공간정보의 기여내용을 정리하였다. 조사 결과, 공간정보는 단순히 사물-사물-사람-프로세스-데이터-제품을 연결하는 매개체로서의 역할 제공뿐만 아니라 신뢰성 높은 의사결정지원·연계융합·위치정보제공·프레임워크 등의 역할을 수행함으로 디지털트윈의 활용 가치 극대화에 기여할 수 있을 것으로 나타났다.

Improved Deep Residual Network for Apple Leaf Disease Identification

  • Zhou, Changjian;Xing, Jinge
    • Journal of Information Processing Systems
    • /
    • 제17권6호
    • /
    • pp.1115-1126
    • /
    • 2021
  • Plant disease is one of the most irritating problems for agriculture growers. Thus, timely detection of plant diseases is of high importance to practical value, and corresponding measures can be taken at the early stage of plant diseases. Therefore, numerous researchers have made unremitting efforts in plant disease identification. However, this problem was not solved effectively until the development of artificial intelligence and big data technologies, especially the wide application of deep learning models in different fields. Since the symptoms of plant diseases mainly appear visually on leaves, computer vision and machine learning technologies are effective and rapid methods for identifying various kinds of plant diseases. As one of the fruits with the highest nutritional value, apple production directly affects the quality of life, and it is important to prevent disease intrusion in advance for yield and taste. In this study, an improved deep residual network is proposed for apple leaf disease identification in a novel way, a global residual connection is added to the original residual network, and the local residual connection architecture is optimized. Including that 1,977 apple leaf disease images with three categories that are collected in this study, experimental results show that the proposed method has achieved 98.74% top-1 accuracy on the test set, outperforming the existing state-of-the-art models in apple leaf disease identification tasks, and proving the effectiveness of the proposed method.

Strategy to coordinate actions through a plant parameter prediction model during startup operation of a nuclear power plant

  • Jae Min Kim;Junyong Bae;Seung Jun Lee
    • Nuclear Engineering and Technology
    • /
    • 제55권3호
    • /
    • pp.839-849
    • /
    • 2023
  • The development of automation technology to reduce human error by minimizing human intervention is accelerating with artificial intelligence and big data processing technology, even in the nuclear field. Among nuclear power plant operation modes, the startup and shutdown operations are still performed manually and thus have the potential for human error. As part of the development of an autonomous operation system for startup operation, this paper proposes an action coordinating strategy to obtain the optimal actions. The lower level of the system consists of operating blocks that are created by analyzing the operation tasks to achieve local goals through soft actor-critic algorithms. However, when multiple agents try to perform conflicting actions, a method is needed to coordinate them, and for this, an action coordination strategy was developed in this work as the upper level of the system. Three quantification methods were compared and evaluated based on the future plant state predicted by plant parameter prediction models using long short-term memory networks. Results confirmed that the optimal action to satisfy the limiting conditions for operation can be selected by coordinating the action sets. It is expected that this methodology can be generalized through future research.

메타버스 기술과 보안 위협 및 대응방안 (Metaverse Technology and Security Threats and Countermeasures)

  • 우성희;이효정
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.328-330
    • /
    • 2022
  • 현재 다양한 분야에서 메타버스를 도입하고, 콘텐츠 또는 아이템 등의 거래에 NFT를 사용하는 가상융합경제가 등장하여 '메타버스 환경'으로 발전할 것으로 전망하고 있다. '메타버스 환경'은 앞으로 우리사회의 변화를 주도할 것이며 AI, 빅데이터, 클라우드, IoT, 블록체인, 차세대 네트워크 기술과 융합될 것이다. 하지만 메타버스 이용자가 서비스 이용을 위해 제공하는 개인정보, 기기정보, 행위정보는 주요 공격대상 된다. 따라서 사용자의 안전한 이용 환경 제공과 관련 기업의 비즈니스 기반 확대를 위하여 민·관 협력체계 구축 및 보안 가이드 개발이 선두과제이다. 따라서 본 연구에서는 메타버스 특징과 기술을 비교분석하며 이에 발생할 수 있는 보안 위협과 대응방안을 살펴본다.

  • PDF