• 제목/요약/키워드: 비정형데이터

검색결과 589건 처리시간 0.029초

IIoT 미들웨어 플랫폼을 활용한 연속 제조공정의 환경센서 빅데이터 정제시스템 (Big Data Refining System for Environmental Sensor of Continuous Manufacturing Process using IIoT Middleware Platform)

  • 윤여진;김태형;이준희;김영곤
    • 한국인터넷방송통신학회논문지
    • /
    • 제18권4호
    • /
    • pp.219-226
    • /
    • 2018
  • 산업용 사물인터넷(IIoT:Industrial Internet of Thing)은 기존의 공정의 자동화란 범주를 넘어 모든 제조공정을 정보화 하는 것을 의미한다. 또한 각 공정에 설치된 센서로 부터 수집되는 데이터를 토대로 정보화 시스템을 구축하여 각 공정을 실시간으로 관리하고 자동화하여 최적의 생산성을 유지하는데 그 목적을 두고 있다. 각 공정의 센서로 부터 수집되는 데이터는 비정형성을 띄고 있으며 이러한 비정형데이터를 효과적으로 수집하고 처리하기 위해 많은 연구가 이루어지고 있다. 본 논문에서는 효과적인 빅데이터 수집 및 처리를 위하여 미들웨어로 Node-RED를 사용한 시스템을 제안하였다.

스마트제조를 위한 머신러닝 기반의 설비 오류 발생 패턴 도출 프레임워크 (A Machine Learning Based Facility Error Pattern Extraction Framework for Smart Manufacturing)

  • 윤준서;안현태;최예림
    • 한국전자거래학회지
    • /
    • 제23권2호
    • /
    • pp.97-110
    • /
    • 2018
  • 4차 산업혁명 시대를 맞아, 제조 기업들은 생산성 향상을 위해 축적된 설비 데이터를 활용하여 스마트제조를 실현하는 것에 높은 관심을 두고 있다. 하지만 기존의 설비 데이터 분석 연구들은 주로 센서 데이터 등 정형 데이터를 대상으로 하여, 실제 큰 비중을 차지하고 있는 텍스트와 같은 비정형 데이터에 대한 분석 연구는 부족한 실정이다. 특히, 작업자가 수기로 작성한 텍스트 데이터를 활용한 사례는 매우 적었다. 따라서 본 논문에서는 작업자가 수기로 작성한 설비 오류 데이터를 분석하여 연관 규칙 마이닝을 통해 설비 오류 발생 패턴을 도출하는 프레임워크를 제안하고자 한다. 이때, 일반적인 텍스트 분석 기법과 같이 단어를 분석 기준으로 사용하는 경우 전문 용어에 해당하는 설비 오류의 의미를 표현하는 데에 한계가 있다는 점에 착안하여 구절을 추출하여 텍스트 분석 기준으로 사용하였다. 제안하는 프레임워크의 성능을 실제 사례를 통해 검증하였으며, 본 연구 결과를 활용하면 설비 오류를 예방하여 가동률을 높이고 나아가 제조 기업의 생산성 향상에 기여할 수 있을 것으로 기대한다.

소비자 분석을 위한 감성사전 모델링 (Sentiment lexicon modeling for consumer analysis)

  • 이재웅;윤현노;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.850-853
    • /
    • 2017
  • 본 논문은, 크롤링을 통해 얻은 비정형 데이터를 'Python'의 'KoNLPy' 라이브러리를 사용해 형태소 분석한 후 텍스트 마이닝을 통한 감성사전 구축을 목표로 하고 있으며, 형태소들의 빈도수를 기반으로 가중치로 두어 선별된 단어들을 이용해 긍정과 부정으로 나누어 카테고리화 한다. 이후, 선별한 카테고리에 단어의 극성을 판단하여 감성사전을 모델링한다. 실험을 위하여, 온라인 쇼핑몰 리뷰를 크롤링하여 비정형 데이터를 수집하고, 수집한 데이터를 분석, 가공 과정을 거쳐 정형화된 단어를 추출한다. 그 후에, 리뷰에 자주 사용되는 단어를 바탕으로 카테고리를 구성하였다. 구성된 카테고리 별로 단어의 극성을 판단하여 소비자 성향을 분석한 결과, 단순히 긍정과 부정을 표현하는 범용 감성사전보다 더 세분화된 감성 사전을 구축 할 수 있었다.

비정형 데이터 분석을 통한 재난예방체계 발전방안 (A Plan of Developing the Disaster Preparedness System through Text Analysis)

  • 최선화;최우정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.13-15
    • /
    • 2012
  • 최근 모바일 인터넷과 소셜미디어 등장으로 데이터가 폭발적으로 증가하고 있으며, 이를 활용하여 정치 사회 경제 등 제반 이슈와 연계된 분석 예측의 중요성이 날로 증가하고 있다. 특히 모바일 기기의 이동성 위치기반 실시간 등의 특징은 재난안전 관리에 유용한 수단이 되고 있으며, 재난발생시 비상정보 획득 및 공유의 매체로 활용되고 있다. 본 논문은 인터넷에 존재하는 재난관련 언론보도, 민원, 제보 등의 비정형 데이터를 분석하여 재난전조(前兆)를 사전에 파악하고 위험요소를 제거하는 체계에 대해 소개하고 이 체계를 효과적으로 운영하기 위해 도입되어야 할 정보기술과 발전방안을 제안한다.

의료이미지 데이터의 동적 분석을 위한 패턴 정형화 기술 (Pattern Formalization Technique for Dynamic Analysis of the Medical Image Data)

  • 고광만
    • 디지털콘텐츠학회 논문지
    • /
    • 제17권3호
    • /
    • pp.197-202
    • /
    • 2016
  • 이 논문에서는 비정형 의료이미지 정형화 및 패턴 추출을 위해, 의료기기 또는 의료전문가로부터 생성 또는 감지되는 의료이미지 저장을 위한 데이터베이스 구축한다. 이러한 비정형 이미지의 특징을 정형화된 디지털 데이터로 변환한 후 정형화된 디지털 이미지 데이터로부터 의미있는 패턴 정보를 생성한다. 이러한 경험 기술 소개를 통해 많은 연구자들은 의료이미지 데이터베이스를 보다 쉽게 접근할 수 있고 다양한 분야에서 정형화된 의료이미지를 활용할 수 있다.

모바일게임에 적용 가능한 비정형 Big Data 처리를 위한 Incremental MapReduce (Incremental MapReduce of atypical Big Data Processing in Mobile Game)

  • 박성준;김정웅
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.301-304
    • /
    • 2014
  • 비정형 게임 Big Data에서 고효율 정보를 추출하고, 신뢰 할 수 있는 클러스터 게임서버 환경을 위한 병렬 처리를 위해 MapReduce를 사용한다. 본 논문에서는 빈번하게 입력되는 신규 게임데이터 처리를 위해 함수 Demap을 사용하는 Incremental MapReduce를 적용하여 불필요한 중간 값 저장과 재계산 없이 점차적으로 MapReduce 함수를 실행한다.

감성분석을 위한 병렬적 HDFS와 맵리듀스 함수 (A Parallel HDFS and MapReduce Functions for Emotion Analysis)

  • 백봉현;류윤규
    • 한국정보컨버전스학회논문지
    • /
    • 제7권2호
    • /
    • pp.49-57
    • /
    • 2014
  • 최근 대량의 SNS(Social Network Service) 데이터로부터 유용한 정보를 추출하고 사용자의 진의 정보를 평가하기 위한 오피니언 마이닝(opinion mning)이 소개되고 있다. 오피니언 마이닝은 대량의 SNS 데이터로부터 빠른 기간 내에 데이터를 수집하고 분석하여 목적에 적합한 정보를 추출하는 효율적인 기법이 필요하다. SNS에서 발생되는 다양한 비정형 데이터로부터 감성정보를 추출하기 위해, 본 논문에서는 하둡(Hadoop) 시스템 기반의 병렬적 HDFS(Hadoop Distributed File System)와 맵리듀스(MapReduce) 기반 감성분석 함수를 제안한다. 실험결과로 제안한 시스템과 함수는 데이터 수집과 적재시간에 대해 O(n)보다 빠르게 처리하며, 메모리와 CPU 자원에 대해 안정적인 부하분산이 이루어지는 것을 확인하였다.

  • PDF