• 제목/요약/키워드: Analysis of Unstructured Data

검색결과 428건 처리시간 0.025초

실시간 비정형객체 인식 기법 기반 지능형 이상 탐지 시스템에 관한 연구 (Research on Intelligent Anomaly Detection System Based on Real-Time Unstructured Object Recognition Technique)

  • 이석창;김영현;강수경;박명혜
    • 한국멀티미디어학회논문지
    • /
    • 제25권3호
    • /
    • pp.546-557
    • /
    • 2022
  • Recently, the demand to interpret image data with artificial intelligence in various fields is rapidly increasing. Object recognition and detection techniques using deep learning are mainly used, and video integration analysis to determine unstructured object recognition is a particularly important problem. In the case of natural disasters or social disasters, there is a limit to the object recognition structure alone because it has an unstructured shape. In this paper, we propose intelligent video integration analysis system that can recognize unstructured objects based on video turning point and object detection. We also introduce a method to apply and evaluate object recognition using virtual augmented images from 2D to 3D through GAN.

비정형, 정형 데이터의 이미지 학습을 활용한 시장예측 (MPIL: Market prediction through image learning of unstructured and structured data)

  • 이윤선;이주홍;최범기;송재원
    • 스마트미디어저널
    • /
    • 제10권2호
    • /
    • pp.16-21
    • /
    • 2021
  • 금융 시계열 분석은 현대 사회의 경제적, 사회적으로 매우 중요한 역할을 하며 세계 발전에 영향을 미치는 중요한 과제지만 많은 잡음(noise)과 불확실성 등의 어려움으로 인해 금융 시계열 분석 예측은 어려운 연구 주제이다. 본 논문에서는 비정형 데이터와 정형 데이터를 함께 이미지로 변환하여 시장을 예측 하는 방법(MPIL)을 제안한다. 시장 예측을 위해 n일 기간의 비정형 데이터인 SNS, 뉴스 데이터를 감정분석하고 정형 데이터인 시장 데이터를 GADF 알고리즘으로 이미지 변환하고 이미지 학습을 통해 n+1일의 가격을 예측하는 초단기 시장을 예측한다. MPIL은 평균 정확도 56%로 기존 시장예측에 사용되던 감정분석을 활용하여 LSTM으로 시장을 예측하는 모델 평균 정확도 50%보다 높은 정확도를 보였다.

News Article Based Industry Risk Index Prediction for Industry-Specific Evaluation

  • Kyungwon Kim;Kyoungro Yoon
    • Journal of Web Engineering
    • /
    • 제20권3호
    • /
    • pp.795-816
    • /
    • 2021
  • The existing industry evaluation method utilizes the method of collecting the structured information such as the financial information of the companies included in the relevant industry and deriving the industrial evaluation index through the statistical analysis model. This method takes a long time to calculate the structured data and cause the time delay problem. In this paper, to solve this time delay problem, we derive monthly industry-specific interest and likability as a time series data type, which is a new industry evaluation indicator based on unstructured data. In addition, we propose a method to predict the industrial risk index, which is used as an important factor in industrial evaluation, based on derived industry-specific interest and likability time series data.

LSTM 기법을 활용한 수위 예측 알고리즘 개발 시 비정형자료의 역할에 관한 연구: 잠수교 사례 (Role of unstructured data on water surface elevation prediction with LSTM: case study on Jamsu Bridge, Korea)

  • 이승연;유형주;이승오
    • 한국수자원학회논문집
    • /
    • 제54권spc1호
    • /
    • pp.1195-1204
    • /
    • 2021
  • 최근 이상기후로 인한 국지성호우가 잦아져 하천변 사회기반시설을 포함한 인적·물적 피해가 급증하고 있다. 본 연구에서는 해당 시설들의 침수 피해를 예측·방지하고자 기계학습 중 시계열자료에 특화된 LSTM(Long Short- term Memory)기법을 활용하여 수위 예측 알고리즘을 개발하였다. 연구대상지는 잠수교로 연구기간은 총 6년(2015년~2020년)의 6, 7, 8월로 3시간 후의 잠수교 수위를 예측하였다. 입력자료(Input data)는 잠수교 수위(EL.m), 팔당댐 방류량(m3/s), 강화대교 조위(cm), 서울시 트윗의 개수로 기존 연구에 주로 사용된 정형자료뿐만 아니라 워드클라우드를 통해 구축된 비정형자료도 함께 사용하여 상호 보완형 자료를 구축하고, 비정형자료 활용 유무의 비교·분석을 통해 비정형자료의 역할도 제시하였다. 잠수교의 수위 예측 시 상호 보완형의 자료가 정형자료만을 사용한 경우에 비해 예측 정확도가 향상하였는 데, 이는 인명 피해를 감소시킬 수 있는 보수적인 예/경보가 가능함을 알 수 있었다. 본 연구에서는 하천변 사회기반시설의 이용자 안전 및 편의 제공에 상호 보완형 자료의 사용이 보다 효과적이라 판단하였다. 향후에는 비정형자료의 종류를 추가하거나 입력자료의 세밀한 전처리를 통하여 더욱 정확한 수위 예측을 기대해본다.

텍스트 분석을 활용한 국가 현안 대응 R&D 정보 패키징 방법론 (Methodology Using Text Analysis for Packaging R&D Information Services on Pending National Issues)

  • 현윤진;한희준;최희석;박준형;이규하;곽기영;김남규
    • Journal of Information Technology Applications and Management
    • /
    • 제20권3_spc호
    • /
    • pp.231-257
    • /
    • 2013
  • The recent rise in the unstructured data generated by social media has resulted in an increasing need to collect, store, search, analyze, and visualize it. These data cannot be managed effectively by using traditional data analysis methodologies because of their vast volume and unstructured nature. Therefore, many attempts are being made to analyze these unstructured data (e.g., text files and log files) by using commercial and noncommercial analytical tools. Especially, the attempt to discover meaningful knowledge by using text mining is being made in business and other areas such as politics, economics, and cultural studies. For instance, several studies have examined pending national issues by analyzing large volumes of texts on various social issues. However, it is difficult to create satisfactory information services that can identify R&D documents on specific national issues from among the various R&D resources. In other words, although users specify some words related to pending national issues as search keywords, they usually fail to retrieve the R&D information they are looking for. This is usually because of the discrepancy between the terms defining pending national issues and the corresponding terms used in R&D documents. We need a mediating logic to overcome this discrep 'ancy so that we can identify and package appropriate R&D information on specific pending national issues. In this paper, we use association analysis and social network analysis to devise a mediator for bridging the gap between the keywords defining pending national issues and those used in R&D documents. Further, we propose a methodology for packaging R&D information services for pending national issues by using the devised mediator. Finally, in order to evaluate the practical applicability of the proposed methodology, we apply it to the NTIS(National Science & Technology Information Service) system, and summarize the results in the case study section.

한국도로공사 VOC 데이터를 이용한 토픽 모형 적용 방안 (Application of a Topic Model on the Korea Expressway Corporation's VOC Data)

  • 김지원;박상민;박성호;정하림;윤일수
    • 한국IT서비스학회지
    • /
    • 제19권6호
    • /
    • pp.1-13
    • /
    • 2020
  • Recently, 80% of big data consists of unstructured text data. In particular, various types of documents are stored in the form of large-scale unstructured documents through social network services (SNS), blogs, news, etc., and the importance of unstructured data is highlighted. As the possibility of using unstructured data increases, various analysis techniques such as text mining have recently appeared. Therefore, in this study, topic modeling technique was applied to the Korea Highway Corporation's voice of customer (VOC) data that includes customer opinions and complaints. Currently, VOC data is divided into the business areas of Korea Expressway Corporation. However, the classified categories are often not accurate, and the ambiguous ones are classified as "other". Therefore, in order to use VOC data for efficient service improvement and the like, a more systematic and efficient classification method of VOC data is required. To this end, this study proposed two approaches, including method using only the latent dirichlet allocation (LDA), the most representative topic modeling technique, and a new method combining the LDA and the word embedding technique, Word2vec. As a result, it was confirmed that the categories of VOC data are relatively well classified when using the new method. Through these results, it is judged that it will be possible to derive the implications of the Korea Expressway Corporation and utilize it for service improvement.

기업의 빅데이터 적용방안 연구 -A사, Y사 빅데이터 시스템 적용 사례- (Study on the Application Methods of Big Data at a Corporation -Cases of A and Y corporation Big Data System Projects-)

  • 이재성;홍성찬
    • 인터넷정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.103-112
    • /
    • 2014
  • 지난 수년간 스마트 폰 같은 스마트 기기의 빠른 확산과 함께 인터넷과 SNS 등 소셜 미디어가 급성장함에 따라 개인 정보와 소비패턴, 위치 정보 등이 포함된 가치 있는 데이터가 매 순간 엄청난 양으로 생성되고 있으며, M2M (Machine to Machine)과 IoT (Internet of Things) 등이 활성화되면서 IT 및 생산인프라 자체도 다량의 데이터를 직접 생성하기 시작했다. 본 연구는 기업에서 활용할 수 있는 빅데이터의 대표적 유형인 정형 및 비정형 데이터의 적용사례를 고찰함으로써 데이터 유형에 따른적용 영역별 파급효과를 알아본다. 또한 일반적으로 알려져 있는 비정형 빅데이터는 물론 정형빅데이터를 활용하여 실제로 기업에 보다 나은 가치를 창출할 수 있는 방안을 알아보는 것을 목적으로 한다. 이에 대한연구 결과로 빅데이터의 기업내 활동이 나아갈 수 있는 지향점으로써 내 외부에서 발생하는 정형데이터와 비정형 데이터를 적절히 결합함으로써 분석의 효과를 극대화 할 수 있음을 보여 주었다.

Conflict Analysis in Construction Project with Unstructured Data: A Case Study of Jeju Naval Base Project in South Korea

  • Baek, Seungwon;Han, Seung Heon;Lee, Changjun;Jang, Woosik;Ock, Jong Ho
    • 국제학술발표논문집
    • /
    • The 7th International Conference on Construction Engineering and Project Management Summit Forum on Sustainable Construction and Management
    • /
    • pp.291-296
    • /
    • 2017
  • Infrastructure development as national project suffers from social conflict which is one of main risk to be managed. Social conflicts have a negative impact on not only the social integration but also the national economy as they require enormous social costs to be solved. Against this backdrop, this study analyzes social conflict using articles published by online news media based on web-crawling and natural language processing (NLP) techniques. As an illustrative case, the Jeju Naval Base (JNB) project which is one of representative conflict case in South Korea is analyzed. Total of 21,788 articles and representative keywords are identified annually. Additionally, comparative analysis is conducted between the extracted keywords and actual events occurred during the project. The authors explain actual events in the JNB project based on the extracted words by the year. This study contributes to analyze social conflict and to extract meaningful information from unstructured data.

  • PDF

어깨 근력보조를 위한 엑소수트 설계 (Design of Exo-Suit for Shoulder Muscle Strength Support)

  • 전광우;김태환;김승우;김정준;정현준
    • 로봇학회논문지
    • /
    • 제18권1호
    • /
    • pp.110-116
    • /
    • 2023
  • In this study describes the design of Exo-suit to assist those who work in unstructured positions. The present study aimed to analyze various types of work, especially those performed in unstructured postures by heavy industry workers. Based on the motion capture analysis results, an attempt was made to develop a shoulder muscle-assistive Exo-suit capable of assisting a wearer who is working using shoulder muscles. In the present study, as the first step of developing a shoulder muscle-assistive Exo-suit, different working scenarios were simulated, and the corresponding motion data were estimated using motion capture devices. The obtained motion data were reflected in the design of the Exo-suit. The main structure of the shoulder muscle-assistive Exo-suit was made of a carbon fiber-reinforced composite to obtain the weight reduction. The shoulder muscle assistive Exo-suit was designed to fully cover the range of motion for workers working in unstructured postures.

텍스트 마이닝을 이용한 비대면 소프트웨어 교양과목의 요구사항 분석 (An Analysis for the Student's Needs of non-face-to-face based Software Lecture in General Education using Text Mining)

  • 정화영
    • 한국콘텐츠학회논문지
    • /
    • 제22권3호
    • /
    • pp.105-111
    • /
    • 2022
  • 온라인 수업에 대한 학생들의 니즈 분석은 객관식 설문조사 유형이 주로 수행되어왔다. 그러나 학생들의 정확한 니즈를 분석하기 위해서는 주관식 답변에 의한 비정형 데이터 분석이 요구된다. 빅데이터는 비정형 데이터 분석이 가능하여 다양한 분야에서 활용되고 있다. 본 연구에서는 비대면 온라인 수업방식을 진행되는 교양 소프트웨어 과목에서 학생들이 원하는 과목이나 주제가 무엇인지 조사 및 분석하였다. 실험방법은 학생들에게 주관식 설문조사를 시행하여 얻은 비정형 데이터를 기반으로 빅데이터의 키워드 분석, 연관 분석등을 수행하였다. 이를 통해 학생들이 교양 소프트웨어 과목에서 원하는 키워드가 무엇인지 알 수 있었으며, 이러한 연구 결과는 학생들이 배우고자하는 주제를 파악할 수 있어서 향후 교양 소프트웨어 과목의 기획 및 설계시 중요한 자료가 될 것이다.