• Title/Summary/Keyword: 비정형자료

Search Result 104, Processing Time 0.032 seconds

A Study on the Polarity of Apartment Price News Using Big Data Analysis Method (빅데이터 분석기법을 활용한 아파트 가격 관련 뉴스 기사의 극성 분석)

  • Cho, Sang-Yeon;Hong, Eun-Pyo
    • Journal of Digital Convergence
    • /
    • v.17 no.9
    • /
    • pp.47-54
    • /
    • 2019
  • This study confirms the polarity of news articles on apartment prices using Opinion Mining which has widely been used for a big data analysis. The analyses were carried out utilizing internet news articles posted on the Naver for two years: 2012 and 2018. We proposed a sentiment analysis model and modeled a topic-oriented sentiment dictionary construction methods. As a result of analyzing the proposed sentiment analysis model, it was confirmed that there was a difference according to the tendency of the media companies in selecting social issues at the time of rising apartment prices. At the same time, we were able to find more affirmative articles in the media companies which share similar sentiment with the government in charge. In this paper, we proposed a sentiment analysis model that can be used in real estate field and analyzed the polarity of unformatted data related to real estate. In order to integrate them into various fields in the future, it is necessary to build the sentiment dictionaries by themes, as well as to collect various unformatted data over extended periods.

Development of a method for urban flooding detection using unstructured data and deep learing (비정형 데이터와 딥러닝을 활용한 내수침수 탐지기술 개발)

  • Lee, Haneul;Kim, Hung Soo;Kim, Soojun;Kim, Donghyun;Kim, Jongsung
    • Journal of Korea Water Resources Association
    • /
    • v.54 no.12
    • /
    • pp.1233-1242
    • /
    • 2021
  • In this study, a model was developed to determine whether flooding occurred using image data, which is unstructured data. CNN-based VGG16 and VGG19 were used to develop the flood classification model. In order to develop a model, images of flooded and non-flooded images were collected using web crawling method. Since the data collected using the web crawling method contains noise data, data irrelevant to this study was primarily deleted, and secondly, the image size was changed to 224×224 for model application. In addition, image augmentation was performed by changing the angle of the image for diversity of image. Finally, learning was performed using 2,500 images of flooding and 2,500 images of non-flooding. As a result of model evaluation, the average classification performance of the model was found to be 97%. In the future, if the model developed through the results of this study is mounted on the CCTV control center system, it is judged that the respons against flood damage can be done quickly.

Multidimensional Analysis of Unstructured Data and Trends in Architectural Review Opinions of Small and Medium-Sized Apartment Projects (다차원 분석방법을 활용한 중소규모 공동주택 건축심의 의견의 경향과 비정형 데이터로서의 특성분석)

  • Kim, Jinhee;Hwang, Taeeon;Kim, Jae-Sik;Huh, Youngki
    • Korean Journal of Construction Engineering and Management
    • /
    • v.24 no.6
    • /
    • pp.74-80
    • /
    • 2023
  • This study examines the characteristics of architectural review opinions as unstructured data, focusing on the most challenging risk for developers of small and medium-sized apartment projects in response to the increasing number of single-person households in Korea. Using multidimensional analysis methods, the study analyzes the review opinions of 25 projects in B City. Correspondence analysis and MDS (Multidimensional Scale) analysis show that, consistent with prior research, the keywords related to 'structure' and 'planning' dominate architectural review opinions in B City. While the MDS model's stress is very poor at 34.4%, correspondence analysis reveals that this is due to the characteristics of unstructured data in architectural reviews. In addition, the non-structured data analyzed in this study, such as architectural review opinions, exhibited a probability distribution with low kurtosis and high skewness, as they involved various combinations and occurrences of data depending on the discretion of the review committee members and the specific formats of different local governments. This often led to the emergence of keywords that differed significantly from commonly mentioned terms. Although the study has some limitations, it provides a foundation for future detailed analysis by identifying the characteristics of architectural review opinions as unstructured data.

Comparative Analysis of Low Fertility Response Policies (Focusing on Unstructured Data on Parental Leave and Child Allowance) (저출산 대응 정책 비교분석 (육아휴직과 아동수당의 비정형 데이터 중심으로))

  • Eun-Young Keum;Do-Hee Kim
    • The Journal of the Convergence on Culture Technology
    • /
    • v.9 no.5
    • /
    • pp.769-778
    • /
    • 2023
  • This study compared and analyzed parental leave and child allowance, two major policies among solutions to the current serious low fertility rate problem, using unstructured data, and sought future directions and implications for related response policies based on this. The collection keywords were "low fertility + parental leave" and "low fertility + child allowance", and data analysis was conducted in the following order: text frequency analysis, centrality analysis, network visualization, and CONCOR analysis. As a result of the analysis, first, parental leave was found to be a realistic and practical policy in response to low fertility rates, as data analysis showed more diverse and systematic discussions than child allowance. Second, in terms of child allowance, data analysis showed that there was a high level of information and interest in the cash grant benefit system, including child allowance, but there were no other unique features or active discussions. As a future improvement plan, both policies need to utilize the existing system. First, parental leave requires improvement in the working environment and blind spots in order to expand the system, and second, child allowance requires a change in the form of payment that deviates from the uniform and biased system. should be sought, and it was proposed to expand the target age.

Development of water elevation prediction algorithm using unstructured data : Application to Cheongdam Bridge, Korea (비정형화 데이터를 활용한 수위예측 알고리즘 개발 : 청담대교 적용)

  • Lee, Seung Yeon;Yoo, Hyung Ju;Lee, Seung Oh
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.121-121
    • /
    • 2019
  • 특정 지역에 집중적으로 비가 내리는 현상인 국지성호우가 빈번히 발생함에 따라 하천 주변 사회기반시설의 침수 위험성이 증가하고 있다. 침수 위험성 판단 여부는 주로 수위정보를 이용하며 수위 예측은 대부분 수치모형을 이용한다. 본 연구에서는 빅데이터 기반의 RNN(Recurrent Neural Networks)기법 알고리즘을 활용하여 수위를 예측하였다. 연구대상지는 조위의 영향을 많이 받는 한강 전역을 대상으로 하였다. 2008년~2018년(10개년)의 실제 침수 피해 실적을 조사한 결과 잠수교, 한강대교, 청담대교 등에서 침수 피해 발생률이 높게 나타났고 SNS(Social Network Services)와 같은 비정형화 자료에서는 청담대교가 가장 많이 태그(Tag)되어 청담대교를 연구범위로 설정하였다. 본 연구에서는 Python에서 제공하는 Tensor flow Library를 이용하여 수위예측 알고리즘을 적용하였다. 데이터는 정형화 데이터와 비정형 데이터를 사용하였으며 정형화 데이터는 한강홍수 통제소나 기상청에서 제공하는 최근 10년간의 (2008~2018) 수위 및 강우량 자료를 수집하였다. 비정형화 데이터는 SNS를 이용하여 민간 정보를 수집하여 정형화된 자료와 함께 전체자료를 구축하였다. 민감도 분석을 통하여 모델의 은닉층(5), 학습률(0.02) 및 반복횟수(100)의 최적값을 설정하였고, 24시간 동안의 데이터를 이용하여 3시간 후의 수위를 예측하였다. 2008년~ 2017년 까지의 데이터는 학습 데이터로 사용하였으며 2018년의 수위를 예측 및 평가하였다. 2018년의 관측수위 자료와 비교한 결과 90% 이상의 데이터가 10% 이내의 오차를 나타내었으며, 첨두수위도 비교적 정확하게 예측되는 것을 확인하였다. 향후 수위와 강우량뿐만 아니라 다양한 인자들도 고려한다면 보다 신속하고 정확한 예측 정보를 얻을 수 있을 것으로 기대된다.

  • PDF

Utilizing Large Language Models(LLM) for Efficient Online Price Index Development and Statistical Data Processing (대규모 언어모델 활용을 통한 통계자료 처리 및 온라인 가격지표 개발 방법론 연구)

  • Kyo-Joong Oh;Ho-Jin Choi;Hyeongak Ahn;Ilgu Kim;Wonseok Cha
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.101-104
    • /
    • 2023
  • 본 연구는 현대 사회에서 빅데이터의 중요성이 강조되는 가운데, 온라인 시장의 확장과 소비자들의 다양한 소비 행태 변화를 반영한 가격지표 개발을 목표로 한다. 통계청의 기존 통계조사 방법론에 대한 한계를 극복하고, 온라인 쇼핑몰 데이터에서 필요한 정보를 추출하고 가공하기 위해 대규모 언어 모델(LLM)을 활용한 인공지능 기술을 적용해보고자 한다. 초기 연구 결과로 공개 Polyglot을 활용하여 비정형 자료 처리와 품목분류에 응용해 보았으며, 제한된 학습 데이터를 사용하여도 높은 정확도의 처리 결과를 얻을 수 있었으며, 현재는 적용 품목을 확장하여 더욱 다양한 품목에 방법론을 적용하는 연구를 진행 중이다.

  • PDF

SNS Analysis Related to Presidential Election Using Text Mining (텍스트 마이닝을 활용한 대선 관련 SNS 분석)

  • Kwon, Young-Woo;Jung, Deok-Gil
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2017.05a
    • /
    • pp.361-363
    • /
    • 2017
  • 최근 소셜 미디어의 이용률이 폭발적으로 증가함에 따라, 방대한 데이터가 네트워크로 쏟아져 나오고 있다. 이들 데이터는 기존의 정형 데이터뿐만 아니라 이미지, 동영상 등의 비정형 데이터가 있으며, 이들을 포괄하여 빅데이터라고 불린다. 이러한 빅데이터는 오피니언 마이닝, 테스트 마이닝 등의 기술적인 분석 기법과 빅데이터 요약 및 효과적인 표현방법에 대한 시각화 기법에 대하여 활발한 연구가 이루어지고 있다. 이 논문은 인기 있는 사회연결망 서비스인 Twitter의 트윗을 수집하고, 빅데이터 분석 기법인 텍스트 마이닝을 활용하여 2017년 대선에 대하여 분석하였다. 또한 분석된 자료의 효과적인 전달을 위해 워드 클라우드 진행하였다. 이 논문을 위하여 인기 있는 SNS인 Twitter의 최근 7일간 트윗(tweet)을 수집하고 분석하였다.

  • PDF

A Study on Parametric Modeler to Generate Structural Analysis Model (구조해석모델 생성을 위한 파라메트릭 모델러의 적용성 연구)

  • Kim, Chee-Kyeong;Lee, Sang-Su;Choi, Hyun-Chul
    • Proceedings of the Computational Structural Engineering Institute Conference
    • /
    • 2010.04a
    • /
    • pp.247-250
    • /
    • 2010
  • 최근 많은 건축가들이 파라메트릭 디자인 도구에 관심을 가지고 형태에 대한 다양한 실험을 하고 있는 것과는 달리, 구조 엔지니어들은 이에 적절하게 대응하지 못하고 있다. 현재 파라메트릭 모델과 구조해석 프로그램사이의 자료교환을 가능하게 하는 인터페이스가 없는 것이 주된 원인이다. 따라서 구조 엔지니어들도 자유롭게 파라메트릭 방법론의 장점을 활용한 모델을 생성하고, 그것을 구조해석에 바로 사용할 수 있도록 하는 일이 오늘날 구조계가 당면한 과제이다. 본 연구에서는 파라메트릭 모델로부터 구조해석 모델을 자동으로 생성하는 인터페이스의 실무 적용가능성을 살펴보기 위하여, 파라메트릭 디자인 도구의 특성과 확장성을 검토하고, 라이노를 기반으로 하는 구조해석 모델 생성 플러그인을 개발하였다.

  • PDF

재난정보관리를 위한 재난안전데이터 표준화 기술 개발

  • Kim, Byeong-Sik;Lee, Dong-Seop
    • Water for future
    • /
    • v.52 no.1
    • /
    • pp.40-51
    • /
    • 2019
  • 본 연구를 통해 재난안전데이터의 공동활용을 위해 다양한 관점에서의 데이터 표준화가 필요하다는 것을 확인하였다. 향후 4차 산업혁명에서의 데이터의 위치와 빅데이터에서의 데이터 융합, 공공데이터 이용에 대한 패러다임의 변화에서도 볼 수 있듯이 재난안전정보 뿐만 아니라 데이터는 수요자 중심의 활용과 이용으로 새로운 데이터의 가치를 얻을 수 있음을 알 수 있다. 이러한 재난안전정보의 효율적이고 체계적인 공동활용을 위해 재난안전정보 관점에서 비정형 자료의 데이터 수집, 데이터베이스의 관리 및 데이터의 표준(안), 재난안전정보의 교환 표준(안) 및 공동활용 전략을 제시하였다. 이러한 연구를 통해 재난안전정보의 공동활용 체계를 구축하여 정보공유 및 재난안전정보의 추적, 활용이 가능하게 하여 신속하게 대국민 재난정보를 제공할 수 있는 체계를 구축하여 경험기반의 재난관리 및 지능형 재난관리의 의사결정을 지원할 수 있는 시스템으로 확장할 수 있을 것으로 기대한다.

Study of a underpass inundation forecast using object detection model (객체탐지 모델을 활용한 지하차도 침수 예측 연구)

  • Oh, Byunghwa;Hwang, Seok Hwan
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.302-302
    • /
    • 2021
  • 지하차도의 경우 국지 및 돌발홍수가 발생할 경우 대부분 침수됨에도 불구하고 2020년 7월 23일 부산 지역에 밤사이 시간당 80mm가 넘는 폭우가 발생하면서 순식간에 지하차도 천장까지 물이 차면서 선제적인 차량 통제가 우선적으로 수행되지 못하여 미처 대피하지 못한 3명의 운전자 인명사고가 발생하였다. 수재해를 비롯한 재난 관리를 빠르게 수행하기 위해서는 기존의 정부 및 관주도 중심의 단방향의 재난 대응에서 벗어나 정형 데이터와 비정형 데이터를 총칭하는 빅데이터의 통합적 수집 및 분석을 수행이 필요하다. 본 연구에서는 부산지역의 지하차도와 인접한 지하터널 CCTV 자료(센서)를 통한 재난 발생 시 인명피해를 최소화 정보 제공을 위한 Object Detection(객체 탐지)연구를 수행하였다. 지하터널 침수가 발생한 부산지역의 CCTV 영상을 사용하였으며, 영상편집에 사용되는 CCTV 자료의 음성자료를 제거하는 인코딩을 통하여 불러오는 영상파일 용량파일 감소 효과를 볼 수 있었다. 지하차도에 진입하는 물체를 탐지하는 방법으로 YOLO(You Only Look Once)를 사용하였으며, YOLO는 가장 빠른 객체 탐지 알고리즘 중 하나이며 최신 GPU에서 초당 170프레임의 속도로 실행될 수 있는 YOLOv3 방법을 적용하였으며, 분류작업에서 보다 높은 Classification을 가지는 Darknet-53을 적용하였다. YOLOv3 방법은 기존 객체탐지 모델 보다 좀 더 빠르고 정확한 물체 탐지가 가능하며 또한 모델의 크기를 변경하기만 하면 다시 학습시키지 않아도 속도와 정확도를 쉽게 변경가능한 장점이 있다. CCTV에서 오전(일반), 오후(침수발생) 시점을 나눈 후 Car, Bus, Truck, 사람을 분류하는 YOLO 알고리즘을 적용하여 지하터널 인근 Object Detection을 실제 수행 하였으며, CCTV자료를 이용하여 실제 물체 탐지의 정확도가 높은 것을 확인하였다.

  • PDF