• 제목/요약/키워드: 비정형자료

검색결과 104건 처리시간 0.032초

빅데이터 분석기법을 활용한 아파트 가격 관련 뉴스 기사의 극성 분석 (A Study on the Polarity of Apartment Price News Using Big Data Analysis Method)

  • 조상연;홍은표
    • 디지털융복합연구
    • /
    • 제17권9호
    • /
    • pp.47-54
    • /
    • 2019
  • 본 연구는 빅데이터 분석 방법인 오피니언 마이닝을 사용하여 아파트 가격 관련 뉴스 기사의 극성을 확인하는 연구로 자료는 2012년, 2018년 2년간 네이버에 게시된 인터넷 뉴스 기사를 사용하였다. 감성분석 모형을 모델링하고 주제 지향형 감성사전 구축 방법을 제안하였다. 제안한 감성분석 모형을 통해 분석한 결과, 아파트 가격이 상승하는 시기에는 사회적 이슈 선정에 있어서 언론사의 성향에 따라 차이가 있는 것을 확인하였고 정부와 동일한 성향의 언론사에서 긍정 기사가 많은 것을 확인하였다. 부동산 분야에서 사용할 수 있는 감성분석 모형을 제시하고 부동산 관련 비정형 데이터의 극성을 분석하였다는 것에 의의가 있다. 향후 다양한 분야에 접목하기 위해서는 주제별 감성사전을 구축해야 하며 다양한 비정형 데이터를 수집하고 수집 기간을 확장하는 것이 필요하다.

비정형 데이터와 딥러닝을 활용한 내수침수 탐지기술 개발 (Development of a method for urban flooding detection using unstructured data and deep learing)

  • 이하늘;김형수;김수전;김동현;김종성
    • 한국수자원학회논문집
    • /
    • 제54권12호
    • /
    • pp.1233-1242
    • /
    • 2021
  • 본 연구에서는 비정형 데이터인 사진자료를 이용하여 침수의 발생여부를 판단하는 모델을 개발하였다. 침수분류를 모델 개발을 위하여 CNN기반의 VGG16, VGG19을 이용하였다. 모델을 개발하기 위하여 침수사진과 침수가 발생하지 않은 사진을 웹크롤링 방법을 이용하여 사진을 수집하였다. 웹크롤링 방법을 이용하여 수집한 데이터는 노이즈 데이터가 포함되어 있기 때문에 1차적으로 본 연구와 상관없는 데이터는 소거하였으며, 2차적으로 모델 적용을 위하여 224 × 224로 사진 사이즈를 일괄 변경하였다. 또한 사진의 다양성을 위해서 사진의 각도를 변환하여 이미지 증식을 수행하였으며. 최종적으로 침수사진 2,500장과 침수가 발생하지 않은 사진 2,500장을 이용하여 학습을 수행하였다. 모델 평가결과 모델의 평균 분류성능은 97%로 나타났으며. 향후 본 연구결과를 통하여 개발된 모델을 CCTV관제센터 시스템에 탑재한다면 신속하게 침수피해에 대한 대처가 이루어 질 수 있을 것이라 판단된다.

다차원 분석방법을 활용한 중소규모 공동주택 건축심의 의견의 경향과 비정형 데이터로서의 특성분석 (Multidimensional Analysis of Unstructured Data and Trends in Architectural Review Opinions of Small and Medium-Sized Apartment Projects )

  • 김진희;황태언;김재식;허영기
    • 한국건설관리학회논문집
    • /
    • 제24권6호
    • /
    • pp.74-80
    • /
    • 2023
  • 본 연구는 국내 1인 가구수가 증가함에 따라 중소규모 공동주택에 대한 정책적 관심이 높아지는 가운데, 해당 사업 유형의 사업주들이 대비하기 가장 어려운 리스크로 건축심의가 지적되고 있다. 본 연구는 B도시의 25개 중소규모 공동주택 프로젝트에 대해 다차원 분석방법을 적용하여 건축심의 의견의 경향과 비정형데이터로서 건축심의 의견의 특성을 분석하였다. 대응분석 및 MDS 분석을 실시한 결과, 선행연구와 동일하게 B도시의 건축심의 의견은 주로 상위분류에서 '구조'와 '계획'에 관련된 키워드가 주를 이루었다. 즉, 모든 키워드의 출현빈도수 대비 각 상위분류의 빈도수의 합은, 선행연구의 직접분류결과는 '구조' 40%, '계획' 27%이며, 본 연구의 분석결과는 '구조' 44%, '계획' 39%인 것으로 나타났다. MDS모델의 적합도는 34.4%로 비교적 낮은 편이나, 대응분석을 통해 확인한 결과 건축심의의 비정형적 자료의 특성에 기인한 것으로 확인하였다. 또한, 본 연구에서 분석한 건축심의 의견과 같은 비정형적 데이터는 심의위원의 주관과 지자체별 양식에 따라 다양한 데이터의 조합과 출현이 이루어지며, 주로 언급되는 단어와 전혀 다른 키워드가 등장할 수 있어 첨도가 낮고 왜도가 높은 확률분포적 특성을 파악할 수 있었다. 본 연구는 일부 한계점이 있으나, 비정형 데이터로서 건축심의 의견의 특징을 도출해내었으며 추후 세부분석을 위한 기초 연구로서 활용 될 수 있을 것이다.

저출산 대응 정책 비교분석 (육아휴직과 아동수당의 비정형 데이터 중심으로) (Comparative Analysis of Low Fertility Response Policies (Focusing on Unstructured Data on Parental Leave and Child Allowance))

  • 금은영;김도희
    • 문화기술의 융합
    • /
    • 제9권5호
    • /
    • pp.769-778
    • /
    • 2023
  • 본 연구는 현재의 심각한 저출산 문제의 해결방안 중 두 가지 주요정책인 육아휴직과 아동수당의 비정형 데이터를 활용하여 비교분석하고 이를 토대로 관련 대응 정책의 향후 방향과 시사점을 모색하였다. 수집 키워드는 "저출산+육아휴직", "저출산+아동수당"으로 하였으며, 자료분석은 텍스트 빈도분석, 중심성 분석, 네트워크 시각화, CONCOR 분석 순으로 진행하였다. 분석 결과 첫째, 육아휴직은 아동수당 보다 다각적이고 체계적인 논의들이 데이터 분석상 나타남으로써 저출산 대응 정책에 있어 현실적이고 실질적인 정책임을 알 수 있었다. 둘째, 아동수당은 데이터 분석상 아동수당을 포함한 현금지원급여제도에 대한 정보와 관심도는 높은 것으로 나타났으나 그 이외의 특이점이나 적극적인 논의는 이루어지지 않았다. 향후 개선방안으로 두 정책 모두 기존 제도의 활용에 있어 첫째, 육아휴직은 제도의 확산을 위한 근로환경과 사각지대의 개선이 필요하며, 둘째 아동수당은 지급에 있어 획일적이고 편중된 것에서 벗어난 형식의 변화가 모색되어야 하며, 수급연령 확대를 제안하였다.

비정형화 데이터를 활용한 수위예측 알고리즘 개발 : 청담대교 적용 (Development of water elevation prediction algorithm using unstructured data : Application to Cheongdam Bridge, Korea)

  • 이승연;유형주;이승오
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.121-121
    • /
    • 2019
  • 특정 지역에 집중적으로 비가 내리는 현상인 국지성호우가 빈번히 발생함에 따라 하천 주변 사회기반시설의 침수 위험성이 증가하고 있다. 침수 위험성 판단 여부는 주로 수위정보를 이용하며 수위 예측은 대부분 수치모형을 이용한다. 본 연구에서는 빅데이터 기반의 RNN(Recurrent Neural Networks)기법 알고리즘을 활용하여 수위를 예측하였다. 연구대상지는 조위의 영향을 많이 받는 한강 전역을 대상으로 하였다. 2008년~2018년(10개년)의 실제 침수 피해 실적을 조사한 결과 잠수교, 한강대교, 청담대교 등에서 침수 피해 발생률이 높게 나타났고 SNS(Social Network Services)와 같은 비정형화 자료에서는 청담대교가 가장 많이 태그(Tag)되어 청담대교를 연구범위로 설정하였다. 본 연구에서는 Python에서 제공하는 Tensor flow Library를 이용하여 수위예측 알고리즘을 적용하였다. 데이터는 정형화 데이터와 비정형 데이터를 사용하였으며 정형화 데이터는 한강홍수 통제소나 기상청에서 제공하는 최근 10년간의 (2008~2018) 수위 및 강우량 자료를 수집하였다. 비정형화 데이터는 SNS를 이용하여 민간 정보를 수집하여 정형화된 자료와 함께 전체자료를 구축하였다. 민감도 분석을 통하여 모델의 은닉층(5), 학습률(0.02) 및 반복횟수(100)의 최적값을 설정하였고, 24시간 동안의 데이터를 이용하여 3시간 후의 수위를 예측하였다. 2008년~ 2017년 까지의 데이터는 학습 데이터로 사용하였으며 2018년의 수위를 예측 및 평가하였다. 2018년의 관측수위 자료와 비교한 결과 90% 이상의 데이터가 10% 이내의 오차를 나타내었으며, 첨두수위도 비교적 정확하게 예측되는 것을 확인하였다. 향후 수위와 강우량뿐만 아니라 다양한 인자들도 고려한다면 보다 신속하고 정확한 예측 정보를 얻을 수 있을 것으로 기대된다.

  • PDF

대규모 언어모델 활용을 통한 통계자료 처리 및 온라인 가격지표 개발 방법론 연구 (Utilizing Large Language Models(LLM) for Efficient Online Price Index Development and Statistical Data Processing)

  • 오교중;최호진;안현각;김일구;차원석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.101-104
    • /
    • 2023
  • 본 연구는 현대 사회에서 빅데이터의 중요성이 강조되는 가운데, 온라인 시장의 확장과 소비자들의 다양한 소비 행태 변화를 반영한 가격지표 개발을 목표로 한다. 통계청의 기존 통계조사 방법론에 대한 한계를 극복하고, 온라인 쇼핑몰 데이터에서 필요한 정보를 추출하고 가공하기 위해 대규모 언어 모델(LLM)을 활용한 인공지능 기술을 적용해보고자 한다. 초기 연구 결과로 공개 Polyglot을 활용하여 비정형 자료 처리와 품목분류에 응용해 보았으며, 제한된 학습 데이터를 사용하여도 높은 정확도의 처리 결과를 얻을 수 있었으며, 현재는 적용 품목을 확장하여 더욱 다양한 품목에 방법론을 적용하는 연구를 진행 중이다.

  • PDF

텍스트 마이닝을 활용한 대선 관련 SNS 분석 (SNS Analysis Related to Presidential Election Using Text Mining)

  • 권영우;정덕길
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.361-363
    • /
    • 2017
  • 최근 소셜 미디어의 이용률이 폭발적으로 증가함에 따라, 방대한 데이터가 네트워크로 쏟아져 나오고 있다. 이들 데이터는 기존의 정형 데이터뿐만 아니라 이미지, 동영상 등의 비정형 데이터가 있으며, 이들을 포괄하여 빅데이터라고 불린다. 이러한 빅데이터는 오피니언 마이닝, 테스트 마이닝 등의 기술적인 분석 기법과 빅데이터 요약 및 효과적인 표현방법에 대한 시각화 기법에 대하여 활발한 연구가 이루어지고 있다. 이 논문은 인기 있는 사회연결망 서비스인 Twitter의 트윗을 수집하고, 빅데이터 분석 기법인 텍스트 마이닝을 활용하여 2017년 대선에 대하여 분석하였다. 또한 분석된 자료의 효과적인 전달을 위해 워드 클라우드 진행하였다. 이 논문을 위하여 인기 있는 SNS인 Twitter의 최근 7일간 트윗(tweet)을 수집하고 분석하였다.

  • PDF

구조해석모델 생성을 위한 파라메트릭 모델러의 적용성 연구 (A Study on Parametric Modeler to Generate Structural Analysis Model)

  • 김치경;이상수;최현철
    • 한국전산구조공학회:학술대회논문집
    • /
    • 한국전산구조공학회 2010년도 정기 학술대회
    • /
    • pp.247-250
    • /
    • 2010
  • 최근 많은 건축가들이 파라메트릭 디자인 도구에 관심을 가지고 형태에 대한 다양한 실험을 하고 있는 것과는 달리, 구조 엔지니어들은 이에 적절하게 대응하지 못하고 있다. 현재 파라메트릭 모델과 구조해석 프로그램사이의 자료교환을 가능하게 하는 인터페이스가 없는 것이 주된 원인이다. 따라서 구조 엔지니어들도 자유롭게 파라메트릭 방법론의 장점을 활용한 모델을 생성하고, 그것을 구조해석에 바로 사용할 수 있도록 하는 일이 오늘날 구조계가 당면한 과제이다. 본 연구에서는 파라메트릭 모델로부터 구조해석 모델을 자동으로 생성하는 인터페이스의 실무 적용가능성을 살펴보기 위하여, 파라메트릭 디자인 도구의 특성과 확장성을 검토하고, 라이노를 기반으로 하는 구조해석 모델 생성 플러그인을 개발하였다.

  • PDF

재난정보관리를 위한 재난안전데이터 표준화 기술 개발

  • 김병식;이동섭
    • 물과 미래
    • /
    • 제52권1호
    • /
    • pp.40-51
    • /
    • 2019
  • 본 연구를 통해 재난안전데이터의 공동활용을 위해 다양한 관점에서의 데이터 표준화가 필요하다는 것을 확인하였다. 향후 4차 산업혁명에서의 데이터의 위치와 빅데이터에서의 데이터 융합, 공공데이터 이용에 대한 패러다임의 변화에서도 볼 수 있듯이 재난안전정보 뿐만 아니라 데이터는 수요자 중심의 활용과 이용으로 새로운 데이터의 가치를 얻을 수 있음을 알 수 있다. 이러한 재난안전정보의 효율적이고 체계적인 공동활용을 위해 재난안전정보 관점에서 비정형 자료의 데이터 수집, 데이터베이스의 관리 및 데이터의 표준(안), 재난안전정보의 교환 표준(안) 및 공동활용 전략을 제시하였다. 이러한 연구를 통해 재난안전정보의 공동활용 체계를 구축하여 정보공유 및 재난안전정보의 추적, 활용이 가능하게 하여 신속하게 대국민 재난정보를 제공할 수 있는 체계를 구축하여 경험기반의 재난관리 및 지능형 재난관리의 의사결정을 지원할 수 있는 시스템으로 확장할 수 있을 것으로 기대한다.

객체탐지 모델을 활용한 지하차도 침수 예측 연구 (Study of a underpass inundation forecast using object detection model)

  • 오병화;황석환
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.302-302
    • /
    • 2021
  • 지하차도의 경우 국지 및 돌발홍수가 발생할 경우 대부분 침수됨에도 불구하고 2020년 7월 23일 부산 지역에 밤사이 시간당 80mm가 넘는 폭우가 발생하면서 순식간에 지하차도 천장까지 물이 차면서 선제적인 차량 통제가 우선적으로 수행되지 못하여 미처 대피하지 못한 3명의 운전자 인명사고가 발생하였다. 수재해를 비롯한 재난 관리를 빠르게 수행하기 위해서는 기존의 정부 및 관주도 중심의 단방향의 재난 대응에서 벗어나 정형 데이터와 비정형 데이터를 총칭하는 빅데이터의 통합적 수집 및 분석을 수행이 필요하다. 본 연구에서는 부산지역의 지하차도와 인접한 지하터널 CCTV 자료(센서)를 통한 재난 발생 시 인명피해를 최소화 정보 제공을 위한 Object Detection(객체 탐지)연구를 수행하였다. 지하터널 침수가 발생한 부산지역의 CCTV 영상을 사용하였으며, 영상편집에 사용되는 CCTV 자료의 음성자료를 제거하는 인코딩을 통하여 불러오는 영상파일 용량파일 감소 효과를 볼 수 있었다. 지하차도에 진입하는 물체를 탐지하는 방법으로 YOLO(You Only Look Once)를 사용하였으며, YOLO는 가장 빠른 객체 탐지 알고리즘 중 하나이며 최신 GPU에서 초당 170프레임의 속도로 실행될 수 있는 YOLOv3 방법을 적용하였으며, 분류작업에서 보다 높은 Classification을 가지는 Darknet-53을 적용하였다. YOLOv3 방법은 기존 객체탐지 모델 보다 좀 더 빠르고 정확한 물체 탐지가 가능하며 또한 모델의 크기를 변경하기만 하면 다시 학습시키지 않아도 속도와 정확도를 쉽게 변경가능한 장점이 있다. CCTV에서 오전(일반), 오후(침수발생) 시점을 나눈 후 Car, Bus, Truck, 사람을 분류하는 YOLO 알고리즘을 적용하여 지하터널 인근 Object Detection을 실제 수행 하였으며, CCTV자료를 이용하여 실제 물체 탐지의 정확도가 높은 것을 확인하였다.

  • PDF