• 제목/요약/키워드: 비정형데이터

검색결과 583건 처리시간 0.029초

이용자를 위한 공공도서관 빅데이터 플랫폼 구축 방안 연구 - 문화프로그램 및 커뮤니티 서비스 정보를 중심으로 - (Big Data Platform for Public Library Users: Focusing on the Cultural Programs and Community Service)

  • 윤소영
    • 한국비블리아학회지
    • /
    • 제33권3호
    • /
    • pp.347-370
    • /
    • 2022
  • 공공도서관 웹사이트를 통해 제공되는 도서관 프로그램 정보는 대부분 비정형 데이터로 서지정보와 같이 체계적으로 생산하고 활용할 수 없어 기존의 도서관 빅데이터 연구나 사례에서 충분히 활용하지 못하고 있으며 웹사이트 개편이나 담당자 변경 시 사라질 위험도 있다. 이 연구에서는 비정형으로 생산되는 공공도서관 문화프로그램 및 커뮤니티 서비스 데이터를 수집, 분석하여 서지데이터와 연계하여 활용할 수 있는 데이터 스키마를 개발하고, 공공도서관 문화프로그램과 커뮤니티 서비스 데이터의 공유 및 활용, 그리고 문화프로그램 기획자인 사서간의 정보 채널로서 역할을 할 수 있는 도서관 빅데이터 플랫폼 구축안을 제시하였다. 이를 통해 서지데이터에 문화프로그램과 커뮤니티 서비스 정보를 연계함으로써 장서 기반 서비스를 확충할 수 있고 도서관 웹사이트에 게재되는 도서관 프로그램 데이터를 도서관 빅데이터 플랫폼으로 통합 관리함으로써 업무의 연속성을 확보하고, 개별 도서관의 특화된 서비스 이력을 체계적으로 관리·보존할 수 있다.

비정형 데이터 분석을 통한 선거 여론조사 예측력 개선 방안 연구 (Prediction improvement of election polls by unstructured data analysis)

  • 박선빈;김명준
    • 응용통계연구
    • /
    • 제31권5호
    • /
    • pp.655-665
    • /
    • 2018
  • 소셜 네트워크 서비스(social network service; SNS)는 개개인의 의견을 공유하거나 소통하는 일반적인 도구로 사용되고 있으며, 특히 정치적인 이슈의 전파 과정에서 타인과의 공유를 통하여 자신이 지지하는 후보에 대한 긍정적인 홍보 등을 통해 여론을 형성 또는 확장한다. 기존의 여론 조사 결과는 응답률, 표본 수집의 방식 등과 관련하여 예측의 정확성에 대한 끊임없는 논란이 되어왔다. 본 논문은 이러한 소셜 네트워크 서비스 상에 존재하는 수많은 비정형 데이터의 감성 분석을 통하여 여론조사의 예측력을 개선, 보완하는 방안을 제시하고자 한다. 제시하고자 하는 연구 내용은 비정형 데이터 크롤링 및 기존에 사용되던 감성 사전에 대한 추가적인 보정 과정을 포함하고 있으며, 이를 통하여 본 논문에서 제안하는 방식은 오차의 감소를 통하여 예측력을 개선하는 결과를 나타냈다.

다차원 텍스트 큐브를 이용한 호텔 리뷰 데이터의 다차원 키워드 검색 및 분석 (Multi-Dimensional Keyword Search and Analysis of Hotel Review Data Using Multi-Dimensional Text Cubes)

  • 김남수;이수안;조선화;김진호
    • 정보화연구
    • /
    • 제11권1호
    • /
    • pp.63-73
    • /
    • 2014
  • 웹의 발달로 텍스트 등으로 이루어진 비정형 데이터의 활용에 대한 관심이 높아지고 있다. 웹상에서 사용자들이 작성한 대부분의 비정형 데이터는 사용자의 주관이 담겨져 있어 이를 적절히 분석할 경우 사용자의 취향이나 주관적인 관점 등의 아주 유용한 정보를 얻을 수 있다. 이 논문에서는 이러한 비정형 텍스트 문서를 다양한 차원으로 분석하기 하는데 OLAP(온라인 분석 처리)의 다차원 데이터 큐브 기술을 활용한다. 다차원 데이터 큐브는 간단한 문자나 숫자 형태의 정형적인 데이터에 대해 다차원 분석하는데 널리 사용되었지만, 텍스트 문장으로 이루어진 비정형 데이터에 대해서는 활용되지 않았다. 이러한 텍스트 데이터베이스에 포함된 정보를 다차원으로 분석하기 위한 방법으로 텍스트 큐브 모델이 최근에 제안되었는데, 이 텍스트 큐브는 정보 검색에서 널리 사용하는 용어 빈도수(Term Frequency)와 역 인덱스(Inverted Index)를 측정값으로 이용하여 텍스트 데이터베이스에 대한 다차원 분석을 지원한다. 이 논문에서는 이러한 다차원 텍스트 큐브를 활용하여 실제 서비스되고 있는 호텔 정보 공유 사이트의 리뷰 데이터 분석에 활용하였다. 이를 위해 호텔 리뷰 데이터에 대한 다차원 텍스트 큐브를 생성하였으며, 이를 이용하여 다차원 키워드 검색 기능을 제공하여 사용자 중심의 의미있는 정보 검색이 가능한 시스템을 설계 및 구현하였다. 또한, 본 논문에서 제안하는 시스템에 대해 다양한 실험을 수행하였으며 이를 통해 제안된 시스템의 실효성을 검증하였다.

비정형 구조물의 시공성을 고려한 3차원 디지털 설계 최적화 프로세스 (3D Digital Design Optimization Process Considering Constructability of Freeform Structure)

  • 류한국
    • 한국건설관리학회논문집
    • /
    • 제14권5호
    • /
    • pp.35-43
    • /
    • 2013
  • 최근 상당기간과 공사비를 최소화할 수 있는 비정형 건축물의 설계와 시공이 새로운 기술로 구현되고 있다. 이는 비정형 건축물의 최적화 설계와 부재화를 통한 공장 생산 시스템과 현장 조립 및 설치 기술로 가능하다. 비정형 건축물의 구현을 위한 연구가 진행되어 왔으나 여전히 비정형 건축물 시공은 설계오류와 시공자의 도면이해 부족, 시공경험 및 공법의 부재 등으로 인하여 시공 품질과 공기, 공사비 증가 등의 잠재적 리스크를 포함하고 있다. 비정형 건축물의 시공품질 향상과 공기단축 및 시공비 상승의 문제점을 해결하기 위한 3D 디지털 설계와 제작 기술을 적용하는 것이 중요하다. 이에 본 연구는 비정형 구조물의 시공성을 고려한 3차원 디지털 설계 최적화 프로세스를 제안한다. 궁극적으로 본 연구는 비정형 구조물의 구조검토, CNC(Computerized Numerical Control) 가공에 의한 부재의 정밀제작, 설치, 시공의 오차관리로 최적 시공의 근간이 되는 비정형 건축물 외피 시스템 구현을 위한 최적화 설계 프로세스를 제시한다.본 연구는 비정형 건축물을 구현한 사례를 살펴보고 디지털 설계 프로세스와 적용 프로그램을 살펴본다. 비정형 건축물의 설계도의 3D 디지털 데이터 구축과 디지털 최적화 구현 사례로 4대강 대표 물문화관(The ARC)을 중심으로 설계단계에서 적용된 최적화 기법을 순차적으로 분석하여 비정형 건축물의 3차원 좌표제어에 대한 방법론을 제시한다.

텍스트 마이닝 기반의 온라인 상품 리뷰 추출을 통한 목적별 맞춤화 정보 도출 방법론 연구 (A Study on the Method for Extracting the Purpose-Specific Customized Information from Online Product Reviews based on Text Mining)

  • 김주영;김동수
    • 한국전자거래학회지
    • /
    • 제21권2호
    • /
    • pp.151-161
    • /
    • 2016
  • 개방, 공유, 참여를 특징으로 하는 웹 2.0 시대로 들어서면서 인터넷 사용자들의 데이터 생산 및 공유가 쉬워졌다. 이에 따른 데이터의 기하급수적인 증가와 함께 디지털 정보의 대부분인 비정형적 데이터(Unstructured Data)의 양도 증가하고 있다. 인터넷에서 정해진 형식 없이 자연어 형태로 만들어진 비정형 데이터 중, 특정 상품들에 대해 개인이 평가한 리뷰들은 해당 기업이나 해당 상품에 관심이 있는 잠재적 고객에게 필요한 데이터이다. 많은 양의 리뷰 데이터에서 상품에 대한 유용한 정보를 얻기 위해서는 데이터 수집, 저장, 전처리, 분석, 및 결론 도출의 과정이 필요하다. 따라서 본 연구는 R을 이용한 텍스트 마이닝(Text Mining) 기법을 사용하여 텍스트 형식의 비정형 데이터에서 자연어 처리 기술 및 문서 처리 기술을 적용하여 정형화된 데이터 값을 도출하는 방법에 대해 소개한다. 또한, 도출된 정형화된 리뷰 정보를 데이터 마이닝 기법에 적용하여 목적에 맞게 맞춤화된 리뷰 정보를 도출시키는 방안을 제시하고자 한다.

Mock-up 부재제작을 통한 비정형 건축 외장부재의 제작 문제점 분석 및 개선방안에 관한 연구 (A Study on the Problem Analysis and Quality Improvement in Fabricating Free-Form Buildings Facade Panels through Mock-up Panels Production)

  • 권순호;심현우;옥종호
    • 한국건설관리학회논문집
    • /
    • 제12권3호
    • /
    • pp.11-21
    • /
    • 2011
  • 비정형 건축물은 건축가의 디자인 의도를 반영한 다양한 형태의 외장 디자인을 포함한다. 이러한 비정형 형태의 외장부재는 NURBS (Non-Uniform Rational B-Spline) 라 불리는 이 방향 곡률로 구성된 불규칙한 자유곡선면을 포함하고 있어 실제 외장부재의 생산 및 시공을 위해서는 3차원 비정형 BIM 기술을 적용한 패널최적화 단계를 거쳐야 한다. 본 연구에서는 역공학(Reverse Engineering) 기법을 근간으로 사례연구를 통해 비정형 건축물 BIM 도구인 디지털 프로젝트를 활용하여 패널형태를 구축하고 패널 최적화 결과를 도출한다. 최적화 결과 도출된 비정형 패널부재의 곡률 형상에 따른 Mock-Up 패널제작을 통해 패널종류에 따른 제작 용이성을 테스트하고 레이저 스케닝 기술을 사용하여 설계한 패널과 생산된 패널과의 데이터를 비교함으로써 이방향 곡률 곡면부재의 제작정밀도를 분석한다. Mock-Up 부재 제작 시 전문가 인터뷰를 통하여 국내에서 수행되고 있는 현행 비정형 외장부재 생산방식의 문제점을 도출하고 개선방안을 제시한다.

웹 미디어 데이터를 이용한 이슈 예측 시스템 설계 (Designing issue prediction system using web media data)

  • 윤현노;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.501-503
    • /
    • 2019
  • IT 기술의 발달에 따라 다양한 웹 미디어의 데이터가 기하급수적으로 증가하고 있으며 이는 비정형 형태의 빅 데이터로 활용도가 매우 높다. 그 중 인터넷 뉴스나 SNS 등은 시간의 흐름에 따라 다양한 이슈들이 서로 영향을 주며 발생, 결합, 분화, 소멸된다. 본 논문에서는 인터넷상에서 발생하는 비정형 데이터들을 수집하여 텍스트 마이닝을 통해 글의 주요이슈 키워드, 카테고리, 날짜 등을 추출한다. 추출한 데이터를 일정 기간별로 나누어 이슈 매핑을 통해 이슈간의 상관관계를 분석한다. 나아가 LSTM 또는 GRU를 이용한 딥러닝을 통해 앞으로의 이슈를 예측하는 시스템 설계를 제안한다.

딥러닝 기반 농촌유역 돌발홍수 예경보 시스템 개발 (Development of flash flood guidance system for rural area based on deep learning)

  • 류정훈;강문성
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2018년도 학술발표회
    • /
    • pp.309-309
    • /
    • 2018
  • 기후변화에 따른 강우의 규모와 발생빈도 증가로 농촌유역의 홍수 피해는 지속적으로 증가하고 있다. 하지만 우리나라의 홍수 피해 저감 대책은 도시지역의 대하천 주변으로 집중되어있으며, 소하천 및 농촌유역의 홍수 피해 저감에 대한 관리와 투자 노력은 부족한 실정이다. 특히, 최근 들어 갑작스런 집중호우 등으로 인한 농촌유역 돌발홍수 피해 사례가 증가하고 있으며, 이에 대응하기 위해서는 홍수 발생 등을 신속하게 파악하기 위한 돌발홍수 예경보 시스템 개발이 필요하다. 한편, 최근 산업의 혁신과 생산성 향상을 위한 새로운 패러다임으로 4차 산업혁명이 대두되고 있으며, 빅데이터와 인공지능 (Artificial Intelligence, AI)을 비롯하여 사물인터넷 (Internet of Things, IoT), 드론, 슈퍼컴퓨팅 등의 이른바 4차 산업혁명 기술을 활용한 연구가 수행되고 있다. 본 연구에서는 기후변화에 따른 농촌유역 홍수 피해를 저감하고 또한 사전에 대비하기 위해 빅데이터와 인공지능 등 4차 산업혁명 기술을 적용한 농촌유역 돌발홍수 예경보 시스템을 개발하고 그 적용성을 평가하고자 한다. 우선, 농촌유역의 홍수와 관련된 빅데이터 (기상 자료, 수문 자료, 기후변화 자료, 농업용 수리구조물 자료 등)를 토대로 정형 빅데이터와 비정형 빅데이터를 구분 추출하고 이를 연계 해석할 수 있는 시스템을 개발하였다. 추출한 정형 및 비정형 빅데이터를 활용하여 딥러닝을 기반으로 농촌유역의 홍수를 예측하고 홍수 예경보 기준에 따른 평가를 수행할 수 있는 시스템을 개발하였다. 과거 강우사상을 홍수 예경보 시스템에 적용하여 홍수 모의 결과를 도출하였으며, 재해연보 등과 비교 분석하여 시스템의 적용성을 분석하였다.

  • PDF

빅 데이터 기반 건설사업정보시스템 기능 개선 방안 연구 (Application Method of Big-Data for Improvement for Construction Project Management System)

  • 김진욱;김영진;옥현;양성훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2015년도 제52차 하계학술대회논문집 23권2호
    • /
    • pp.301-303
    • /
    • 2015
  • 국내 건설행정 투명화 및 경쟁력 향상 목적으로 개발된 건설사업정보시스템에 정부와 운영주체는 다양한 기능개선 방안과 관련 연구를 수행하며 시스템 성능을 개선시켜왔다. 그러나 기 추진된 성능향상 방안이 공공업무 처리에 중점 되어 대국민 사용자를 위한 콘텐츠 및 기능 등의 서비스가 미흡한 상황이다. 이에 본 논문에서는 건설사업정보 건설인허가시스템의 도로점용장소별 허가현황 기능을 중심으로 빅 데이터를 이용한 허가현황 정보 제공 방안을 제안하였다. 제안한 기능개선 방안은 기 구축된 비정형 데이터를 빅 데이터 기반으로 재분석하여 구글 맵에 가시화함으로써 공공업무 데이터 처리 뿐만 아니라 대국민 서비스를 위한 콘텐츠 제공이 가능하도록 하였다. 뿐만 아니라 그동안 축적된 15TB이상의 건설관련 데이터의 재활용 가능성을 시사함으로써 시스템 활용성 증대 및 개편 방향에 도움이 될 것으로 판단된다.

  • PDF