• 제목/요약/키워드: 빅데이터 기법

검색결과 785건 처리시간 0.033초

빅데이터 분석을 통한 중력식 항만시설 수정프로젝트 레벨의 상태변화 특성 분석 (A Study on Condition Analysis of Revised Project Level of Gravity Port facility using Big Data)

  • 나용현;박미연;장신우
    • 한국재난정보학회 논문집
    • /
    • 제17권2호
    • /
    • pp.254-265
    • /
    • 2021
  • 연구목적: 국내 항만시설의 진단을 통한 성능 및 안전에 대한 점검과 진단을 20년 넘게 진행되었지만 그 진단 이력과 결과를 활용한 중장기적인 시설개선과 성능개선을 위한 발전전략이나 방향이 현실적으로 작동하지 않고 있다. 특히, 사용년수가 오래된 항만구조물의 경우, 선박의 대형화와 사용빈도 증가, 기후변화로 인한 자연재해의 영향 등으로 안전성능과 기능적 면에서 상당히 많은 문제점을 내포하고 있다. 연구방법: 본 연구에서는 중력식 안벽에 대한 부재수준의 유지관리 이력 데이터를 수집하여 이를 빅데이터로써 정의하고 해당 데이터를 바탕으로 프로젝트 수준의 시설물의 노후화 패턴 및 열화를 추정하기 위한 예측근사모델을 도출하였다. 특히 GP 및 SGP 기법의 머신러닝 알고리즘을 통하여 생성된 상태기반 노후도 패턴 및 열화 근사모델에 대한 유효성 검토를 통해 빅데이터 활용에 적합한 모델을 상호비교하고 제안하였다. 연구결과: 제안된 기법의 적합성을 검토한 결과 GP기법은 RMSE 및 R2는 0.9854와 0.0721, SGP기법은 0.7246과 0.2518로 GP기법을 적용한 예측모델이 적합한 것으로 검토 되었다. 결론: 머신러닝 기법을 통해 이러한 연구는 향후 항만시설 데이터취합이 지속적으로 이루어진다면 향후 항만시설 투자의사결정에 중요한 역할을 할 것으로 기대한다.

빅데이터 분석 기법을 이용한 실시간 대중교통 경로 안내 시스템의 설계 및 구현 (Design and Implementation of a Realtime Public Transport Route Guidance System using Big Data Analysis)

  • 임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제19권2호
    • /
    • pp.460-468
    • /
    • 2019
  • 최근 빅데이터 분석을 통해 새로운 정보들을 도출해내기 위한 분석 기법들과 이를 이용한 다양한 서비스들이 개발되고 있다. 그 중에서 빅데이터가 중요하게 활용될 수 있는 분야 중의 하나가 교통 분야이다. 기존 대중교통 안내 서비스의 경우 현재 교통정보를 기준으로 추천하기 때문에 실제로는 최적이 아닌 경로가 추천될 수 있다. 본 논문에서는 빅데이터 분석을 통한 실시간 최적 교통 경로 안내 시스템을 설계하고 구현한다. 설계한 시스템은 실시간 교통정보를 활용함과 동시에 과거 수집된 교통 정보를 분석하여 각 경로들의 교통 상황을 예측하여 경로 이동 계획을 설정해준다. 또한 중간에 교통상황이 급변하여 경로를 수정해야할 필요가 있을 때 사용자에게 알림을 주고 그에 대한 조치를 취할 수 있도록 지원한다.

빅데이터 분석을 통한 트렌드 파악 및 사용자 맞춤 도서 추천 (A Trend Analysis and Book Recommendation through Bigdata Analysis)

  • 윤경서;강승식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.363-364
    • /
    • 2023
  • 카테고리별 베스트셀러를 통해 트렌드 파악 및 사용자 맞춤형 도서 추천을 위해 카테고리별로 도서 데이터를 수집하고, 대용량 데이터인 위키피디어 데이터를 이용하여 워드임베딩 모델을 구축한다. 도서 데이터에 대한 키워드 분석 및 LDA 주제분석 기법에 의해 카테고리별 핵심 단어 분석을 통해 도서 트렌드를 파악하고, 사용자 맞춤형 도서 정보 제공 및 도서를 추천하는 기능을 구현한다.

그리드 인덱스 기법을 이용한 교통 빅데이터 맵핑 방안 연구 (A Study on Traffic Big Data Mapping Using the Grid Index Method)

  • 정규수;성홍기
    • 한국ITS학회 논문지
    • /
    • 제19권6호
    • /
    • pp.107-117
    • /
    • 2020
  • 최근 자율주행의 발달로 차량에 장착된 다양한 센서가 일반화 되고 그 센서에서 발생되는 빅 데이터는 교통 분야에서 활용도가 높아지고 있다. 본 연구에서는 이러한 교통 빅 데이터의 활용을 위해 실시간으로 발생되는 차량 센싱 빅 데이터와 도로 기상 등 공공데이터를 지도상에 효율적으로 맵핑하기 위한 그리드 인덱스 기법을 제안하였으며, 제안한 그리드 공간 분할 방식과 그리드 ID 부여 방식에 대하여 적용 가능성 및 효과를 분석하였다. 차량 센서에서 실시간 분석된 강수 데이터를 전국 화물차의 디지털 운행기록장치(DTG, Digital Tachograph) 데이터를 기반으로 가상 생성하여 좌표기반으로 맵핑하였으며, 제안 방식과 링크 단위 처리방식의 처리 속도를 비교하였다. 제안 방식은 링크 단위의 처리 방식 대비 약 2,400배 이상의 데이터 처리 성능 개선을 나타냈다. 추가로 그리드 맵핑의 적용 가능성 및 링크 단위 맵핑과의 차별성을 확인하고자 가상 생성한 데이터를 시각화하고 비교하였다.

사용자 큐레이션을 위한 빅데이터 영상 분석 기법 비교 (Comparison of big data image analysis techniques for user curation)

  • 이현섭;김진덕
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.563-565
    • /
    • 2021
  • 최근 증가하는 콘텐츠 제공 서비스의 가장 큰 특징은 콘텐츠의 시간의 흐름에 따른 콘텐츠 증가량이 매우 크다는 것이다. 이에 따라 사용자 큐레이션의 중요성이 같이 증가하고 있으며 이를 구현하기 위한 여러 가지 기법들이 사용되고 있다. 본 논문에서는 영상 추천을 위한 기법 중 음성데이터 및 자막을 활용한 분석 기법과 키프레임 추출 기반 영상 비교 기법을 실제 빅데이터 영상 콘텐츠를 대상으로 구현, 적용한 결과에 대하여 비교한다. 또한, 비교결과를 통해 각 분석 기법이 적용될 수 있는 영상 콘텐츠 환경에 대하여 제안한다.

  • PDF

공공 빅데이터 기반의 식품 가격 정보 분석 시스템의 설계 및 구현 (Design and Implementation of a Food Price Information Analysis System Based on Public Big Data)

  • 임종태;이현병;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제22권7호
    • /
    • pp.10-17
    • /
    • 2022
  • 최근 4차 산업혁명이 이슈가 되며 빅데이터를 이용한 많은 서비스들이 개발됐다. 이에 따라 빅데이터 중에서도 가장 가치 있는 데이터로 여겨지는 공공 데이터를 활용하기 위한 연구들이 진행되고 있다. 본 논문에서는 공공 빅데이터 기반의 식품 가격 정보 분석 시스템을 설계하고 구현한다. 제안하는 시스템은 다양한 출처로부터 다양한 형태로 수집되는 식품 가격 관련 데이터를 분석하여 특징에 따라 분류한다. 또한 제안하는 시스템은 빅데이터 분석 기법을 통해 식품의 가격에 영향을 미치는 요인을 분석하여 가까운 미래의 식품 가격을 예측하기 위한 자료로 활용한다. 마지막으로 제안하는 시스템은 데이터 시각화를 통해 분석된 결과를 사용자에게 제공한다.

공간 정보를 가지는 데이터셋의 준자동 융합 기법 (Semi-automatic Data Fusion Method for Spatial Datasets)

  • 윤종찬;김한준
    • 한국전자거래학회지
    • /
    • 제26권4호
    • /
    • pp.1-13
    • /
    • 2021
  • 빅데이터 관련 기술이 발달함에 따라 이전에는 처리할 수 없었던 방대한 규모의 데이터를 처리할 수 있게 되었다. 이에 따라 데이터 선정 및 융합 자동화 프로세스 구축은 빅데이터 기반 서비스 구현에 있어 선택이 아닌 필수인 시대가 되었다. 본 논문은 공간 정보를 담고 있는 데이터셋을 융합하여 유의미한 새로운 정보를 생성하기 위한 준자동화 기법을 제안한다. 우선 Node2Vec 모델을 활용하여 주어진 데이터셋의 키워드를 이용해 데이터셋의 임베딩 벡터를 생성한다. 생성된 각 임베딩 벡터를 이용해 코사인 유사도를 계산하여 데이터셋 간의 시멘틱 유사도를 구한다. 이후 사람이 개입하여 그 시멘틱 유사도가 상대적으로 높은 데이터셋 쌍 중에서 공간 정보를 가진 데이터셋을 선별하고, 데이터셋 쌍을 융합하여 시각화한다. 이러한 일련의 준자동 융합 프로세스를 통해 단일 데이터셋으로부터는 얻을 수 없는 유의미한 융합정보를 생성할 수 있음을 보인다.

빅데이터 환경에서 기계학습 알고리즘 응용을 통한 보안 성향 분석 기법 (Security tendency analysis techniques through machine learning algorithms applications in big data environments)

  • 최도현;박중오
    • 디지털융복합연구
    • /
    • 제13권9호
    • /
    • pp.269-276
    • /
    • 2015
  • 최근 빅데이터 관련 산업 활성화에 따라 글로벌 보안 업체들은 지능적인 보안 위협 모니터링과 예방을 위해 분석 데이터의 범위를 정형/비정형 데이터로 확대하고, 보안 예방을 목적으로 사용자의 성향 분석 기법을 활용하려는 추세이다. 이는 기존 정형 데이터(기존 수치화 가능한 자료)의 분석 결과에서 추론할 수 있는 정보의 범위가 한정적이기 때문이다. 본 논문은 빅데이터 환경에서 기계학습 알고리즘($Na{\ddot{i}}ve$ Bayes, Decision Tree, K-nearest neighbor, Apriori)을 효율적으로 응용하여 보안 성향(목적 별 항목 분류, 긍정 부정 판단, 핵심 키워드 연관성 분석)을 분석하는데 활용한다. 성능 분석 결과 보안 성향 판단을 위한 보안항목 및 특정 지표를 정형/비정형 데이터에서 추출할 수 있음을 확인하였다.

A Development Method of Framework for Collecting, Extracting, and Classifying Social Contents

  • Cho, Eun-Sook
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권1호
    • /
    • pp.163-170
    • /
    • 2021
  • 빅데이터가 여러 분야에서 다양하게 접목됨에 따라 빅데이터 시장이 하드웨어로부터 시작해서 서비스 소프트웨어 부문으로 확장되고 있다. 특히 빅데이터 의미 파악 및 이해 능력, 분석 결과 등 총체적이고 직관적인 시각화를 위하여 애플리케이션을 제공하는 거대 플랫폼 시장으로 확대되고 있다. 그 중에서 SNS(Social Network Service) 등과 같은 소셜 미디어를 활용한 빅데이터 추출 및 분석에 대한 수요가 기업 뿐만 아니라 개인에 이르기까지 매우 활발히 진행되고 있다. 그러나 이처럼 사용자 트렌드 분석과 마케팅을 위한 소셜 미디어 데이터의 수집 및 분석에 대한 많은 수요에도 불구하고, 다양한 소셜 미디어 서비스 인터페이스의 이질성으로 인한 동적 연동의 어려움과 소프트웨어 플랫폼 구축 및 운영의 복잡성을 해결하기 위한 연구가 미흡한 상태이다. 따라서 본 논문에서는 소셜 미디어 데이터의 수집에서 추출 및 분류에 이르는 과정을 하나로 통합하여 운영할 수 있는 프레임워크를 개발하는 방법에 대해 제시한다. 제시된 프레임워크는 이질적인 소셜 미디어 데이터 수집 채널의 문제를 어댑터 패턴을 통해 해결하고, 의미 연관성 기반 추출 기법과 주제 연관성 기반 분류 기법을 통해 소셜 토픽 추출과 분류의 정확성을 높였다.

SNS 환경에서 동시출현 해시태그 분석 기법 (A Co-Occuring HashTag Analysis Technique In SNS EnvironMents)

  • 김세진;이상돈
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2014년도 추계 종합학술대회 논문집
    • /
    • pp.223-224
    • /
    • 2014
  • 최근 빅데이터 시대에 다가와서 소셜 네트워크 서비스(Social Network Service)가 중요한 정보 공유의 수단으로 발전함에 따라 그에 따른 예측분석, 동향분석, 이슈탐지 등이 증가하고 있으며, 콘텐츠 분야에서 빅데이터 기법 사례가 증가하는 추세이다. 모바일기기 보급이 빠르게 확산되면서 SNS 활성화와 함께 많은 양의 데이터가 증가하고 있으며, 인스타그램과 같은 해시태그 사용 가능 SNS 서비스에서 해시태그의 동시출현은 해시태그만의 연관성이 있음을 의미한다. 본 논문에서는 대상 SNS의 동시출현 해시태그를 분석하기 위해 발생되는 데이터를 가지고 현재 트렌드에 맞게 분석하여 정보를 제공하는 방법을 제시한다.

  • PDF