• Title/Summary/Keyword: 데이터 기반 분석

검색결과 10,023건 처리시간 0.042초

GPS 데이터를 이용한 이동객체의 이동패턴 분석

  • 조재희;서일정;이덕규;하병국
    • 한국경영정보학회:학술대회논문집
    • /
    • 한국경영정보학회 2007년도 International Conference
    • /
    • pp.603-607
    • /
    • 2007
  • GPS 수신기의 지속적인 가격 하락과 GPS 기반의 다양한 위치기반서비스 개발로 인하여 개인 휴대용 GPS 수신기의 보급이 확대되고 있다. 이동객체의 위치 및 시간 정보를 포함하고 있는 GPS 데이터를 분석하면 이전에는 불가능했던 이동패턴을 파악하고 이해하는 것이 가능해진다. 이동객체 데이터의 저장과 분석에 관한 연구들이 진행되고 있지만, 이동객체의 속성에 따른 다차원적 이동패턴 분석에 관한 연구는 찾아보기 힘들다. 본 연구는 개인 휴대용 GPS 수신기를 통해 수집된 이동 데이터와 이동객체의 속성 데이터를 통합하여 이동객체의 시공간적 특성을 다차원적으로 분석할 수 있는 데이터마트를 구현하고 시각적으로 표현하였다. 이러한 과정을 통해 GPS 데이터를 이용한 이동패턴 분석의 유용성과 문제점을 탐색적으로 살펴보았다.

  • PDF

IoT 기반 빅데이터 효율성 향상을 위한 하둡기반 플랫폼 설계 (Design for Haddop-based Platform to Improve Io T-based Big Data Processing Efficiency)

  • 장경성;배상현
    • 통합자연과학논문집
    • /
    • 제13권3호
    • /
    • pp.114-119
    • /
    • 2020
  • IoT 및 사물인터넷 기반 빅데이터 시스템을 구축하는 경우 발생하는 빈번한 전송에 따른 데이터 오류율과 자원의 비효율적 이용율을 극복하기 위하고 오픈소스기반 하둡시스템의 문제점을 극복하기 위한 본 연구에서는 순수 하둡을 기반으로 적용된 결과를 분석하고 하둡 2.x대 버전을 기준으로 빅데이터 시스템의 용량을 산정한 가이드를 제시하고 용량 산정의 기준을 에코 소프트웨어 적용 플랫폼을 제안한다.

패션앱 후기글 평가분석에 기반한 의류 검색추천 챗봇 개발을 위한 학습데이터 EVAD 구축 (Construction of Evaluation-Annotated Datasets for EA-based Clothing Recommendation Chatbots)

  • 최수원;황창회;유광훈;남지순
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.467-472
    • /
    • 2021
  • 본 연구는 패션앱 후기글에 나타나는 구매자의 의견에 대한 '평가분석(Evaluation Analysis: EA)'을 수행하여, 이를 기반으로 상품의 검색 및 추천을 수행하는 의류 검색추천 챗봇을 개발하는 LICO 프로젝트의 언어데이터 구축의 일환으로 수행되었다. '평가분석 트리플(EAT)'과 '평가기반요청 쿼드러플(EARQ)'의 구성요소들에 대한 주석작업은, 도메인 특화된 단일형 핵심어휘와 다단어(MWE) 핵심패턴들을 FST 방식으로 구조화하는 DECO-LGG 언어자원에 기반하여 반자동 언어데이터 증강(SSP) 방식을 통해 진행되었다. 이 과정을 통해 20여만 건의 후기글 문서(230만 어절)로 구성된 EVAD 평가주석데이터셋이 생성되었다. 여성의류 도메인의 평가분석을 위한 '평가속성(ASPECT)' 성분으로 14가지 유형이 분류되었고, 각 '평가속성'에 연동된 '평가내용(VALUE)' 쌍으로 전체 35가지의 {ASPECT-VALUE} 카테고리가 분류되었다. 본 연구에서 구축된 EVAD 평가주석 데이터의 성능을 평가한 결과, F1-Score 0.91의 성능 평가를 획득하였으며, 이를 통해 향후 다른 도메인으로의 확장된 적용 가능성이 유효함을 확인하였다.

  • PDF

데이터 분석을 위한 다양한 질의를 지원하는 GUI기반 DB 액세스 인터페이스 설계 (Design of GUI based on DB Access Interface supporting various Queries for Data)

  • 양현식;백나은;배유림;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1106-1109
    • /
    • 2015
  • 빅데이터 시대가 도래함에 따라, 방대한 양의 데이터 분석을 위한 데이터베이스 관리시스템의 중요성이 높아지고 있다. 일반 사용자는, 대표적인 데이터베이스 질의 문법인 SQL을 알지 못하기 때문에, GUI 기반 DB 액세스 툴을 사용해야 한다. 그러나 현재 개발된 GUI 기반 데이터베이스 관리 시스템은 제한적인 기능만을 제공하며, 복잡한 질의를 위해서는 사용자가 SQL 기반의 질의를 직접 입력해야하는 문제점이 존재한다. 따라서 본 논문에서는, 데이터 분석을 위한 다양한 질의를 지원하는 GUI 기반 DB 액세스 인터페이스를 제안한다.

종단간 인공신경망 기반 이미지 압축 기술의 피쳐 공간 상관관계 분석 (Correlation Analysis of Feature Space Data in End-to-end Image Compression Network)

  • 이주영;정세윤;최진수
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.151-154
    • /
    • 2020
  • 뉴럴넷 기술이 발전과 힘께 다양한 분야에서 획기적인 성능 향상이 이루어지고 있다. 이미지 압축 분야에서도 기존의 전통적인 툴 제인 구조의 압축 방식에서 벗어나 종단간(end-to-end) 뉴렬넷 기반의 이미지 압축 기술에 대한 연구가 활발히 이루어지고 있다. 특히 최근 네트워크를 통해 변환된 피쳐 데이터의 엔트로피를 최소화하는 방식에 대한 연구가 활발히 이루어지고 있으며, 이에 기반한 최근의 연구는 VVC 화면 내 코딩 기술보다 우수한 코딩 효율성을 제공하고 있다. 그러나 변환된 피쳐 데이터에 대한 특성 분석은 부족한 실정이며, 이에 본 논문에서는 엔트로피 최소화 기반 종단간 이미지 압축 네트워크의 피쳐 공간 데이터에 대한 공간적 (spatial) 상관관계와 채널간(inter-channel) 상관관계(correlation)를 분석하고, 나아가 최근 제안된 종단간 이미지 압축 네트워크의 문맥 기반 예측 기능을 통해 잔존하는 데이터 중복성이 효과적으로 제거됨을 보인다.

  • PDF

맵리듀스 환경에서 규칙 기반 분류화를 이용한 궤적 데이터 주행 시간 예측 알고리즘 (Travel Time Prediction Algorithm for Trajectory data by using Rule-Based Classification on MapReduce)

  • 김재원;이현조;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.798-801
    • /
    • 2014
  • 여행 정보 시스템(ATIS), 교통 관리 시스템 (ITS) 등 궤적 기반 서비스에서, 서비스 품질을 향상시키기 위해서는 주어진 궤적 질의에 대한 정확한 주행시간을 예측하는 것이 필수적이다. 이를 위한 대표적인 공간 데이터 분석 기법으로는 데이터 분류에서 높은 정확도를 보장하는 규칙 기반 분류화 기법이 존재한다. 그러나 기존 규칙 기반 분류화 기법은 단일 컴퓨터 환경만을 고려하기 때문에, 대용량 공간 데이터 처리에 적합하지 않은 문제점이 존재한다. 이를 해결하기 위해, 본 연구에서는 맵리듀스 환경에서 규칙 기반 분류화를 이용한 궤적 데이터 주행 시간 예측 알고리즘을 개발하고자 한다. 제안하는 알고리즘은 첫째, 맵리듀스를 이용하여 대용량 공간 데이터를 병렬적으로 분석함으로써, 활용도 높은 궤적 데이터 규칙을 생성한다. 이를 통해 대용량 공간 데이터 기반의 규칙 생성 시간을 감소시킨다. 둘째, 그리드 구조 기반의 지도 데이터 분할을 통해, 사용자 질의처리 시 탐색 성능을 향상시킨다. 즉, 주행 시간 예측을 위한 규칙 그룹을 탐색 시 질의를 포함하는 그리드 셀만을 탐색하기 때문에, 질의처리 성능이 향상된다. 마지막으로 맵리듀스 구조에 적합한 질의처리 알고리즘을 설계하여, 효율적인 병렬 질의처리를 지원한다. 이를 위해 맵 함수에서는 선정된 그리드 셀에 대해, 질의에 포함된 도로 구간에서의 주행 시간을 병렬적으로 측정한다. 아울러 리듀스 함수에서는 출발 시간 및 구간별 주행 시간을 바탕으로 맵 함수의 결과를 병합함으로써, 최종 결과를 생성한다. 이를 통해 공간 빅데이터 분석을 통한 주행 시간 예측 기법의 처리 시간 및 결과 정확도를 향상시킨다.

임베디드 시스템을 위한 PSO 기반의 군집화 알고리즘의 구현 (The implementation of PSO clustering Algorithm for Embedded Systems)

  • 맹보연;최옥주;이민수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.290-293
    • /
    • 2009
  • 바이오 칩 분석 시스템은 유전자와 실험의 두 축으로 이루어진 바이오 칩에서 자료를 추출하고 필요한 정보를 얻기 위해 데이터를 분석하는 시스템이다. 유전자 데이터를 효율적으로 분석할 수 있는 방법으로 바이오 칩 분석 시스템이 각광받으면서 데이터의 양과 종류가 방대해지고 메모리의 효율적인 사용과 이에 따른 속도 개선을 위해 임베디드 시스템이 필요해지고 있다. 이에 따라 본 연구에서는 임베디드 시스템을 위한 PSO 기반의 군집화 알고리즘을 구현하였다. 방대한 양의 유전자 데이터를 분석하기 위해 생태계 모방 알고리즘인 Particle Swarm Optimization 알고리즘과 비슷한 유전자의 분류를 위한 기법으로 군집화를 사용하여 유전자 데이터의 통합 분석 시스템을 구현, 사용자에게 더욱 효율적으로 정보를 제공한다. 본 논문에서는 방대한 양의 데이터의 최적화에 효율적인 생태계 모방 알고리즘 Particle Swarm Optimization 을 이용하여 데이터들을 군집화하는 알고리즘을 임베디드 시스템을 위해 구현한 방법을 기술하고 있다.

Sentinel-1 자료를 이용한 한반도 산지에서의 토양수분 복원 연구 (Soil Moisture Retrieval of Mountainous Area on Korean Peninsula using Sentinel-1 Data)

  • 조성근;최민하
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.102-102
    • /
    • 2019
  • 토양수분은 수문 및 기상 현상의 주요 요인으로 가뭄, 홍수 및 범람과 같은 자연 재해와 관련이 깊은 인자이다. 이러한 토양수분의 관측 기술 중 위성 데이터를 활용한 원격탐사 기술은 광범위한 지역의 관측이 용이하고 지점이 아닌 공간 데이터를 제공하는 장점을 지니고 있어 토양수분의 관측에 유리하다. 특히 높은 해상도의 위성기반 토양수분 데이터는 토양수분의 변동성이 큰 지역의 수문, 기상학적 현상을 보다 자세히 분석할 수 있게 해주며 가뭄 및 범람과 같은 수자원 관련 재해를 정확하게 분석하는데 요구된다. 이로 인해 최근 Sentinel-1 위성에서 운용중인 Synthetic Aperture Radar(SAR) 데이터를 이용한 매우 높은 공간해상도(10m~1km)를 지니고 있는 토양수분데이터 생산에 관한 연구가 세계적으로 활발히 진행되고 있다. 그러나 국내에서는 Sentinel-1 위성을 이용한 토양수분 데이터 복원에 관한 연구가 미비한 실정이다. 따라서 본 연구에서는 파주 감악산 설마천 유역에서의 Sentinel-1 위성의 SAR 데이터를 이용한 고해상도 토양수분 데이터를 복원하고자 한다. 파주 설마천 유역은 감악산 일대로 경사가 심하고 식생이 두터운 산악지형이다. SAR를 이용하여 산지에서 신뢰성 있는 토양수분 자료를 복원하기 위해서는 가장 큰 오차의 원인으로 작용하는 경사와 식생을 고려하여야 한다. 먼저 표면 경사의 영향의 경우 SAR 센서의 레이더 입사각과 수치 표고 모델을 이용하여 고려하고자 한다. 다음 과정으로 표면 경사가 고려된 Sentinel-1 데이터의 후방산란계수와 Landsat-8 데이터 및 지점 토양수분 데이터를 이용하여 식생에 따른 후방산란계수의 거동을 Water Cloud Model을 이용하여 분석하였다. Water Cloud Model은 토양위의 식생의 수분이 후방산란계수에 혼동을 주는 구름과 같이 작용한다고 가정하고 식생수분을 후방산란계수와 레이더 입사각 및 식생지수를 통해 계산하는 모델이며 이를 이용하여 토양수분 복원에 있어 식생의 영향을 제거하고자 하였다. 이를 통해 식생과 표면 경사를 고려하여 복원된 토양수분 데이터를 설마천 유역의 지점 데이터와 비교 분석하고 다른 위성기반 토양수분 데이터 및 강우 데이터를 이용하여 평가하였다. 본 연구결과를 통해 한반도 산지에서의 SAR 데이터를 이용한 토양수분 복원 기술의 기초가 마련될 것이며 이를 통해 산지가 대부분인 한반도의 토양수분 거동을 이해하는데 유용한 자료를 제공할 수 있을 것으로 기대된다. 본 연구 이후에는 연구결과분석을 통한 산지에서의 고해상도 토양수분 복원 알고리즘을 분석, 보완하고 한반도에서의 SAR 기반 토양수분 데이터의 정확도를 높이는 연구가 진행되어야 할 것이다.

  • PDF

구간데이터분석을 위한 형식개념분석기반의 분류 (A FCA-based Classification Approach for Analysis of Interval Data)

  • 황석형;김응희
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권1호
    • /
    • pp.19-30
    • /
    • 2012
  • 다양한 정보기기와 소셜네트워크시스템, 그리고, 클라우드컴퓨팅환경 등과 같은 인터넷기반의 인프라를 토대로 분산화되고 공유가능한 데이터가 폭발적으로 증가하고 있다. 최근에는 데이터에 내재되어 있는 유용한 정보와 지식을 추출하고 분석 및 분류하기 위한 데이터분석 및 마이닝기법으로서, 이진데이터 또는 다치데이터에 관한 형식개념분석기법에 관한 연구가 활발하게 진행되어 다양한 분야에서 성공적으로 활용되고 있다. 그러나, 각 속성들이 구간값을 갖는 형태로 이루어진 구간데이터의 분석에 대한 형식개념분석에 관한 연구는 많이 수행되지 못하였다. 본 논문에서는, 구간데이터를 분석하기 위하여 형식개념분석기법을 기반으로 하는 새로운 분류기법을 제안한다. 또한, 구간데이터의 이진화, 개념추출 및 개념계층구조 구축 등, 본 논문에서 제안한 새로운 분류기법을 지원하기 위한 도구(iFCA)의 구축에 관하여 소개하고, 마지막으로, 몇가지 실세계의 데이터를 대상으로 한 실험결과를 토대로, 본 논문에서 제안하는 분류기법의 유용성에 대해서 설명한다.

스파크 기반의 대용량 데이터 압축을 이용한 실시간 데이터 분석 기법 (Real-time data analysis technique using large data compression based spark)

  • 박수용;신용태
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.545-546
    • /
    • 2020
  • 스파크는 데이터 분석을 위한 오픈소스 툴이다. 스파크에서는 실시간 데이터 분석을 위하여 스파크 스트리밍이라는 기술을 제공한다. 스파크 스트리밍은 데이터 소스가 분석서버로 데이터 스트림을 전송한다. 이때 전송하는 데이터의 크기가 커질 경우 전송과정에서 지연이 발생할 수 있다. 제안하는 기법은 전송하고자 하는 데이터의 크기가 클 때 허프만 인코딩을 이용하여 데이터를 압축하여 전송시키므로 지연시간을 줄일 수 있다.

  • PDF