• 제목/요약/키워드: 공간데이터 프로세싱

검색결과 33건 처리시간 0.019초

효과적인 데이터 수집을 위한 웹 크롤러 개선 및 동적 프로세스 설계 및 구현 (Web crawler Improvement and Dynamic process Design and Implementation for Effective Data Collection)

  • 왕태수;송재백;손다연;김민영;최동규;장종욱
    • 한국정보통신학회논문지
    • /
    • 제26권11호
    • /
    • pp.1729-1740
    • /
    • 2022
  • 근래 정보의 다양성과 활용에 따라 많은 데이터가 생성되었고, 데이터를 수집, 저장, 가공 및 예측 하는 빅데이터 분석의 중요성이 확대되었으며, 필요한 정보만을 수집할 수 있는 능력이 요구되고 있다. 웹 공간은 절반 이상이 텍스트로 이루어져 있고, 유저들의 유기적인 상호작용을 통해 수많은 데이터가 발생한다. 대표적인 텍스트 데이터 수집 방법으로 크롤링 기법이 있으나 데이터를 가져올 수 있는 방법에 치중되어 웹 서버나 관리자를 배려하지 못하는 크롤러가 많이 개발되고 있다. 본 논문에서는 크롤링 과정에서 발생할 수 있는 문제점 및 고려해야 할 주의사항에 대해 살펴보고 효율적으로 데이터를 가져올 수 있는 개선된 동적 웹 크롤러를 설계 및 구현한다. 기존 크롤러의 문제점들을 개선한 크롤러는 멀티프로세스로 설계되어 작업소요 시간이 평균적으로 4배정도 감소하였다.

위성영상과 SEBAL 모형을 이용한 경안천 유역의 공간증발산량 산정 (Estimation of Spatial Evapotranspiration Using satellite images and SEBAL Model in Gyeongancheon watershed)

  • 하림;신형진;박민지;김성준
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2009년도 춘계학술대회 논문집
    • /
    • pp.129-133
    • /
    • 2009
  • 본 연구에서 소개할 SEBAL (Surface Energy Balance Algorithm for Land) (Bastiaanssen, 1995) 모형은 Landsat이나 NOAA 또는 MODIS 같은 원격탐사 위성으로부터 획득한 디지털 이미지 데이터(위성영상)를 이용하여, 지표에서 일어나는 증발산과 기타의 에너지 교환을 계산하는 이미지-프로세싱 모델이다. SEBAL 모형은 1995년 Bastiaanssen에 의해 처음 제안되었고, 미국의 Idaho 주립대학과 Idaho Department of Water Resources에서 NASA와 기업의 지원을 받아 활발히 연구 되었으며, 25개의 sub model들을 이용하여 지표의 증발산량과 기타 여러 에너지 교환을 계산한다. 여기서, 열적외선 방사, 표시 및 근적외선 측정은 Landsat 또는 기타 여러 위성영상을 통해 얻을 수 있으며, SEBAL 모형은 이러한 자료를 활용한다. 모형에서의 증발산량(ET)은 에너지 균형원리를 통해 pixel-by-pixel을 기준으로 계산되며, 본 연구에서 SEBAL 모형은 한강 유역 내의 경안천 유역 증발산량 map 생성을 위해 6개년도 지점 Landsat 위성영상을 이용하어 추정되었다. 연구의 목적은 SEBAL 모형을 통해 생성 된 30m 해상도의 공간 증발산량 map의 활용성 평가와 검증이며, 검증을 위해 FAO Penman-Monteith 공식을 이용하여 추정된 증발산량 값을 이용하였다. 그 결과, 오차가 2.7% 이내로 나타났다.

  • PDF

비트맵과 벡터방식을 혼합한 새로운 이미지 편집기 (New Image Editor based on Combination of Bitmap and Vector Method)

  • 김진호;이규남;나인호
    • 한국정보통신학회논문지
    • /
    • 제6권2호
    • /
    • pp.288-293
    • /
    • 2002
  • 이미지 데이터는 표현 방식에 따라서 비트맵과 벡터 방식으로 나누어진다. 비트맵 방식은 이미지 데이터를 픽셀이라는 2차원 맵으로 구성한 것이며, 벡터방식은 주어진 2차원 또는 3차원 공간에 선이나 형상을 그리기 위해 일련의 명령어나 수학적 표현으로 나타낸 것이다. 따라서 서로 다른 방식의 이미지를 제작 및 편집하고 자 하는 경우에는 각기 다근 응용프로그램을 사용해야 하는 문제점이 있다. 본 논문에서는 비트맵과 벡터 방식을 혼합하여 하나의 응용프로그램에서 이미지의 제작 및 편집이 가능한 이미지 편집 도구의 설계 및 구현 방법에 대하여 기술하였다.

LiDAR자료의 3차원 정보를 이용한 최적 Sensor 위치 선정방법론 개발 (Process Development for Optimizing Sensor Placement Using 3D Information by LiDAR)

  • 유한서;이우균;최성호;곽한빈;곽두안
    • 대한공간정보학회지
    • /
    • 제18권2호
    • /
    • pp.3-12
    • /
    • 2010
  • 최근 항공사진과 고해상도 위성영상의 보급과 수치사진측량 시스템 및 분석 알고리즘의 발전으로 인하여 데이터 추출, 영상이미지프로세싱처리, 정밀 대축척지도제작 등의 연구가 진행되고 있지만 2차원 평면 정보라는 제한적인 요소를 가지고 있다. 이에, 높은 위치정확도와 개체인식을 위한 정확한 공간정보와 3차원 좌표가 필요하게 되었다. 본 연구에서는 높은 위치정확도가 검증된 LiDAR의 3차원 공간정보를 이용하여 실제 지형을 반영하였고, 센서 최적 위치를 도출하기위해 확률알고리즘을 개발하고 공간분석을 통해 확률 값을 산정하였다. Grid기반인 2차원 3차원 센서위치지점을 생성하고 LiDAR의 3차원정보를 센서감지영역 산정에 적용하였다. 이 데이터를 바탕으로 알고리즘을 구현하여 최적 센서위치지점으로 선정하였다. 또한 최적 센서위치지점 선정 시 고려사항을 3가지 조건으로 나누었다. 첫째조건은 방해물이 없는 2차원인 경우(2-D Non obstacle), 둘째조건은 방해물이 존재하는 2차원인 경우(2-D Obstacle), 셋째는 방해물이 존재하며 3차원인 조건(3-D Obstacle)으로 설정하였다. 이 3가지 조건에 알고리즘을 적용하여 2차원, 3차원적 공간에 대한 최적위치선정 방법을 검토하였다. 결론적으로 본 연구에서는 LiDAR 데이터를 이용하여 정보 수집을 위한 지상 고정센서 위치 선정 방법론을 제시하고자 하였다.

위성영상을 이용한 난대림 식생 분류와 관리 시스템 (Classification of Warm Temperate Vegetation Using Satellite Data and Management System)

  • 조성민;오구균
    • 한국환경생태학회지
    • /
    • 제18권2호
    • /
    • pp.231-235
    • /
    • 2004
  • 본 연구의 목적은 1991년 위성 데이터와 2002년의 위성 데이터의 비교 분석을 통한 전남 완도의 난대림 식생 변화추이를 밝히는데 있다. 이를 위해 1991년 Landsat TM영상과 2002년 Landsat ETM 영상이 이용되었으며, 이미지 프로세싱은 ENVI를 이용하였다. GIS를 이용한 난대림 관리 시스템 개발은 Arc/Info와 ArcView를 이용하여 완성되었다. 영상 데이터의 촬영시기 차이와 TM 영상의 해상도(Resolution)가 정밀하지 못해 복잡한 지형특성을 지닌 곳에서는 정확한 변화추이를 파악하기는 불가능하였으나, 2002년 영상을 이용하여 분석된 완도의 상록활엽수림 면적은 약 2,027ha로 산출되었다. 상록활엽수림과 상록침엽수림은 11년 전에 비해 소폭으로 증가하였으나 낙엽활엽수림은 큰 폭으로 감소하였다. 식생분류를 위한 기준은 상록활엽수림, 상록침엽수림, 낙엽활엽수림, 기타로 구분하였으며 감독분류기법을 통해 식생이 분류되었다. 완도의 공간 데이터는 녹지자연도, 현존식생도, 산림토양도, 훼손유형도, 지형도, 토지소유현황도로 분류되었고, 이에 대한 속성 데이터 베이스는 Arc/Info와 ArcView를 이용하여 완성되었다. 데이터를 관리하고 필요한 정보를 색인 분석하는 사용자 GUI(Graphic User Interface)는 Avenue를 이용하여 개발되었다.

Resolving Memory Bottlenecks in Hardware Accelerators with Data Prefetch

  • Hyein Lee;Jinoo Joung
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권6호
    • /
    • pp.1-12
    • /
    • 2024
  • 최근 다양한 분야에서 딥러닝이 사용되면서, 더 빠르고 정확한 결과를 내는 딥러닝이 더욱 중요해졌다. 이를 위해서는 많은 양의 저장 공간이 필요하고, 대용량 연산을 진행해야 한다. 이에 따라 여러 연구는 빠르고 정확하게 연산 처리가 가능한 하드웨어 가속기를 이용한다. 하지만 하드웨어 가속기는 CPU와 하드웨어 사이를 이동하면서 병목현상이 발생하게 된다. 따라서 본 논문에서는 하드웨어 가속기의 병목현상을 효율적으로 줄일 수 있는 데이터 프리패치 전략을 제안한다. 데이터 프리패치 전략의 핵심 아이디어는 Matrix Multiplication Unit(MMU)가 연산을 진행하는 동안 다음 연산에 필요한 데이터를 예측하여 로컬 메모리로 올려 병목현상을 줄인다. 또한, 이 전략은 듀얼 버퍼를 이용하여 읽고 쓰는 두 가지 동작을 동시에 진행하여 처리율을 높인다. 이를 통해 데이터 전송의 지연시간 및 실행 시간을 감소시킨다. 시뮬레이션을 통해 듀얼 버퍼를 이용한 병렬 프로세싱과 데이터 프리패치를 이용한 메모리 간 병목현상을 최대한 감소시켜 하드웨어 가속기의 성능이 24% 향상함을 알 수 있다.

모바일 초음파 영상신호의 빔포밍 기법을 위한 최적의 매니코어 프로세서 구현 (Implementation of an Optimal Many-core Processor for Beamforming Algorithm of Mobile Ultrasound Image Signals)

  • 최병국;김종면
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권8호
    • /
    • pp.119-128
    • /
    • 2011
  • 본 논문에서는 모바일 초음파(mobile ultrasound) 영상신호의 빔포밍 알고리즘에서 요구되는 고성능 및 저전력을 만족시키는 매니코어 프로세서에 대한 디자인 공간 탐색 방법을 소개한다. 매니코어 프로세서의 디자인 공간 탐색을 위해 매니코어의 각 프로세싱 엘리먼트(Processing Element, PE)당 초음파 영상신호 데이터의 수를 변화시키는 실험을 통해 실행시간, 에너지 효율 및 시스템 면적 효율을 측정하고, 측정된 결과를 바탕으로 최적의 매니코어 프로세서 구조를 선택하였다. 모의실험 결과, PE 개수가 4096일 때 에너지 효율이 가장 높았으며, PE 개수가 1024일 때 가장 높은 시스템 면적 효율을 보였다. 또한, PE 개수가 4096인 매니코어 아키텍처는 초음파 영상장치에 가장 많이 사용되는 TI DSP C6416보다 각각 에너지 효율에서 46배, 시스템 면적 효율에서 10배의 향상을 보였다.

A New Residual Attention Network based on Attention Models for Human Action Recognition in Video

  • Kim, Jee-Hyun;Cho, Young-Im
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권1호
    • /
    • pp.55-61
    • /
    • 2020
  • 딥 러닝 기술의 발전과 컴퓨팅 파워 등의 개선으로 인해 비디오 기반 연구는 최근 많은 관심을 얻고 있다. 비디오 데이터가 이미지 데이터와 비교하여 가장 큰 차이는 비디오 데이터에는 많은 양의 시간적, 공간적 정보가 포함되어 있다는 점이다. 이처럼 비디오에 포함된 많은 양의 데이터로 인해 컴퓨터 비전 연구에 있어서 행동 인식은 중요한 연구 과제 중 하나이지만, 비디오와 같이 움직임이 있는 환경에서 인간의 행동 인식은 매우 복잡하고 도전적인 과제이다. 인간에 대한 여러 연구를 바탕으로 인공지능에서는 인간과 유사한 주의(attention)메커니즘이 효율적인 인식 모델이라는 것을 알게 되었다. 이 효율적인 모델은 이미지 정보와 복잡한 연속 비디오 정보를 처리하는 데 이상적이다. 본 논문에서는 이러한 연구배경을 기반으로, 비디오에서 인간의 행동을 효율적으로 인식하기 위해 먼저 인간의 행동에 주목한 후 비디오 행동 인식에 주의메커니즘을 도입하고자 한다. 논문의 주요내용은 두 가지 주의 메카니즘을 기반으로 컨볼루션 신경망을 이용한 새로운 3D 잔류 주의 네트워크를 제안함으로써 비디오에서 인간의 행동을 식별하고자 한다. 제안 모델의 평가 결과 최대 90.7%정도의 정확도를 보였다.

근거리 사진계측기법을 이용한 강관보강 모형터널굴착의 지반거동 분석 (Analysis of ground behavior for model tunnel excavation with pipe roof reinforcement using close range photogrammetric technique)

  • 이정환;이용주
    • 한국터널지하공간학회 논문집
    • /
    • 제16권4호
    • /
    • pp.387-402
    • /
    • 2014
  • 혼잡한 도심지에서는 지상의 공간부족에 따른 터널 구조물에 대한 시공의 필요성이 늘어나고 있다. 터널은 굴착 시 주위 지반의 교란 및 변위를 발생시키는데, 그에 따른 안정성 검토가 필요하다. 따라서 본 연구에서는 터널굴착에 따른 지반의 거동을 측정하기 위해 모형터널 장비를 개발하였다. 모형터널은 터널굴착을 모사하기 위해서 터널 내부의 일정한 물의 양을 조절하면서 외경을 축소한다. 그에 따라 발생하는 체적손실이 터널굴착에 따른 지반의 변위를 발생시킨다. 지반의 변형 측정은 근거리 사진계측기법을 사용하였으며, 이를 변위분포도와 변위벡터로 나타내었고, 유한요소 수치해석, 기존 문헌, 이론 및 경험식들과 비교하였다. 또한, 터널 천단부 강관 보강 및 무보강의 터널굴착에 따른 모형시험을 진행하여 지반의 거동을 분석하였다. 본 연구의 실내모형터널시험은 지반의 자세한 변위 데이터를 얻기 위해 흙으로 가정한 알루미늄봉과 근거리 사진계측을 사용한 이상화된 2차원의 연구이다. 그 결과, 유한요소 수치해석에서의 흙의 변형 패턴이 실제 모형 시험과 상당히 유사함을 확인 및 검증 할 수 있었다.

퍼지 벡터 양자화를 위한 대규모 병렬 알고리즘 (A Massively Parallel Algorithm for Fuzzy Vector Quantization)

  • ;김철홍;김종면
    • 정보처리학회논문지A
    • /
    • 제16A권6호
    • /
    • pp.411-418
    • /
    • 2009
  • 퍼지 클러스터링 기반 벡터 양자화 알고리즘은 퍼지 클러스터링 분석이 벡터 양자화 프로세스 초기단계에서 초기화에 덜 민감하게 하기 때 문에 데이터 압축 분야에서 널리 사용되어 왔다. 하지만, 퍼지 클러스터링 처리는 훈련 벡터 공간에 포함된 불확실한 양적 공식의 복잡한 프레 임워크 때문에 상당한 계산량이 요구된다. 이러한 상당한 계산량 부하를 극복하기위해 본 논문은 4,096 프로세싱 엘리먼트로 구성된 어레이 아 키텍처를 이용하여 퍼지 벡터 양자화 알고리즘의 병렬 구현을 제안한다. 제안하는 병렬 구현은 4,096 프로세싱 엘리먼트를 이용하여 클러스터 링 프로세스 동안 효과적인 벡터 할당 정책을 적용함으로써 계산적으로 효율적인 솔루션을 제공한다. 모의실험 결과, 제안한 병렬 구현은 기존 의 다른 어레이 아키텍처를 이용한 구현보다 성능 및 효율 측면에서 상당한 향상을 보였다. 또한동일한 130nm 기술에서 제안한 병렬 구현은 오늘날의 ARM이나 TI DSP 프로세서를 이용한 구현과 비교하여 약 1000배의 성능 향상 및 100배의 에너지 효율 향상을 보였다. 이 결과들은 향상된 성능 및 에너지효율에서 제안한 병렬 구현의 잠재가능성을 입증한다.