• 제목/요약/키워드: Big Data enabled

검색결과 32건 처리시간 0.026초

Denoise of Astronomical Images with Deep Learning

  • Park, Youngjun;Choi, Yun-Young;Moon, Yong-Jae;Park, Eunsu;Lim, Beomdu;Kim, Taeyoung
    • 천문학회보
    • /
    • 제44권1호
    • /
    • pp.54.2-54.2
    • /
    • 2019
  • Removing noise which occurs inevitably when taking image data has been a big concern. There is a way to raise signal-to-noise ratio and it is regarded as the only way, image stacking. Image stacking is averaging or just adding all pixel values of multiple pictures taken of a specific area. Its performance and reliability are unquestioned, but its weaknesses are also evident. Object with fast proper motion can be vanished, and most of all, it takes too long time. So if we can handle single shot image well and achieve similar performance, we can overcome those weaknesses. Recent developments in deep learning have enabled things that were not possible with former algorithm-based programming. One of the things is generating data with more information from data with less information. As a part of that, we reproduced stacked image from single shot image using a kind of deep learning, conditional generative adversarial network (cGAN). r-band camcol2 south data were used from SDSS Stripe 82 data. From all fields, image data which is stacked with only 22 individual images and, as a pair of stacked image, single pass data which were included in all stacked image were used. All used fields are cut in $128{\times}128$ pixel size, so total number of image is 17930. 14234 pairs of all images were used for training cGAN and 3696 pairs were used for verify the result. As a result, RMS error of pixel values between generated data from the best condition and target data were $7.67{\times}10^{-4}$ compared to original input data, $1.24{\times}10^{-3}$. We also applied to a few test galaxy images and generated images were similar to stacked images qualitatively compared to other de-noising methods. In addition, with photometry, The number count of stacked-cGAN matched sources is larger than that of single pass-stacked one, especially for fainter objects. Also, magnitude completeness became better in fainter objects. With this work, it is possible to observe reliably 1 magnitude fainter object.

  • PDF

인공지능을 이용한 3D 콘텐츠 기술 동향 및 향후 전망 (Recent Trends and Prospects of 3D Content Using Artificial Intelligence Technology)

  • 이승욱;황본우;임성재;윤승욱;김태준;김기남;김대희;박창준
    • 전자통신동향분석
    • /
    • 제34권4호
    • /
    • pp.15-22
    • /
    • 2019
  • Recent technological advances in three-dimensional (3D) sensing devices and machine learning such as deep leaning has enabled data-driven 3D applications. Research on artificial intelligence has developed for the past few years and 3D deep learning has been introduced. This is the result of the availability of high-quality big data, increases in computing power, and development of new algorithms; before the introduction of 3D deep leaning, the main targets for deep learning were one-dimensional (1D) audio files and two-dimensional (2D) images. The research field of deep leaning has extended from discriminative models such as classification/segmentation/reconstruction models to generative models such as those including style transfer and generation of non-existing data. Unlike 2D learning, it is not easy to acquire 3D learning data. Although low-cost 3D data acquisition sensors have become increasingly popular owing to advances in 3D vision technology, the generation/acquisition of 3D data is still very difficult. Even if 3D data can be acquired, post-processing remains a significant problem. Moreover, it is not easy to directly apply existing network models such as convolution networks owing to the various ways in which 3D data is represented. In this paper, we summarize technological trends in AI-based 3D content generation.

Issues and Challenges in the Extraction and Mapping of Linked Open Data Resources with Recommender Systems Datasets

  • Nawi, Rosmamalmi Mat;Noah, Shahrul Azman Mohd;Zakaria, Lailatul Qadri
    • Journal of Information Science Theory and Practice
    • /
    • 제9권2호
    • /
    • pp.66-82
    • /
    • 2021
  • Recommender Systems have gained immense popularity due to their capability of dealing with a massive amount of information in various domains. They are considered information filtering systems that make predictions or recommendations to users based on their interests and preferences. The more recent technology, Linked Open Data (LOD), has been introduced, and a vast amount of Resource Description Framework data have been published in freely accessible datasets. These datasets are connected to form the so-called LOD cloud. The need for semantic data representation has been identified as one of the next challenges in Recommender Systems. In a LOD-enabled recommendation framework where domain awareness plays a key role, the semantic information provided in the LOD can be exploited. However, dealing with a big chunk of the data from the LOD cloud and its integration with any domain datasets remains a challenge due to various issues, such as resource constraints and broken links. This paper presents the challenges of interconnecting and extracting the DBpedia data with the MovieLens 1 Million dataset. This study demonstrates how LOD can be a vital yet rich source of content knowledge that helps recommender systems address the issues of data sparsity and insufficient content analysis. Based on the challenges, we proposed a few alternatives and solutions to some of the challenges.

저압용 보텍스튜브의 노즐면적비에 따른 에너지 분리특성에 관한 실험적 연구 (An Experimental Study on the Energy Separation in the Ratio of Nozzle Area of a tow Pressure Vortex Tube)

  • 오동진;최정원
    • 에너지공학
    • /
    • 제13권1호
    • /
    • pp.34-39
    • /
    • 2004
  • 본 논문에서는 압축공기를 작동매체로 한 저압용 보텍스튜브에 대한 에너지 분리과정을 상세히 연구하였다 먼저 보텍스튜브에서 에너지 분리되어 나오는 온공기와 냉공기의 온도변화에 대하여 실험하였고, 보텍스튜브의 안쪽표면의 최대벽면온도 변화와 보텍스튜브 내의 온도분포를 통하여 보텍스튜브 내 유동장에서의 정체점의 위치에 대한 유용한 정보를 얻게 되었다. 이를 바탕으로 보텍스튜브의 노즐면적비와, 오리피스의 크기에 따른 에너지분리 과정 등을 실험을 통하여 알아보았다. 이러한 기하학적 형상의 변화실험을 통하여 저압용?대형 보텍스튜브의 에너지 분리과정이 고압형\ulcorner소형 보텍스튜브 보다 에너지 분리효과가 증대됨으로 인하여 최적의 노즐면적비와 오리피스지름비가 차이가 있음을 알 수 있었다.

텍스트 마이닝을 이용한 이익조정 연구동향 토픽모델링 (Topic Modeling of Profit Adjustment Research Trend in Korean Accounting)

  • 김지연;나홍석;박경환
    • 디지털융복합연구
    • /
    • 제19권1호
    • /
    • pp.125-139
    • /
    • 2021
  • 본 연구는 이익조정을 연구주제로 국내 회계학 관련 논문들의 세부 연구 동향 파악을 목적으로 한국학술지인용색인(KCI)의 회계학 또는 경영학에 속하는 학술지에 게재된 논문 초록을 텍스트 마이닝 기법을 이용하여 분석하였다. 분석 결과, 이익조정 관련 회계학 논문들이 감사 및 감사보고서, 법인세 및 부채비율, 기업의 전반적인 경영전략, 재무제표와 회계기준의 4가지 연구 영역으로 나누어지는 것을 확인하였으며, 재무제표와 회계기준이 주된 토픽일 것이라는 예측과는 달리 감사가 가장 많이 연구된 토픽으로 분석되었다. 이어 토픽별 논문 수를 기준으로 토픽 트렌드를 확인하고 특이사항에 대한 원인을 분석하였으며, K-IFRS의 도입이 이익조정 연구에 미친 영향을 확인하였다. 본 연구는 이익조정에 대한 자세한 연구 동향에 대한 정보를 제공하고 회계학 문헌분석 연구방법으로 텍스트 마이닝 기법을 제시하였다. 또한 정책결정자 및 기업 실무 담당자가 이익조정 관련하여 회계기준 외에 감사 등 4개 토픽별로 추가적으로 고려하여야 할 사항과 그 추세를 파악할 수 있도록 하였다.

이질적 이미지의 딥러닝 분석을 위한 적대적 학습기반 이미지 보정 방법론 (Adversarial Learning-Based Image Correction Methodology for Deep Learning Analysis of Heterogeneous Images)

  • 김준우;김남규
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권11호
    • /
    • pp.457-464
    • /
    • 2021
  • 빅데이터 시대의 도래는 데이터에서 스스로 규칙을 배우는 딥러닝의 비약적인 발전을 가능하게 하였으며, 특히 CNN 알고리즘이 거둔 성과는 모델의 구조를 넘어 소스 데이터 자체를 조정하는 수준에 이르렀다. 하지만 기존의 이미지 처리 방법은 이미지 데이터 자체를 다룰 뿐, 해당 이미지가 생성된 이질적 환경을 충분히 고려하지 않았다. 이질적 환경에서 촬영된 이미지는 동일한 정보임에도 촬영 환경에 따라 각 이미지의 특징(Feature)이 상이하게 표현될 수 있다. 이는 각 이미지가 갖는 상이한 환경 정보뿐 아니라 이미지 고유의 정보조차 서로 상이한 특징으로 표현되며, 이로 인해 이들 이미지 정보는 서로 잡음(Noise)으로 작용해 모델의 분석 성능을 저해할 수 있음을 의미한다. 따라서 본 논문은 이질적 환경에서 생성된 이미지 데이터들을 동시에 사용하는 앤드-투-앤드(End-To-End) 구조의 적대적 학습(Adversarial Learning) 기반의 이미지 색 항상성 모델 성능 향상 방안을 제안한다. 구체적으로 제안 방법론은 이미지가 촬영된 환경인 도메인을 예측하는 '도메인 분류기'와 조명 값을 예측하는 '조명 예측기'의 상호 작용으로 동작하며, 도메인 분류의 성능을 떨어뜨리는 방향의 학습을 통해 도메인 특성을 제거한다. 제안 방법론의 성능을 평가하기 위해 이질적 환경에서 촬영된 이미지 데이터 셋 7,022장에 대한 색 항상성 실험을 수행한 결과, 제안 방법론이 기존 방법론에 비해 Angular Error 측면에서 우수한 성능을 나타냄을 확인하였다.

기계학습을 이용한 가축 질병 조기 발견 방안 (Fast Detection of Disease in Livestock based on Machine Learning)

  • 이웅섭
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.294-297
    • /
    • 2015
  • 최근 기계학습에 기반을 둔 빅데이터 분석이 큰 관심을 받으면서 다양한 학문 분야에 기계 학습 방안들이 접목되고 있다. 그 대표적인 분야 중 하나로 농축산 분야를 들 수 있고 실제 다양한 기계학습 방안들이 농축산분야에 적용되고 있다. 하지만 농축산에서 활용되는 기계학습의 경우 대부분 농업분야의 기후예측 및 축산분야의 유전자 분석 쪽으로 연구가 집중되어있고, 가축의 생체 데이터를 활용한 기계학습 방안은 많은 연구가 이루어지지 않았다. 본 연구에서는 가축의 실시간 생체 데이터를 이용하여 문제가 발생한 개체를 조기에 발견하는 방안을 제안하였다. 제안 방안에서는 기댓값 최대화 알고리즘을 이용하여 단일 가축 개체들의 실시간 생체 데이터를 2개의 클러스터로 나누고 이 두 클러스터 사이즈의 변화를 통해서 이상 개체를 조기에 판단한다. 특히 단일 개체의 문제와 전염성 질병 여부를 나누어 판단하므로 구제역과 같은 전염성 질병의 경우 빠른 대응을 가능케 하여 국가적 손실을 줄일 수 있게 한다. 더불어 제안 방안은 측정 생체 데이터에 대한 통계적 정보 없이도 적응적으로 클러스터를 형성할 수 있으므로 축사 외부의 환경 요소에 의해서 생체 데이터의 통계적 특성이 변화는 상황에서도 적응적으로 동작할 수 있다.

  • PDF

모던 웹 브라우저(Modern-Web-Browser) 기반 애플리케이션 성능분석을 위한 요소 연구 (Research for the Element to Analyze the Performance of Modern-Web-Browser Based Applications)

  • 박진태;김현국;문일영
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 추계학술대회
    • /
    • pp.278-281
    • /
    • 2018
  • 초기의 웹 기술은 텍스트 위주의 정보를 브라우저를 통해 보여주는 것이었다. 하지만 웹 기술이 발전하면서 브라우저를 통해 대용량의 멀티미디어 데이터를 보여주는 것이 가능해졌다. 웹 기술이 센서 네트워크, 하드웨어 제어, 빅 데이터와 인공지능 서비스를 위한 데이터 수집 및 분석 등 다양한 분야에 적용되고 있다. 대표적으로 사물인터넷의 인터페이스에 웹 브라우저를 탑재해 HTTP 통신으로 센서를 제어하고, 정보를 사용자에게 제공하는 사물 웹 플랫폼에 대한 표준이 마련되었다. 또한, 최근에는 웹 어셈블리의 개발로 웹 브라우저에서 실행할 수 없었던 3D 객체, 가상/증강 현실 콘텐츠를 C계열의 네이티브 언어를 통해 실행 가능해졌다. 기존 웹 애플리케이션의 성능을 평가하는 요소는 퍼포먼스, 네트워크 리소스, 보안 등의 요소들이 있었다. 하지만 웹 애플리케이션이 적용되는 분야가 다양해진 만큼 이 요소들에 대한 재해석과 검토가 필요한 시점이다. 이에 본 논문에서는 웹 애플리케이션의 성능을 평가하는 요소들에 대한 분석을 진행하고자 한다. 각 요소들에 대한 분석과 주요점, 보완되어야 하는 사항 등을 검토하여, 웹 기반 애플리케이션 개발의 한 지표를 정립하고자 한다.

  • PDF

COVID-19 사회적 거리두기가 도시공간이용에 미치는 영향 (Impacts of Social Distancing for COVID-19 on Urban Space Use in Seoul)

  • 박홍일;이상경
    • 한국측량학회지
    • /
    • 제39권6호
    • /
    • pp.457-467
    • /
    • 2021
  • 이 연구에서는 COVID-19 확산에 따른 정부의 사회적 거리두기 조치가 도시민들의 공간이용행태에 미친 영향을 서울시 생활인구 자료를 이용하여 분석한다. 생활인구는 서울시와 KT가 공공빅데이터와 LTE시그널 데이터를 이용하여 추계한 특정시점, 특징지역에 존재하는 모든 인구이다. 커널밀도추정과 공간자기상관을 이용하여 COVID-19 유행 전후인 2019년과 2020년의 주중 주간생활인구를 분석한 결과, 2019년과 2020년의 생활인구분포는 전반적으로 유사한 패턴을 보였다. 이는 정부의 사회적 거리두기 조치가 COVID-19 확산을 통제하면서도 어느 정도 정상적인 활동을 가능하게 했다는 것을 의미한다. 그러나 2020년과 2019년의 차감생활인구에 대한 분석 결과는 미시적 차원에서 다른 결과를 보여주고 있다. 상업시설과 업무시설이 밀집한 지역에서는 주간생활인구가 감소하였으며 주거지역에서는 증가한 것으로 나타났다. 이는 COVID-19 사회적 거리두기 조치가 공간적으로 균등하지 않은 영향을 발생시켰다는 것을 의미한다. 공간회귀분석을 통해 지역, 토지이용, 경제, 교육, 접근성 특성의 생활인구 변화 영향을 분석한 결과, 상업과 업무시설 밀도가 높을수록, 규제를 받는 업종들과 비대면 수업을 하는 학교와 대학교가 많을수록 주간생활인구가 더 감소한 것으로 나타났다. 반면, 재택근무와 야외활동 증가로 주택과 공원이 많을수록 주간생활인구가 더 증가한 것으로 나타났다.

GWL을 적용한 공간 헤도닉 모델링 (Spatial Hedonic Modeling using Geographically Weighted LASSO Model)

  • 진찬우;이건학
    • 대한지리학회지
    • /
    • 제49권6호
    • /
    • pp.917-934
    • /
    • 2014
  • 지리가중회귀 모델(GWR)은 국지적으로 이질적인 부동산 가격을 추정할 수 있는 도구로 폭넓게 활용되어 왔다. 그럼에도 불구하고 GWR은 공간적으로 이질적인 가격결정요인의 선택이나 국지적 추정에서의 관측치 수의 제한 등과 같은 한계를 가지고 있다. 본 연구는 이러한 한계를 극복하기 위한 대안으로 최근 주목받고 있는 지리가중라소 모델(GWL)을 이용하여 국지적으로 다양한 부동산 가격결정요인들을 탐색하고, 부동산 가격 추정에 있어서 GWL 모델의 적용가능성을 살펴보고자 한다. 이를 위해 서울시 아파트 가격을 대상으로 OLS, GWR, GWL의 헤도닉 모델을 구축하였으며, 모델의 설명력, 예측력, 다중공선성 측면에서 이들을 비교 분석하였다. 그 결과, 전역적 모델에 비해 국지적 모델이 전체적인 설명력, 예측력이 우수한 것으로 나타났으며, 특히 국지적 모델 중 GWL 모델은 다중공선성 문제를 자동적으로 해결하면서 공간적으로 이질적인 가격 결정요인 집합들을 도출하였고, 다른 모델들에 비해 상당히 높은 설명력과 예측력을 보여주고 있다. 본 연구에서 적용한 GWL 모델은 고차원의 데이터셋에서 유의미한 독립 변수들을 효율적으로 선정하는데 직접적인 도움을 줌으로써 부동산과 같이 대용량의 복잡한 구조를 가진 공간 빅데이터를 위한 유용한 분석 기법으로 활용될 수 있을 것이다.

  • PDF