• 제목/요약/키워드: AI data framework

검색결과 91건 처리시간 0.023초

위성영상-AI 기반 재난모니터링과 실현 가능한 준실시간 통합 재난모니터링 시스템 (Satellite Imagery and AI-based Disaster Monitoring and Establishing a Feasible Integrated Near Real-Time Disaster Monitoring System)

  • 김준우;김덕진
    • 한국지리정보학회지
    • /
    • 제23권3호
    • /
    • pp.236-251
    • /
    • 2020
  • 원격탐사 기술의 발전과 활용 가능한 위성의 증가로 재난의 예방, 대비, 대응, 복구 등에서 위성영상자료의 활용에 대한 요구가 높아지고 있다. 위성영상은 센서의 특성에 따라 적용 가능한 재난의 모니터링을 위해 활용되고 있지만, 통합된 모니터링 시스템의 구축을 위해 기존 시스템을 평가하고 이를 바탕으로 실현 가능한 준실시간 통합 재난모니터링 시스템 구축을 위한 구체적인 청사진을 제시한 연구는 국내뿐만 아니라 국외에서도 그 사례가 확인되지 않는다. 본 연구는 원격탐사를 통한 재난모니터링의 개념화를 통해 준실시간 재난모니터링 시스템 구축의 장애요인들을 확인하고, 실제로 활용 가능한 영상자료와 실현 가능한 재난모니터링 시스템을 제시하였다. 원격탐사를 통한 준실시간 재난모니터링은 다양한 요인들에 의해 통합시스템의 구축이 제한되며, 시스템 구축을 위한 기술적, 경제적 요인과 함께 위성영상 확보의 적시성을 가로막는 정책적 요인과 일관성 있는 정보생산을 위한 영상분석에 대한 제도적 요인에도 크게 영향을 받는 것으로 나타났다. 이러한 제약들은 AWS(Amazon Web Services)와 같은 위성영상의 저장, 취득, 분석에 활용되는 컴퓨팅 플랫폼과 같은 통합서버의 확보와, 재난의 종류와 상황에 부합하는 활용 가능 위성의 궤도분석을 가능하게 하는 분석도구의 개발에 의해 극복될 수 있을 것으로 판단된다. 본 연구는 이러한 제도적, 경제적, 기술적, 정책적 제약들을 극복할 수 있는 위성영상 기반 통합 재난모니터링 시스템 구축을 위한 프레임워크를 제시하였으며, 재난의 종류와 단계에 따른 AI 기반 위성영상 분석 방법론을 제안하였다. 이러한 결과는 원격탐사와 재난관리 분야에 학술적 시사점을 제공하고, 재난모니터링 분야에 실무적 기여를 할 것으로 판단된다.

Spark 기반에서 Python과 Scala API의 성능 비교 분석 (Performance Comparison of Python and Scala APIs in Spark Distributed Cluster Computing System)

  • 지경엽;권영미
    • 한국멀티미디어학회논문지
    • /
    • 제23권2호
    • /
    • pp.241-246
    • /
    • 2020
  • Hadoop is a framework to process large data sets in a distributed way across clusters of nodes. It has been a popular platform to process big data, but in recent years, other platforms became competitive ones depending on the characteristics of the application. Spark is one of distributed platforms to enable real-time data processing and improve overall processing performance over Hadoop by introducing in-memory processing instead of disk I/O. Whereas Hadoop is designed to work on Java and data analysis is processed using Java API, Spark provides a variety of APIs with Scala, Python, Java and R. In this paper, the goal is to find out whether the APIs of different programming languages af ect the performances in Spark. We chose two popular APIs: Python and Scala. Python is easy to learn and is used in AI domain in a wide range. Scala is a programming language with advantages of parallelism. Our experiment shows much faster processing with Scala API than Python API. For the performance issues on AI-based analysis, further study is needed.

봇 프레임워크를 활용한 챗봇 구현 방안 (Method of ChatBot Implementation Using Bot Framework)

  • 김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제15권1호
    • /
    • pp.56-61
    • /
    • 2022
  • 본 논문에서 챗봇에서 사용하는 AI알고리즘과 자연어처리 방법을 분류하고 제시하고 챗봇 구현에 사용할 수 있는 프레임워크에 대해서도 기술한다. 챗봇은 사용자 인터페이스를 대화방식으로 구성하여 입력된 문자열을 해석하고 입력된 문자열에 적절한 답을 학습된 데이터에서 선택하여 출력하는 구조의 시스템이다. 최근 콜센터와 주문 업무에 적용하여 인건비를 감소하고 정확한 업무를 할 수 있는 장점이 있다. 하지만 질문에 대한 적정한 답변 집합을 생성하기 위해 학습이 필요하며 이를 위해 상당한 계산 기능을 갖는 하드웨어가 필요하다. 개발을 하는 업체는 물론 AI분야 개발을 학습하는 학생들의 실습은 한계가 있다. 현재 챗봇은 기존의 전통적인 업무를 대체하고 있으며 시스템을 이해하고 구현하는 실습과정이 필요한 실정이다. 정형화되어 있는 데이터에 대해서만 응답을 하는 수준을 넘어 딥러닝 등의 기술을 적용하여 비정형 데이터를 학습시켜 질문에 대한 응답의 정확성을 높이기 위해 RNN과 Char-CNN 등을 사용해야한다. 챗봇을 구현하기 위해서는 이와 같은 이론을 이해하고 있어야한다. 본 논문에서는 단기간에 챗봇 코딩교육에 활용할 수 있는 방안과 기존 개발자, 학생들이 챗봇 구현을 할 수 있는 플랫폼을 활용하여 학생들이 전체시스템을 구현 예를 제시하였다.

행렬 전치를 이용한 효율적인 NaiveBayes 알고리즘 (An Efficient Algorithm for NaiveBayes with Matrix Transposition)

  • 이재문
    • 정보처리학회논문지B
    • /
    • 제11B권1호
    • /
    • pp.117-124
    • /
    • 2004
  • 본 논문은 NaiveBayes에서 정확도의 손실 없이 효율적으로 동작하는 NaiveBayes에 대한 새로운 알고리즘을 제안한다. 제안된 방법은 분류 벡터에 대한 행렬 전치를 사용하여 NaiveBayes의 확률 계산 량을 최소화하는 것이다. 제안된 방법을 문서 분류 프레임 인 AI::Categorizer 상에서 구현하였으며, 잘 알려진 로이터-21578 데이터를 사용하여 기존의 NaiveBayes 방법과 비교하였다. 성능 비교의 결과로부터 제안된 방법이 기존의 NaiveBayes 방법보다 실행 속도측면에서 약 2배 정도의 성능 개선 효과가 있음을 알 수 있었다. 수 있었다.

REVIEW OF DIFFUSION MODELS: THEORY AND APPLICATIONS

  • HYUNGJIN CHUNG;HYELIN NAM;JONG CHUL YE
    • Journal of the Korean Society for Industrial and Applied Mathematics
    • /
    • 제28권1호
    • /
    • pp.1-21
    • /
    • 2024
  • This review comprehensively explores the evolution, theoretical underpinnings, variations, and applications of diffusion models. Originating as a generative framework, diffusion models have rapidly ascended to the forefront of machine learning research, owing to their exceptional capability, stability, and versatility. We dissect the core principles driving diffusion processes, elucidating their mathematical foundations and the mechanisms by which they iteratively refine noise into structured data. We highlight pivotal advancements and the integration of auxiliary techniques that have significantly enhanced their efficiency and stability. Variants such as bridges that broaden the applicability of diffusion models to wider domains are introduced. We put special emphasis on the ability of diffusion models as a crucial foundation model, with modalities ranging from image, 3D assets, and video. The role of diffusion models as a general foundation model leads to its versatility in many of the downstream tasks such as solving inverse problems and image editing. Through this review, we aim to provide a thorough and accessible compendium for both newcomers and seasoned researchers in the field.

FCDD 기반 웨이퍼 빈 맵 상의 결함패턴 탐지 (Detection of Defect Patterns on Wafer Bin Map Using Fully Convolutional Data Description (FCDD) )

  • 장승준;배석주
    • 산업경영시스템학회지
    • /
    • 제46권2호
    • /
    • pp.1-12
    • /
    • 2023
  • To make semiconductor chips, a number of complex semiconductor manufacturing processes are required. Semiconductor chips that have undergone complex processes are subjected to EDS(Electrical Die Sorting) tests to check product quality, and a wafer bin map reflecting the information about the normal and defective chips is created. Defective chips found in the wafer bin map form various patterns, which are called defective patterns, and the defective patterns are a very important clue in determining the cause of defects in the process and design of semiconductors. Therefore, it is desired to automatically and quickly detect defective patterns in the field, and various methods have been proposed to detect defective patterns. Existing methods have considered simple, complex, and new defect patterns, but they had the disadvantage of being unable to provide field engineers the evidence of classification results through deep learning. It is necessary to supplement this and provide detailed information on the size, location, and patterns of the defects. In this paper, we propose an anomaly detection framework that can be explained through FCDD(Fully Convolutional Data Description) trained only with normal data to provide field engineers with details such as detection results of abnormal defect patterns, defect size, and location of defect patterns on wafer bin map. The results are analyzed using open dataset, providing prominent results of the proposed anomaly detection framework.

Framework for Reconstructing 2D Data Imported from Mobile Devices into 3D Models

  • Shin, WooSung;Min, JaeEun;Han, WooRi;Kim, YoungSeop
    • 반도체디스플레이기술학회지
    • /
    • 제20권4호
    • /
    • pp.6-9
    • /
    • 2021
  • The 3D industry is drawing attention for its applications in various markets, including architecture, media, VR/AR, metaverse, imperial broadcast, and etc.. The current feature of the architecture we are introducing is to make 3D models more easily created and modified than conventional ones. Existing methods for generating 3D models mainly obtain values using specialized equipment such as RGB-D cameras and Lidar cameras, through which 3D models are constructed and used. This requires the purchase of equipment and allows the generated 3D model to be verified by the computer. However, our framework allows users to collect data in an easier and cheaper manner using cell phone cameras instead of specialized equipment, and uses 2D data to proceed with 3D modeling on the server and output it to cell phone application screens. This gives users a more accessible environment. In addition, in the 3D modeling process, object classification is attempted through deep learning without user intervention, and mesh and texture suitable for the object can be applied to obtain a lively 3D model. It also allows users to modify mesh and texture through requests, allowing them to obtain sophisticated 3D models.

A Case Study of Rapid AI Service Deployment - Iris Classification System

  • Yonghee LEE
    • 한국인공지능학회지
    • /
    • 제11권4호
    • /
    • pp.29-34
    • /
    • 2023
  • The flow from developing a machine learning model to deploying it in a production environment suffers challenges. Efficient and reliable deployment is critical for realizing the true value of machine learning models. Bridging this gap between development and publication has become a pivotal concern in the machine learning community. FastAPI, a modern and fast web framework for building APIs with Python, has gained substantial popularity for its speed, ease of use, and asynchronous capabilities. This paper focused on leveraging FastAPI for deploying machine learning models, addressing the potentials associated with integration, scalability, and performance in a production setting. In this work, we explored the seamless integration of machine learning models into FastAPI applications, enabling real-time predictions and showing a possibility of scaling up for a more diverse range of use cases. We discussed the intricacies of integrating popular machine learning frameworks with FastAPI, ensuring smooth interactions between data processing, model inference, and API responses. This study focused on elucidating the integration of machine learning models into production environments using FastAPI, exploring its capabilities, features, and best practices. We delved into the potential of FastAPI in providing a robust and efficient solution for deploying machine learning systems, handling real-time predictions, managing input/output data, and ensuring optimal performance and reliability.

A semi-supervised interpretable machine learning framework for sensor fault detection

  • Martakis, Panagiotis;Movsessian, Artur;Reuland, Yves;Pai, Sai G.S.;Quqa, Said;Cava, David Garcia;Tcherniak, Dmitri;Chatzi, Eleni
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.251-266
    • /
    • 2022
  • Structural Health Monitoring (SHM) of critical infrastructure comprises a major pillar of maintenance management, shielding public safety and economic sustainability. Although SHM is usually associated with data-driven metrics and thresholds, expert judgement is essential, especially in cases where erroneous predictions can bear casualties or substantial economic loss. Considering that visual inspections are time consuming and potentially subjective, artificial-intelligence tools may be leveraged in order to minimize the inspection effort and provide objective outcomes. In this context, timely detection of sensor malfunctioning is crucial in preventing inaccurate assessment and false alarms. The present work introduces a sensor-fault detection and interpretation framework, based on the well-established support-vector machine scheme for anomaly detection, combined with a coalitional game-theory approach. The proposed framework is implemented in two datasets, provided along the 1st International Project Competition for Structural Health Monitoring (IPC-SHM 2020), comprising acceleration and cable-load measurements from two real cable-stayed bridges. The results demonstrate good predictive performance and highlight the potential for seamless adaption of the algorithm to intrinsically different data domains. For the first time, the term "decision trajectories", originating from the field of cognitive sciences, is introduced and applied in the context of SHM. This provides an intuitive and comprehensive illustration of the impact of individual features, along with an elaboration on feature dependencies that drive individual model predictions. Overall, the proposed framework provides an easy-to-train, application-agnostic and interpretable anomaly detector, which can be integrated into the preprocessing part of various SHM and condition-monitoring applications, offering a first screening of the sensor health prior to further analysis.

인공지능 모델 연구 환경 지원을 위한 연구소프트웨어 개발 통합 프레임워크 (Research SW Development Integrated Framework to Support AI Model Research Environments)

  • 조민희;김다솔;송사광;이상백;이미경;임형준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.97-99
    • /
    • 2023
  • 소프트웨어를 개발하거나 실행하는 환경은 매우 다양하다. 최근에 혁신을 이끌고 있는 인공지능 모델은 오픈소스 프로젝트룰 통해 공개되는 코드나 라이브러리를 활용하여 구현하는 경우가 많다. 하지만 실행을 위한 환경 설치 과정이 쉽지 않고, 데이터 혹은 기학습된 모델 사이즈가 대용량일 경우에는 로컬 컴퓨터에서 실행하는 것이 불가능한 경우도 발생하고, 동료와 작업을 공유하거나 수동 배포의 어려움 등 다양한 문제에 직면한다. 이러한 문제를 해결하기 위하여, 소프트웨어가 유연하게 동작할 수 있도록 효율적인 리소스를 관리할 수 있는 컨테이너 기술을 많이 활용한다. 이 기술을 활용하는 이유는 AI 모델이 시스템에 관계없이 정확히 동일하게 재현될 수 있도록 하기 위함이다. 본 연구에서는 인공지능 모델 개발과 관련하여 코드가 실행되는 환경을 편리하게 관리하기 위하여 소프트웨어를 컨테이너화하여 배포할 수 있는 기능을 제공하는 연구소프트웨어 개발 통합 프레임워크를 제안한다.