• ETRI Journal
• /
• 제42권4호
• /
• pp.491-504
• /
• 2020

We present AB9, a neural processor for inference acceleration. AB9 consists of a systolic tensor core (STC) neural network accelerator designed to accelerate artificial intelligence applications by exploiting the data reuse and parallelism characteristics inherent in neural networks while providing fast access to large on-chip memory. Complementing the hardware is an intuitive and user-friendly development environment that includes a simulator and an implementation flow that provides a high degree of programmability with a short development time. Along with a 40-TFLOP STC that includes 32k arithmetic units and over 36 MB of on-chip SRAM, our baseline implementation of AB9 consists of a 1-GHz quad-core setup with other various industry-standard peripheral intellectual properties. The acceleration performance and power efficiency were evaluated using YOLOv2, and the results show that AB9 has superior performance and power efficiency to that of a general-purpose graphics processing unit implementation. AB9 has been taped out in the TSMC 28-nm process with a chip size of 17 × 23 ㎟. Delivery is expected later this year.

• 디지털산업정보학회논문지
• /
• 제19권4호
• /
• pp.45-52
• /
• 2023

With the advent of deep learning, Artificial Intelligence (AI) technology has experienced rapid advancements, extending its application across various industrial sectors. However, the focus has shifted from the independent use of AI technology to its dispersion and proliferation through the open AI ecosystem. This shift signifies the transition from a phase of research and development to an era where AI technology is becoming widely accessible to the general public. However, as this dispersion continues, there is an increasing demand for the verification of outcomes derived from AI technologies. Causal AI applies the traditional concept of causal inference to AI, allowing not only the analysis of data correlations but also the derivation of the causes of the results, thereby obtaining the optimal output values. Causal AI technology addresses these limitations by applying the theory of causal inference to machine learning and deep learning to derive the basis of the analysis results. This paper analyzes recent cases of causal AI technology and presents the major tasks and directions of causal AI, extracting patterns between data using the correlation between them and presenting the results of the analysis.

• 한국시뮬레이션학회논문지
• /
• 제26권2호
• /
• pp.59-65
• /
• 2017

M&S의 발전과 더불어 국방 M&S등 인간의 의사결정을 포함하는 분야의 요구가 증대되는 현실에서 AI기술을 활용한 모델링 연구가 각광받고 있다. AI는 복잡한 문제 해결을 위한 방법임은 분명하나 M&S에서 요구되는 입력시점과 처리시간 등의 논리적 시간을 고려하지 않았다. 따라서 본 논문에서는 대표적인 AI 기술인 규칙기반 전문가시스템을 논리적 시간을 고려한 규칙구조 "IF-THEN-AFTER"와 추론엔진으로 재설계한 시간기반의 전문가 시스템을 제안하고, 기존의 규칙기반 전문가 시스템과의 차이를 설명하기 위한 간단한 예제를 들어 논리적 분석을 시도하였다. 그 결과로 제안하는 시간기반의 전문가 시스템 모델은 일반적인 규칙기반 전문가시스템과 다르게 입력시점과 추론시간에 따라 다른 결과를 보임을 알 수 있으며, 이는 M&S에서 요구되는 논리적 시간을 고려한 AI의 문제해결이 가능함을 의미한다.

• 전자통신동향분석
• /
• 제36권2호
• /
• pp.32-42
• /
• 2021

The rapid growth of deep-learning applications has invoked the R&D of artificial intelligence (AI) processors. A dedicated software framework such as a compiler and runtime APIs is required to achieve maximum processor performance. There are various compilers and frameworks for AI training and inference. In this study, we present the features and characteristics of AI compilers, training frameworks, and inference engines. In addition, we focus on the internals of compiler frameworks, which are based on either basic linear algebra subprograms or intermediate representation. For an in-depth insight, we present the compiler infrastructure, internal components, and operation flow of ETRI's "AI-Ware." The software framework's significant role is evidenced from the optimized neural processing unit code produced by the compiler after various optimization passes, such as scheduling, architecture-considering optimization, schedule selection, and power optimization. We conclude the study with thoughts about the future of state-of-the-art AI compilers.

• 한국인터넷방송통신학회논문지
• /
• 제24권1호
• /
• pp.1-8
• /
• 2024

실시간 처리 및 프라이버시 강화를 위해 인공지능 모델을 엣지에서 동작시킬 수 있는 온디바이스 AI 기술이 각광받고 있다. 지능형 사물인터넷 기술이 다양한 산업에 적용되면서 온디바이스 AI 기술을 활용한 서비스가 크게 증가하고 있다. 그러나 일반적인 딥러닝 모델은 추론 및 학습을 위해 많은 연산 자원을 요구하고 있다. 따라서 엣지에 적용되는 경량 기기에서 딥러닝 모델을 동작시키기 위해 양자화나 가지치기와 같은 다양한 경량화 기법들이 적용되어야 한다. 본 논문에서는 다양한 경량화 기법 중 가지치기 기술을 중심으로 엣지 컴퓨팅 기기에서 딥러닝 모델을 경량화하여 적용할 수 있는 방안을 분석한다. 특히, 동적 및 정적 가지치기 기법을 적용하여 경량화된 비전 모델의 추론 속도, 정확도 그리고 메모리 사용량을 시험한다. 논문에서 분석된 내용은 실시간 특성이 중요한 지능형 영상 관제 시스템이나 자율 이동체의 영상 보안 시스템에 적용될 수 있다. 또한 사물인터넷 기술이 적용되는 다양한 서비스와 산업에 더욱 효과적으로 활용될 수 있을 것으로 기대된다.

• 한국컴퓨터정보학회논문지
• /
• 제29권3호
• /
• pp.107-116
• /
• 2024

본 논문에서는 엣지 컴퓨팅 환경에서 MicroVM의 AI 애플리케이션 수행 시 성능을 분석하고, 이것이 현재 사용되고 있는 컨테이너 기술과 전통적인 가상머신을 대체할 수 있는지 알아본다. 이를 위해 라즈베리파이 4에서 Docker 컨테이너, Firecracker MicroVM, KVM 가상머신 환경을 각각 구축하고 대표적인 AI 애플리케이션들을 실행하였다. 그리고 실험 환경별로 추론 시간, 총 CPU 사용량 및 추세, 파일 I/O 성능을 분석하였다. 실험 결과, MicroVM에서 AI 애플리케이션을 수행하였을 때 컨테이너와의 큰 성능 차이는 없었으며, 오히려 반복적인 애플리케이션 수행에서 평균적으로 안정적인 추론 시간을 확인할 수 있었다. 따라서, 본 연구를 통해 엣지 컴퓨팅 환경에서 컨테이너와 가상머신을 대체하여 MicroVM을 사용한 AI 애플리케이션 운용이 적합할 수 있다는 것을 확인하였다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제11권10호
• /
• pp.323-332
• /
• 2022

AI 기술을 활용한 다양한 서비스가 개발되면서, AI 서비스 운영에 많은 관심이 집중되고 있다. 최근에는 AI 기술도 하나의 ICT 서비스를 보고, 범용적인 AI 서비스 운영을 위한 연구가 많이 진행되고 있다. 본 논문에서는 일반적인 기계학습 개발 절차의 마지막 단계인 기계학습 모델 배포 및 운영에 초점을 두고 AI 서비스 운영을 위한 시스템 측면에서의 연구 결과를 기술하였다. 3대의 서로 다른 Ubuntu 시스템을 구축하고, 이 시스템상에서 서로 다른 AI 모델(RFCN, SSD-Mobilenet)과 서로 다른 통신 방식(gRPC, REST)의 조합으로 2017 validation COCO dataset의 데이터를 이용하여 객체 검출 서비스를 Tensorflow serving을 통하여 AI 서비스를 요청하는 부분과 AI 서비스를 수행하는 부분으로 나누어 실험하였다. 다양한 실험을 통하여 AI 모델의 종류가 AI 머신의 통신 방식보다 AI 서비스 추론 시간에 더 큰 영향을 미치고, 객체 검출 AI 서비스의 경우 검출하려는 이미지의 파일 크기보다는 이미지 내의 객체 개수와 복잡도에 따라 AI 서비스 추론 시간이 더 큰 영향을 받는다는 것을 알 수 있었다. 그리고, AI 서비스를 로컬이 아닌 원격에서 수행하면 성능이 좋은 머신이라고 하더라도 로컬에서 수행하는 경우보다 AI 서비스 추론 시간이 더 걸린다는 것을 확인할 수 있었다. 본 연구 결과를 통하여 서비스 목표에 적합한 시스템 설계와 AI 모델 개발 및 효율적인 AI 서비스 운영이 가능해질 것으로 본다.

• 전자통신동향분석
• /
• 제35권3호
• /
• pp.66-75
• /
• 2020

As the increasing expectations of a practical AI (Artificial Intelligence) service makes AI algorithms more complicated, an efficient processor to process AI algorithms is required. To meet this requirement, processors optimized for parallel processing, such as GPUs (Graphics Processing Units), have been widely employed. However, the GPU has a generalized structure for various applications, so it is not optimized for the AI algorithm. Therefore, research on the development of AI processors optimized for AI algorithm processing has been actively conducted. This paper briefly introduces an AI processor especially for inference acceleration, developed by the Electronics and Telecommunications Research Institute, South Korea., and other global vendors for mobile and server platforms. However, the GPU has a generalized structure for various applications, so it is not optimized for the AI algorithm. Therefore, research on the development of AI processors optimized for AI algorithm processing has been actively conducted.

• 한국빅데이터학회지
• /
• 제7권2호
• /
• pp.91-102
• /
• 2022

인공지능이 발전하면서 AI 챗봇 시스템의 활용이 활발히 이루어지고 있다. 그 예로 공공기관에서는 민원, 행정 분야에서 업무 보조, 전문지식 서비스 등으로 챗봇 활용 분야가 확대되고 있으며 민간기업은 대화형 고객 응대 서비스 등으로 챗봇을 활용하고 있다. 본 연구에서는 시나리오 기반의 AI 음성 챗봇 시스템을 제안하여 박물관의 운영 비용을 절감하고 관람객에게 양방향성 안내 서비스를 제공하고자 한다. 구현한 음성 챗봇 시스템은 실시간으로 특정 디렉터리를 감시하여 사용자의 음성을 감지하는 감시자 객체와 음성 파일이 생성되면 순차적으로 모델별 추론을 수행하여 AI의 응대 음성을 출력하는 이벤트 핸들러 객체로 구성되며, 스레드와 데크를 활용한 중복 방지 기능을 포함하여 단일 GPU 환경에서 추론 중에 GPU의 연산이 중복되지 않도록 한다.

• 한국주거학회논문집
• /
• 제22권3호
• /
• pp.113-122
• /
• 2011

This study aimed to develop AI- (Artificial Intelligence) based thermal control logics and test their performance for identifying the optimal thermal control method in buildings. For this objective, a conventional Two-Position On/Off logic and two AI-based variable logics, which applied ANN (Artificial Neural Network) and ANFIS (Adaptive Neuro-Fuzzy Inference System), have developed. Performance of each logic was tested in a typical two-story residential building in U.S.A. using the computer simulation incorporating MATLAB and IBPT (International Building Physics Toolbox). In the analysis of the test results, AI-based control logic presented the advanced thermal comfort with stability compared to the conventional logic while they did not show significant energy saving effects. In conclusion, the predictive and adaptive AI-based control logics have a potential to maintain interior air temperature more comfortably, and the findings in this study could be a solid foundation for identifying the optimal thermal control method in buildings.