• 제목/요약/키워드: real-time preprocessing

검색결과 195건 처리시간 0.024초

Efficient Hardware Implementation of Real-time Rectification using Adaptively Compressed LUT

  • Kim, Jong-hak;Kim, Jae-gon;Oh, Jung-kyun;Kang, Seong-muk;Cho, Jun-Dong
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제16권1호
    • /
    • pp.44-57
    • /
    • 2016
  • Rectification is used as a preprocessing to reduce the computation complexity of disparity estimation. However, rectification also requires a complex computation. To minimize the computing complexity, rectification using a lookup-table (R-LUT) has been introduced. However, since, the R-LUT consumes large amount of memory, rectification with compressed LUT (R-CLUT) has been introduced. However, the more we reduce the memory consumption, the more we need decoding overhead. Therefore, we need to attain an acceptable trade-off between the size of LUT and decoding overhead. In this paper, we present such a trade-off by adaptively combining simple coding methods, such as differential coding, modified run-length coding (MRLE), and Huffman coding. Differential coding is applied to transform coordinate data into a differential form in order to further improve the coding efficiency along with Huffman coding for better stability and MRLE for better performance. Our experimental results verified that our coding scheme yields high performance with maintaining robustness. Our method showed about ranging from 1 % to 16 % lower average inverse of compression ratio than the existing methods. Moreover, we maintained low latency with tolerable hardware overhead for real-time implementation.

Stereo 360 VR을 위한 실시간 압축 영상 획득 시스템 (Real-Time Compressed Video Acquisition System for Stereo 360 VR)

  • 최민수;백준기
    • 방송공학회논문지
    • /
    • 제24권6호
    • /
    • pp.965-973
    • /
    • 2019
  • 본 논문에서는 Stereo 4K@60fps 360 VR 실시간 영상 획득 시스템을 영상 스트림 획득과 영상 인코딩(encoding), 영상 스티칭(stitching) 모듈로 나누어 설계하였다. 시스템은 6대의 카메라로부터 HDMI Interface를 통해 획득된 6개의 2K@60fps의 영상 스트림을 스티칭을 통하여 실시간으로 Stereo 4K@60fps 360 VR 영상을 획득한다. 영상 획득 단계에서는 멀티 스레드(Multi-Thread)를 이용하여 각 카메라로부터 실시간으로 영상 스트림을 획득하였다. 영상 인코딩 단계에서는 영상 획득과 영상 스티칭 모듈 간의 전송 리소스를 줄이기 위하여 멀티 스레드를 이용한 Raw Frame 메모리 전송과 병렬 인코딩을 하였다. 영상 스티칭 단계에서는 스티칭 Calibration 전처리작업을 통하여 스티칭 실시간성을 확보하였다.

영상 기반 조명을 적용한 퐁 반사 모델의 실시간 렌더링을위한 근사 기법 (An Approximation Technique for Real-time Rendering of Phong Reflection Model with Image-based Lighting)

  • 정태홍;신현준
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제20권1호
    • /
    • pp.13-19
    • /
    • 2014
  • 본 논문에서는 현실감 있는 렌더링을 위하여 최근 널리 사용되고 있는 영상 기반 조명(image-based lighting)과정을 실시간으로 처리하기위한 기술을 다룬다. 기존의 영상을 광원으로 사용하는 실시간 렌더링 기법에서는 주로 난반사(diffuse reflection)와 거울 면 정반사(mirror-like specular reflection)을 다루는 반면, 본 논문에서는 기존에 컴퓨터 그래픽스 분야에서 널리 사용하던 퐁 반사 모델(Phong reflection model)을 실시간으로 렌더링 하기 위한 방법을 제안한다. 특히 새로운 방법론 보다는 기존의 방법들을 확장하여 게임이나 실시간 미리보기 등의 응용에서 전통적인 방법으로 제작된 표면 속성을 가지는 기하객체를 보다 사실적으로 렌더링하기 위한 실용적인 방법을 제안한다. 난반사의 경우에는 기존의 방법과 유사하게 전처리 과정에서 원본 광원 영상으로부터 난반사를 실시간으로 계산하기 위한 영상을 생성하는 방법을 사용한다. 정반사의 경우에도 유사하게 전처리 과정에서 광택도(shininess)에 따른 반사 맵을 미리 생성하고 이를 물체의 광택도(shininess)에 따라서 보간하는 방법을 사용한다. 이와 같은 방법으로 실시간에 비교적 매우 적은 양의 계산과 적은 텍스처 참조를 통하여 영상 기반 조명을 근사할 수 있다.

다양한 재료에서 발생되는 연기 및 불꽃에 대한 YOLO 기반 객체 탐지 모델 성능 개선에 관한 연구 (Research on Improving the Performance of YOLO-Based Object Detection Models for Smoke and Flames from Different Materials )

  • 권희준;이보희;정해영
    • 한국전기전자재료학회논문지
    • /
    • 제37권3호
    • /
    • pp.261-273
    • /
    • 2024
  • This paper is an experimental study on the improvement of smoke and flame detection from different materials with YOLO. For the study, images of fires occurring in various materials were collected through an open dataset, and experiments were conducted by changing the main factors affecting the performance of the fire object detection model, such as the bounding box, polygon, and data augmentation of the collected image open dataset during data preprocessing. To evaluate the model performance, we calculated the values of precision, recall, F1Score, mAP, and FPS for each condition, and compared the performance of each model based on these values. We also analyzed the changes in model performance due to the data preprocessing method to derive the conditions that have the greatest impact on improving the performance of the fire object detection model. The experimental results showed that for the fire object detection model using the YOLOv5s6.0 model, data augmentation that can change the color of the flame, such as saturation, brightness, and exposure, is most effective in improving the performance of the fire object detection model. The real-time fire object detection model developed in this study can be applied to equipment such as existing CCTV, and it is believed that it can contribute to minimizing fire damage by enabling early detection of fires occurring in various materials.

신호처리 기법을 응용한 차량번호판 추출방법 (A Method to Extract Vehicle Number Plates by Applying Signal Processing Techniques)

  • 전병태;윤호섭
    • 전자공학회논문지B
    • /
    • 제30B권7호
    • /
    • pp.92-101
    • /
    • 1993
  • This paper describes algorithms to extract license plates in vehicle images. Conventional methods perform preprocessing on the entire vehicle image to produce the edge image and binarize it. Hough transform is applied to the binary image to find horizontal and vertical lines, and the license plate area is extracted using the charateristics of license plates (the boundary information of license plates). Problems with this approach are that real-time processing is not feasible due to long processing time and that the license plate area is not extracted when lighting is irregular such as at night or when the plate boundary does not show up in the image. This research uses the gray level transition characteristics of license plates to verify the digit area by examining the digit width and the gray level difference between the background area the digit area, and then extracts the plate area by testing the distance between the verified digits. This research solves the probelm of failure in extracting the license plates due to degraded plate boundary as in the conventional methods and resolves the provlem of the time requirement by processing in real time such that practical application is possible.

  • PDF

무선통신기반 열차간격제어를 위한 전처리 기반 속도프로파일 계산 알고리즘 (Preprocessing-based speed profile calculation algorithm for radio-based train control)

  • 오세찬;김경희;김민수
    • 한국산학기술학회논문지
    • /
    • 제16권9호
    • /
    • pp.6274-6281
    • /
    • 2015
  • 무선통신기반 열차제어시스템은 차상과 지상과의 양방향 무선통신을 기반으로 실시간 열차간격제어가 가능하므로 운전시격 단축 효과가 있으며 궤도회로를 사용하지 않기 때문에 설비투자를 절감 할 수 있다. 무선통신기반 열차제어시스템에서 가장 중요한 부분인 자동열차방호(ATP: Automatic Train Protection)는 실시간 열차위치 추적을 기반으로 선행열차와 후행열차간의 안전한 간격제어를 수행한다. 본 논문은 도시철도용 무선통신기반 열차제어시스템의 열차간격제어를 위한 전체적인 ATP 열차간격제어 알고리즘과 ATP의 처리속도 향상을 위해 전처리 기반 속도프로파일 계산 알고리즘을 제안한다. 제안된 속도프로파일 계산 알고리즘은 사전에 선로와 열차의 영구속도제한에 해당하는 프로파일을 미리 계산하여 가장제한적인 속도프로파일로 활용한다. 만약 운행 중 특정 노선 구간에 임시속도제한이 발생하는 경우 미리 계산된 영구속도프로파일에 임시속도제한을 반영하여 해당 구간의 속도프로파일을 업데이트함으로써 계산효율을 높일 수 있다. 제안된 속도프로파일 계산 알고리즘의 성능을 평가하기 위해 시간복잡도 O-notation으로 분석하였으며 그 결과 기존에 비해 시간 복잡도를 개선할 수 있음을 확인하였다. 또한 ATP 열차간격제어 검증을 위해 열차간격제어 시뮬레이터를 제작하였으며 실험결과를 통해 다양한 운영상황에서 안전한 열차간격제어가 이루어지고 있음을 확인하였다.

게임 어플리케이션을 위한 컨볼루션 신경망 기반의 실시간 제스처 인식 연구 (Study on Real-time Gesture Recognition based on Convolutional Neural Network for Game Applications)

  • 채지훈;임종헌;김해성;이준재
    • 한국멀티미디어학회논문지
    • /
    • 제20권5호
    • /
    • pp.835-843
    • /
    • 2017
  • Humans have often been used gesture to communicate with each other. The communication between computer and person was also not different. To interact with a computer, we command with gesture, keyboard, mouse and extra devices. Especially, the gesture is very useful in many environments such as gaming and VR(Virtual Reality), which requires high specification and rendering time. In this paper, we propose a gesture recognition method based on CNN model to apply to gaming and real-time applications. Deep learning for gesture recognition is processed in a separated server and the preprocessing for data acquisition is done a client PC. The experimental results show that the proposed method is in accuracy higher than the conventional method in game environment.

영상감시시스템에서 은닉마코프모델을 이용한 불검출 방법 (Fire detection in video surveillance and monitoring system using Hidden Markov Models)

  • ;김정현;강동중;김민성;이주섭
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.35-38
    • /
    • 2009
  • The paper presents an effective method to detect fire in video surveillance and monitoring system. The main contribution of this work is that we successfully use the Hidden Markov Models in the process of detecting the fire with a few preprocessing steps. First, the moving pixels detected from image difference, the color values obtained from the fire flames, and their pixels clustering are applied to obtain the image regions labeled as fire candidates; secondly, utilizing massive training data, including fire videos and non-fire videos, creates the Hidden Markov Models of fire and non-fire, which are used to make the final decision that whether the frame of the real-time video has fire or not in both temporal and spatial analysis. Experimental results demonstrate that it is not only robust but also has a very low false alarm rate, furthermore, on the ground that the HMM training which takes up the most time of our whole procedure is off-line calculated, the real-time detection and alarm can be well implemented when compared with the other existing methods.

미세조류 이미지 품질 성능 향상을 위한 최적 전처리방법 선정 연구 (Evaluating optimal preprocessing method for separation of microalgae colonies into single cells for image quality)

  • 김상엽;맹승규
    • 상하수도학회지
    • /
    • 제38권2호
    • /
    • pp.109-117
    • /
    • 2024
  • In this study, various pre-treatment methods were evaluated for microalgae separation. These methods aimed to facilitate safe, rapid, and cost-effective online imaging for real-time observation and cell counting. As pre-treatment techniques, heating, chemical hydrolysis, heating combined with chemical hydrolysis, and sonication were employed. The effectiveness of these methods was evaluated in the context of online imaging quality through experimentation on cultivated microalgae (Chlorella vulgaris and Scenedesmus quadricauda). The chemical treatment method was found to be inappropriate for improving image acquisition. The heating pre-treatment method exhibited a drawback of prolonged cell dispersion time. Additionally, the heating combined with chemical hydrolysis method was confirmed to have the lowest dispersion effect for Chlorella vulgaris. Conversely, ultrasonication emerged as a promising technique for microalgae separation in terms of repeatability and reproducibility. This study suggests the potential for selecting optimal pre-treatment methods to effectively operate real-time online monitoring devices, paving the way for future research and applications in microalgae cultivation and imaging.

EMG 데이터를 이용한 머신러닝 기반 실시간 제스처 분류 연구 (A Study on Machine Learning-Based Real-Time Gesture Classification Using EMG Data)

  • 박하제;양희영;최소진;김대연;남춘성
    • 인터넷정보학회논문지
    • /
    • 제25권2호
    • /
    • pp.57-67
    • /
    • 2024
  • 사용자가 제스처를 통해 입력을 할 수 있는 방안들 중에서 근전도(EMG, Electromyography)를 통한 제스처 인식은 근육 내 작은 전극을 통해 사용자의 움직임을 감지하고 이를 입력 방법으로 사용할 수 있는 방법이다. EMG 데이터를 통해 사용자 제스처를 분류하기 위해서는 사용자로부터 수집된 EMG Raw 데이터를 머신러닝으로 학습하여야 하는데 이를 위해서는 EMG 데이터를 전처리 과정을 통해 특징을 추출하여야 한다. EMG 특성은 IEMG(Integrated EMG), MAV(Mean Absolute Value), SSI(Simple Sqaure Integral), VAR(VARiance), RMS(Root Mean Square) 등과 같은 수식을 통해서 나타낼 수 있다. 또한, 제스처를 입력으로 사용하기 위해서는 사용자가 입력하는 데 필요한 지각, 인지, 반응에 필요한 시간을 기준으로 제스처 분류가 가능한 시간을 알아내야 한다. 이를 위해 최대 1,000ms에서 최소 100ms까지 세그먼트 사이즈를 변화시켜 특징을 추출 후 제스처 분류가 가능한 세그먼트 사이즈를 찾아낸다. 특히 데이터 학습은 overlapped segmentation 방법을 통해 데이터와 데이터 사이 간격을 줄여 학습 데이터 개수를 늘린다. 이를 통해 KNN, SVC, RF, XGBoost 4가지 머신러닝 방식을 통해 이를 학습하고 결과를 도출한다. 실험 결과 실시간으로 사용자의 제스처 입력이 가능한 최대 세그먼트 사이즈인 200ms에서 KNN, SVC, RF, XGboost 4가지 모든 모델에서 96% 이상의 정확도를 도출하였다.