• Journal of Computing Science and Engineering
• /
• 제10권2호
• /
• pp.51-57
• /
• 2016

In this paper, we research the influence of data preprocessing. We conclude that using different preprocessing methods leads to different classification performances. Moreover, not all data preprocessing methods are necessary, and a criterion is given to make sure which data preprocessing is necessary and which one is effective. Experiments on some real-world data sets validate that different data preprocessing methods result in different effects. Furthermore, experiments about some algorithms with different preprocessing methods also confirm that preprocessing has a great influence on the performance of a classifier.

• 한국경영과학회지
• /
• 제24권1호
• /
• pp.1-11
• /
• 1999

We classified preprocessing methods into (1) analytic methods, (2) methods for removing implied free variables, (3) methods using pivot or elementary row operations, (4) methods for removing linearly dependent rows and columns and (5) methods for dense columns. We noted some considerations to which should be paid attention when preprocessing methods are applied to interior point methods for linear programming. We proposed an efficient order of preprocessing methods and data structures. We also noted the recovery process for dual solutions. We implemented the proposed preprocessing methods. and tested it with 28 large scale problems of NETLIB. We compared the results of it with those of preprocessing routines of HOPDM, BPDPM and CPLEX.

• International journal of advanced smart convergence
• /
• 제11권2호
• /
• pp.185-193
• /
• 2022

There have been various studies in Korea to develop a %IMF(Intramuscular Fat Percentage) estimation method suitable for Hanwoo. Recently, a %IMF estimation method using a convolutional neural network (CNN), a kind of deep learning method among artificial intelligence methods, has been studied. In this study, we performed a performance comparison when various preprocessing methods were applied to the %IMF estimation of ultrasound images using CNN as mentioned above. The preprocessing methods used in this study are normalization, histogram equalization, edge enhancement, and a method combining normalization and edge enhancement. When estimating the %IMF of Hanwoo by the conventional method that did not apply preprocessing in the experiment, the accuracy was 98.2%. The other hand, we found that the accuracy improved to 99.5% when using preprocessing with histogram equalization alone or combined regularization and edge enhancement.

• 한국음향학회지
• /
• 제41권6호
• /
• pp.629-636
• /
• 2022

본 논문은 합성곱 신경망 기반 수중 표적 분류기의 성능 향상을 위한 최적의 전처리 기법을 제시한다. 실제 선박 수중신호를 수집한 데이터 세트의 주파수 분석을 통해 강한 저주파 신호로 인한 특성 표현의 문제점을 확인하였다. 이를 해결하기 위해 다양한 스펙트로그램 기법과 특성 스케일링 기법을 조합한 전처리 기법들을 구현하였다. 최적의 전처리 기법을 확인하기 위해 실제 데이터를 기반으로 합성곱 신경망을 훈련하는 실험을 수행하였다. 실험 결과, 로그 멜 스펙트로그램과 표준화 및 로버스트정규화 스케일링 기법의 조합이 높은 인식 성능과 빠른 학습 속도를 보임을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제20권2호
• /
• pp.144-152
• /
• 2017

Among the technologies for implementing autonomous vehicles, advanced driver assistance system is a key technology to support driver's safe driving. In the technology using the vision sensor having a high utility, various preprocessing methods are used prior to feature extraction for lane detection. However, in the existing methods, the unnecessary lane candidates such as cars, lawns, and road separator in the road area are false positive. In addition, there are cases where the lane candidate itself can not be extracted in the area under the overpass, the lane within the dark shadow, the center lane of yellow, and weak lane. In this paper, we propose an efficient preprocessing method using k-means clustering for image division and the HSV color model. When the proposed preprocessing method is applied, the true positive region is maximally maintained during the lane detection and many false positive regions are removed.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제20권12호
• /
• pp.615-622
• /
• 2014

국제적 수준으로 성장한 한국의 영화 시장 환경은 더욱 타당한 자료 분석에 근거한 의사 결정 수단을 필요로 하게 되었다. 또한 발전된 정보 환경으로 인해 실시간으로 생성되는 대규모 데이터를 신속히 처리하고 분석하여 보다 정밀한 결과를 예측할 수 있어야 한다. 특히 전처리 작업은 정보 분석 과정 중 가장 많은 시간이 소요 되므로 대규모 데이터 기반 분석 환경에서도 합리적인 시간 내에 처리할 수 있어야 한다. 본 논문에서는 영화 흥행 예측을 위한 대용량 데이터 전처리 방법을 연구하였다. 영화 흥행 데이터의 특성을 분석해 전처리의 각 유형별 처리 방법을 설정했으며 하둡 기반 맵리듀스 프레임워크를 사용하는 방법을 사용하였다. 실험 결과 빅데이터 기법을 사용한 전처리가 기존의 방법보다 더 좋은 수행 결과를 보이는 것을 확인하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2004년도 학술대회지
• /
• pp.814-818
• /
• 2004

Off-line handwritten character recognition is in difficulty of incomplete preprocessing because it has not dynamic and timing information besides has various handwriting, extreme overlap of the consonant and vowel and many error image of stroke. Consequently off-line handwritten character recognition needs to study about preprocessing of various methods such as binarization and thinning. This paper considers running time of watershed algorithm and the quality of resulting image as preprocessing For off-line handwritten Korean character recognition. So it proposes application of effective watershed algorithm for segmentation of character region and background region in gray level character image and segmentation function for binarization image and segmentation function for binarization by extracted watershed image. Besides it proposes thinning methods which effectively extracts skeleton through conditional test mask considering running time and quality. of skeleton, estimates efficiency of existing methods and this paper's methods as running time and quality. Watershed image conversion uses prewitt operator for gradient image conversion, extracts local minima considering 8-neighborhood pixel. And methods by using difference of mean value is used in region merging step, Converted watershed image by means of this methods separates effectively character region and background region applying to segmentation function. Average execution time on the previous method was 2.16 second and on this paper method was 1.72 second. We prove that this paper's method removed noise effectively with overlap stroke as compared with the previous method.

• 한국경영과학회:학술대회논문집
• /
• 한국경영과학회 1996년도 추계학술대회발표논문집; 고려대학교, 서울; 26 Oct. 1996
• /
• pp.285-288
• /
• 1996

Generally MPS, standardized by IBM, is the input type of large scale linear programming problems, and there may be unnecessary variables or constraints. These can be discarded by preprocessing. As the size of a problem is reduced by preprocessing, the running time is reduced. And more, the infeasibility of a problem may be detected before using solution methods. When the preprocessing implemented by this paper is used in NETLIB problems, it removes unnecessary variables and constraints by 21%, 15%, respectively. The use of preprocessing gives in the average 21% reduction in running time by applying the interior point method. Preprocessing can detect 10 out of 30 infeasible NETLIB problems.

• 한국산업융합학회 논문집
• /
• 제25권4_2호
• /
• pp.573-586
• /
• 2022

Corrosion can cause dangerous and expensive damage and failures of ship hulls and equipment. Therefore, it is necessary to maintain the vessel by periodic corrosion inspections. During visual inspection, many corrosion locations are inaccessible for many reasons, especially safety's point of view. Including subjective decisions of inspectors is one of the issues of visual inspection. Automation of visual inspection is tried by many pieces of research. In this study, we propose image preprocessing methods by image patch segmentation and thresholding. YOLOv5 was used as an object detection model after the image preprocessing. Finally, it was evaluated that corrosion detection performance using the proposed method was improved in terms of mean average precision.

• 응용통계연구
• /
• 제22권3호
• /
• pp.585-594
• /
• 2009

마이크로어레이 실험의 실험자들은 원 측정치인 영상을 조사하여 통계적 분석이 가능한 자료의 형태로 변환하는데 이러한 과정을 흔히 사전 처리라고 부른다. 마이크로어레이의 사전 처리는 불량 영상의 제거(filtering), 결측치의 대치와 표준화로 세분되어질 수 있다. 표준화 방법과 결측치 대치 방법 각각에 대하여서는 많은 연구가 보고되었으나, 사전 처리를 구성하는 원소들간의 적정한 순서에 대하여서는 연구가 미흡하다. 표준화 방법과 결측치 대치 방법 중 어느 것이 먼저 실시되어야 하는지에 대하여서 아직 알려진 바가 없다. 본 연구는 사전 처리 순서에 대한 탐색적 시도로서 대장암과 위암을 대상으로 실시한 두 조의 cDNA 마이크로어레이 실험 자료를 이용하여 사전 처리를 구성하는 원소들간의 다양한 순서에 따라 검색된 특이 발현 유전자 군이 어떻게 변화하는지를 분석하고 있다. 즉, 결측치대치와 표준화의 여러가지 방법들의 조합에 따라 검색된 특이 발현 유전자 군이 얼마나 일치적인가를 확인하고자 한다. 결측치 대치 방법으로는 K 최근접 이웃 방법과 베이지안 주성분 분석을 고려하였고, 표준화 방법으로는 전체 표준화, 블럭별 국소(within-print tip group) 평활 표준화 그리고 분산 안정화를 유도하는 표준화 방법을 적용하였다. 따라서 사전 처리를 구성하는 두개 원소가 각각 2개 수준과 3개 수준을 가지고 있고, 두개 원소의 순열에 따른 모든 가능한 사전 처리 개수 수는 12개가 된다. 본 연구에서는 12개 사전 처리 방법 각각에 따라 정상 조직과 암 조직간 특이적으로 발현하는 유전자 군을 검색하였고, 사전 처리 순서를 바꾸었을때 유전자 군이 얼마나 일치적으로 유지되는지를 파악하고 있다. 표준화 방법으로 분산 안정화 표준화를 사용할 경우는 사전 처리 순서에 따라 특이 발현 유전자 군이 다소 민감하게 변하는 것을 보이고 있다.