• 제목/요약/키워드: data normalization

검색결과 481건 처리시간 0.026초

Comparison of Normalizations for cDNA Microarray Data

  • 김윤희;김호;박웅양;서진영;정진호
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2002년도 춘계 학술발표회 논문집
    • /
    • pp.175-181
    • /
    • 2002
  • cDNA microarray experiments permit us to investigate the expression levels of thousands of genes simultaneously and to make it easy to compare gene expression from different populations. However, researchers are asked to be cautious in interpreting the results because of the unexpected sources of variation such as systematic errors from the microarrayer and the difference of cDNA dye intensity. And the scanner itself calculates both of mean and median of the signal and background pixels, so it follows a selection which raw data will be used in analysis. In this paper, we compare the results in each case of using mean and median from the raw data and normalization methods in reducing the systematic errors with arm's skin cells of old and young males. Using median is preferable to mean because the distribution of the test statistic (t-statistic) from the median is more close to normal distribution than that from mean. Scaled print tip normalization is better than global or lowess normalization due to the distribution of the test-statistic.

  • PDF

저장탄약 신뢰성분류 인공신경망모델의 학습속도 향상에 관한 연구 (Study on Improving Learning Speed of Artificial Neural Network Model for Ammunition Stockpile Reliability Classification)

  • 이동녁;윤근식;노유찬
    • 한국산학기술학회논문지
    • /
    • 제21권6호
    • /
    • pp.374-382
    • /
    • 2020
  • 본 연구에서 저장탄약 신뢰성평가(ASRP: Ammunition Stockpile Reliability Program)의 데이터 특성을 고려하여 입력변수를 줄이는 정규화기법을 제안함으로써 분류성능의 저하 없이 저장탄약 신뢰성분류 인경신경망모델의 학습 속도향상을 목표로 하였다. 탄약의 성능에 대한 기준은 국방규격(KDS: Korea Defense Specification)과 저장탄약 시험절차서(ASTP: Ammunition Stockpile reliability Test Procedure)에 규정되어 있으며, 평가결과 데이터는 이산형과 연속형 데이터가 복합적으로 구성되어 있다. 이러한 저장탄약 신뢰성평가의 데이터 특성을 고려하여 입력변수는 로트 추정 불량률(estimated lot percent nonconforming) 또는 고장률로 정규화 하였다. 또한 입력변수의 unitary hypercube를 유지하기 위하여 최소-최대 정규화를 2차로 수행하는 2단계 정규화 기법을 제안하였다. 제안된 2단계 정규화 기법은 저장탄약 신뢰성평가 데이터를 이용하여 비교한 결과 최소-최대 정규화와 유사하게 AUC(Area Under the ROC Curve)는 0.95 이상이었으며 학습속도는 학습 데이터 수와 은닉 계층의 노드 수에 따라 1.74 ~ 1.99 배 향상되었다.

단일 루프 검지기를 이용한 차종 분류 알고리즘 개발 (Development of a Vehicle Classification Algorithm Using an Inductive Loop Detector on a Freeway)

  • 이승환;조한선;최기주
    • 대한교통학회지
    • /
    • 제14권1호
    • /
    • pp.135-154
    • /
    • 1996
  • This paper presents a heuristic algorithm for classifying vehicles using a single loop detector. The data used for the development of the algorithm are the frequency variation of a vehicle sensored from the circle-shaped loop detectors which are normal buried beneath the expressway. The pre-processing of data is required for the development of the algorithm that actually consists of two parts. One is both normalization of occupancy time and that with frequency variation, the other is finding of an adaptable number of sample size for each vehicle category and calculation of average value of normalized frequencies along with occupancy time that will be stored for comparison. Then, detected values are compared with those stored data to locate the most fitted pattern. After the normalization process, we developed some frameworks for comparison schemes. The fitted scales used were 10 and 15 frames in occupancy time(X-axis) and 10 and 15 frames in frequency variation (Y-axis). A combination of X-Y 10-15 frame turned out to be the most efficient scale of normalization producing 96 percent correct classification rate for six types of vehicle.

  • PDF

정렬과 평균 정규화를 이용한 2D ECG 신호 압축 방법 (2D ECG Compression Method Using Sorting and Mean Normalization)

  • 이규봉;주영복;한찬호;허경무;박길흠
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2009년도 정보 및 제어 심포지움 논문집
    • /
    • pp.193-195
    • /
    • 2009
  • In this paper, we propose an effective compression method for electrocardiogram(ECG) signals. 1-D ECG signals are reconstructed to 2-D ECG data by period and complexity sorting schemes with image compression techniques to Increase inter and intra-beat correlation. The proposed method added block division and mean-period normalization techniques on top of conventional 2-D data ECG compression methods. JPEG 2000 is chosen for compression of 2-D ECG data. Standard MIT-BIH arrhythmia database is used for evaluation and experiment. The results show that the proposed method outperforms compared to the most recent literature especially in case of high compression rate.

  • PDF

국산 복합재료 시험데이터 처리지침 수립을 위한 제언 (A Suggestion to Establish Statistical Treatment Guideline for Aircraft Manufacturer)

  • 서장원
    • 항공우주시스템공학회지
    • /
    • 제8권4호
    • /
    • pp.39-43
    • /
    • 2014
  • This paper examines the statistical process that should be performed with caution in the composite material qualification and equivalency process, and describes statistically significant considerations on outlier finding and handling process, data pooling through normalization process, review for data distributions and design allowables determination process for structural analysis. Based on these considerations, the need for guidance on statistical process for aircraft manufacturers who use the composite material properties database are proposed.

표준화 기반 표지 유전자를 이용한 난소암 마이크로어레이 데이타 분류 시스템 (Ovarian Cancer Microarray Data Classification System Using Marker Genes Based on Normalization)

  • 박수영;정채영
    • 한국정보통신학회논문지
    • /
    • 제15권9호
    • /
    • pp.2032-2037
    • /
    • 2011
  • 표지 유전자는 특정한 실험 조건의 특성을 나타내주는 발현수준의 유전자를 의미한다. 이 유전자들은 여러 집단간의 발현수준에서 유의한 차이를 보여주며, 실제로 집단 간의 차이를 유발하는 유전자일 확률이 높아 특정 생물학적 현상과 관련 있는 표지 유전자를 찾는 연구에 이용될 수 있다. 본 논문에서는, 먼저 그 동안 제안된 여러 표준화 방법들 중에서 가장 널리 사용되고 있는 방법들을 이용하여 데이터를 표준화 한 후 통계에 따라 유전자의 우선순위를 정함으로써 표지유전자를 추출할 수 있는 시스템을 제안하였다. 다층퍼셉트론 신경망 분류기를 이용하여 각 표준화 방법들의 성능을 비교분석하였다. 그 결과 Lowess 표준화 후 ANOVA를 이용하여 선택된 8개의 표지 유전자를 포함하는 마이크로어레이 데이터 셋에 MLP 알고리즘을 적용한 결과 99.32%의 가장 높은 분류 정확도와 가장 낮은 예측 에러 추정치를 나타내었다.

BOES 관측데이터의 자동처리 프로그램 개발 II (DEVELOPMENT OF AN AUTOMATIC PROCESSING PROGRAM FOR BOES DATA II)

  • 강동일;박홍서;한인우;;이병철;김강민
    • 천문학논총
    • /
    • 제21권2호
    • /
    • pp.101-112
    • /
    • 2006
  • We developed a new program for automatic continuum normalization of Echelle spectrographic data. Using this algorithm, we have determined spectral continuum of almost BOES data. The first advantage of this algorithm is that we can save much time for continuum determination and normalization. The second advantage is that the result of this algorithm is very reliable for almost spectral type of spectrum. But this algorithm cannot be applied directly to the spectrum which has very strong and broad emission lines, for example Wolf-Rayet type spectrum. We implanted this algorithm to the program which was developed in the previous study. And we introduced more upgraded BOES data reduction program. This program has more convenient graphical user interface environment, so users can easily reduce BOES data. Lastly, we presented the result of study on line profile variation of magnetic Ap/Bp stars analyzed using this program.

불균일한 클러터 환경 안에서 Nonhomogeneity Detector의 다양한 정규화 방법에 따른 성능 평가 (Performance Evaluation of Nonhomogeneity Detector According to Various Normalization Methods in Nonhomogeneous Clutter Environment)

  • 류장희;정지채
    • 융합신호처리학회논문지
    • /
    • 제10권1호
    • /
    • pp.72-79
    • /
    • 2009
  • 본 논문에서는 불균일한 클러터 환경에서 다양한 정규화 방법을 사용한 NHD(nonhomogeneity detector) 기술을 통해 비행체 레이더를 위한 STAP(space-time adaptive processing)의 성능 평가를 수행하였다. 실제로 클러터는 시스템 환경에 따라 임펄스 신호와 같은 신호의 크기가 매우 큰 간섭 신호를 종종 포함하고 있기 때문에 수신된 간섭 신호는 균일한 신호와 불균일한 신호로 구성된다. 이 환경에서 STAP의 성능을 유지하기 위해서는 NHD 기술이 필수적이고, 그 NHD 결과를 이용한 정규화는 불균일한 신호를 제거하는데 효과적인 방법이다. 최적의 정규화는 주어진 데이터의 특성을 잘 고려한 대푯값을 통해서 가능하고, 이에 우리는 K 평균 군집화 알고리즘을 제안한다. 이 알고리즘에서는 군집화에 필요한 묶음의 수를 결정할 때 불규칙한 데이터의 특성을 고려할 수 있게 되고 군집화 된 결과를 이용해 균일한 데이터만을 선택하기 위한 대푯값을 결정할 수 있게 된다. 또한 여기서 우리는 시시각각 변화하는 불규칙적인 데이터의 특성을 잘 반영하기 위해, 적절한 묶음의 수를 결정하기 위한 방법을 연구한다. 시뮬레이션 결과를 통해 K 평균 군집화 알고리즘이 기존의 정규화 방법들에 비하여 매우 우수한 정규화와 목표물 검출 성능을 갖는 것을 확인할 수 있었다.

  • PDF

Affine-Invariant Image normalization for Log-Polar Images using Momentums

  • Son, Young-Ho;You, Bum-Jae;Oh, Sang-Rok;Park, Gwi-Tae
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2003년도 ICCAS
    • /
    • pp.1140-1145
    • /
    • 2003
  • Image normalization is one of the important areas in pattern recognition. Also, log-polar images are useful in the sense that their image data size is reduced dramatically comparing with conventional images and it is possible to develop faster pattern recognition algorithms. Especially, the log-polar image is very similar with the structure of human eyes. However, there are almost no researches on pattern recognition using the log-polar images while a number of researches on visual tracking have been executed. We propose an image normalization technique of log-polar images using momentums applicable for affine-invariant pattern recognition. We handle basic distortions of an image including translation, rotation, scaling, and skew of a log-polar image. The algorithm is experimented in a PC-based real-time vision system successfully.

  • PDF

수퍼스칼라 마이크로프로세서용 부동 소수점 연산회로의 설계 (A design of floating-point arithmetic unit for superscalar microprocessor)

  • 최병윤;손승일;이문기
    • 한국통신학회논문지
    • /
    • 제21권5호
    • /
    • pp.1345-1359
    • /
    • 1996
  • This paper presents a floating point arithmetic unit (FPAU) for supescalar microprocessor that executes fifteen operations such as addition, subtraction, data format converting, and compare operation using two pipelined arithmetic paths and new rounding and normalization scheme. By using two pipelined arithmetic paths, each aritchmetic operation can be assigned into appropriate arithmetic path which high speed operation is possible. The proposed normalization an rouding scheme enables the FPAU to execute roundig operation in parallel with normalization and to reduce timing delay of post-normalization. And by predicting leading one position of results using input operands, leading one detection(LOD) operation to normalize results in the conventional arithmetic unit can be eliminated. Because the FPAU can execuate fifteen single-precision or double-precision floating-point arithmetic operations through three-stage pipelined datapath and support IEEE standard 754, it has appropriate structure which can be ingegrated into superscalar microprocessor.

  • PDF