• 제목/요약/키워드: data normalization

검색결과 482건 처리시간 0.026초

마이크로어레이 발현 데이터 분류를 위한 베이지안 검증 기법 (A Bayesian Validation Method for Classification of Microarray Expression Data)

  • 박수영;정종필;정채영
    • 한국정보통신학회논문지
    • /
    • 제10권11호
    • /
    • pp.2039-2044
    • /
    • 2006
  • 생물정보는 사람의 능력을 넘어 섰으며 데이터 마이닝과 같은 인공지능기법이 필수적으로 요구된다. 한번에 수천 개의 유전자 발현 정보를 획득할 수 있는 DNA마이크로어레이 기술은 대량의 생물정보를 가진 대표적인 신기술로 질병의 진단 및 예측에 있어 새로운 분석방법들과 연계하여 많은 연구가 진행 중이다. 이러한 새로운 기술들을 이용하여 유전자의 메 커니즘을 규명하는 것은 질병의 치료 및 신약의 개발에 많은 도움을 줄 것으로 기대 된다. 본 논문에서는 마이크로어레이 실험에서 다양한 원인에 의해 발생하는 잡음(noise)을 줄이 거나 제거하는 과정인 표준화과정을 거쳐 표준화 방법들의 성능 비교를 위해 특징 추출방법 인 베이지안(Bayesian) 방법을 이용하여 마이크로어레이 데이터의 분류 정확도를 비교 평가하여 Lowess 표준화 후 95.89%로 분류성능을 향상시킬 수 있음을 보였다.

Comparison of Machine Learning-Based Radioisotope Identifiers for Plastic Scintillation Detector

  • Jeon, Byoungil;Kim, Jongyul;Yu, Yonggyun;Moon, Myungkook
    • Journal of Radiation Protection and Research
    • /
    • 제46권4호
    • /
    • pp.204-212
    • /
    • 2021
  • Background: Identification of radioisotopes for plastic scintillation detectors is challenging because their spectra have poor energy resolutions and lack photo peaks. To overcome this weakness, many researchers have conducted radioisotope identification studies using machine learning algorithms; however, the effect of data normalization on radioisotope identification has not been addressed yet. Furthermore, studies on machine learning-based radioisotope identifiers for plastic scintillation detectors are limited. Materials and Methods: In this study, machine learning-based radioisotope identifiers were implemented, and their performances according to data normalization methods were compared. Eight classes of radioisotopes consisting of combinations of 22Na, 60Co, and 137Cs, and the background, were defined. The training set was generated by the random sampling technique based on probabilistic density functions acquired by experiments and simulations, and test set was acquired by experiments. Support vector machine (SVM), artificial neural network (ANN), and convolutional neural network (CNN) were implemented as radioisotope identifiers with six data normalization methods, and trained using the generated training set. Results and Discussion: The implemented identifiers were evaluated by test sets acquired by experiments with and without gain shifts to confirm the robustness of the identifiers against the gain shift effect. Among the three machine learning-based radioisotope identifiers, prediction accuracy followed the order SVM > ANN > CNN, while the training time followed the order SVM > ANN > CNN. Conclusion: The prediction accuracy for the combined test sets was highest with the SVM. The CNN exhibited a minimum variation in prediction accuracy for each class, even though it had the lowest prediction accuracy for the combined test sets among three identifiers. The SVM exhibited the highest prediction accuracy for the combined test sets, and its training time was the shortest among three identifiers.

뇌파 신호의 정량적 분석을 위한 데이터 정규화 및 표현기법 연구 (Study on Data Normalization and Representation for Quantitative Analysis of EEG Signals)

  • 황태훈;김진헌
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제9권6호
    • /
    • pp.729-738
    • /
    • 2019
  • 최근 화두가 되는 가상현실 분야와 감정인식 분야의 결합으로 감정을 정량적으로 분석하고, 분석된 결과를 바탕으로 가상현실 콘텐츠를 개선하는 접근이 시도되고 있다. 감정은 콘텐츠 체험자의 생체신호를 기반으로 분석되는데, 신호 분석 관점에서는 많은 연구가 이루어지고 있으나 이를 정량화하는 방법론에 관해서는 충분히 논의되지 않고 있다. 본 논문에서는 감정의 정량화를 위한 초석으로 여러 생체신호 중 뇌파 신호에 대한 정규화 함수 설계와 이를 나타내는 표현 기법을 제안하고자 한다. 정규화 함수의 최적 파라미터를 찾아내기 위해 무차별 대입법을 사용하였으며, 본 논문에서 정의한 True Score와 False Score를 사용하여 찾아낸 파라미터들의 신뢰성을 높였다. 결과적으로 경험에 의존되던 생체신호 정규화 함수의 파라미터 결정을 자동화할 수 있으며, 이를 바탕으로 감정의 정량적 분석이 가능하다.

컴퓨터 단층영상에서 사이노그램 정규화를 이용한 금속 영상왜곡 저감 방법의 이론적 고찰 (Theoretical Investigation of Metal Artifact Reduction Based on Sinogram Normalization in Computed Tomography)

  • 전호상;윤한빈;남지호;김호경
    • 한국의학물리학회지:의학물리
    • /
    • 제24권4호
    • /
    • pp.303-314
    • /
    • 2013
  • 금속 인공물을 포함한 인체 단층영상의 경우 금속 영상왜곡으로 인한 화질의 저하가 매우 심각하다. 금속 영상왜곡 저감을 위한 많은 방법 중 사이노그램 정규화를 통해 평탄한 사이노그램을 제공하여 금속 궤적을 쉽게 찾고, 단순 선형 보간으로 금속물을 대체하는 두께 및 배경 정규화 방법이 최근 소개되었다. 본 연구에서는 두 방법의 이론적 배경을 개발하였으며, 시뮬레이션을 통해 금속 인공 물질의 크기 및 개수에 따른 두 방법의 보정 결과를 비교하였다. 개발한 이론에 의하면 배경 정규화 방법이 두께 정규화 방법에 비해 피검사체 배경 구성 물질의 개수 및 종류에 상관없이 거의 평탄한 사이노그램을 제공하였으며, 시뮬레이션을 통해 이를 증명하였다. 금속 인공 물질의 다양한 크기 및 개수에 대한 두 방법의 보정 결과 역시 배경 정규화 방법이 두께 정규화 방법에 비해 훨씬 나은 보정 결과를 보여 주었다. 배경 정규화 방법은 영상분할 과정을 요구하는데 본 연구에서는 이 과정을 생략하더라도 비록 영상왜곡 잔상이 미약하게 나타나긴 하지만, 두께 정규화 방법에 비해 훨씬 나은 보정 결과를 제공함을 확인하였다. 영상분할 과정을 생략한 배경 정규화 방법은 매우 간단하며 단순 선형 보간으로도 금속 궤적에 의해 손실된 데이터의 기술이 충분하고, 또한 사용자의 개입이 없는 알고리즘화가 가능하기 때문에 기존 컴퓨터단층영상 시스템에 쉽게 탑재되어 활용될 수 있을 것으로 기대된다.

기업 전사 자료 설계에서 역정규화 중심 데이터 모델링의 부작용 (Negative Side Effects of Denormalization-Oriented Data Modeling in Enterprise-Wide Database Design)

  • 이혜경
    • 전자공학회논문지CI
    • /
    • 제43권6호
    • /
    • pp.17-25
    • /
    • 2006
  • 전산화 대상 규모가 확대되면서 새로운 방식의 데이터 모델링 방법론이 필요하게 됨에 따라 자료 설계라는 것에 최근 들어 1980년대 초반 못지 않게 이른 바 데이터 거버넌스 혹은 데이터 질 등의 화두의 모습으로 큰 관심이 재연되고 있다. 그러나 데이터 모델링에 대한 확고한 견해를 가지고 있지 못하기 때문에 막상 데이터베이스 설계를 실무적으로 소화해 내기에는 적지 않은 어려움을 겪게 된다 본 논문에서는 업무의 요구 형성/분석 단계부터 데이터베이스 구현까지 최종 단계까지를 체계적인 방법론을 통해 정보시스템의 데이터 모델을 창출하는 정규화 중시의NS방법론을 적용한 설계방법과 기존의 관행에 의해 역정규화를 어쩔 도리 없이 용인하고 마는 정보공학(Information Engineering, 약칭 IE)방법론 기반의 설계방법과 비교한다. 동일한 업무를 대상으로 설계된 데이터 설계 산출물을 기준으로 각종 측면에서 비교해 봄으로써 정규화 중시 기반의 체계적 방법론이 기업의 정보시스템의 성능 향상에 어느 정도 기여하는지를 정량 파악하였다. 비교 실험 결과, 개체 설정의 타당성, 설계의 균형성 지표인 사각고리형 경로 유무, 그리고 속성중복률 면에서 모두 NS방법론적 설계가 우수하였다.

데이터베이스 정규화 이론을 이용한 국민건강영양조사 중 다년도 식이조사 자료 정제 및 통합 (Data Cleaning and Integration of Multi-year Dietary Survey in the Korea National Health and Nutrition Examination Survey (KNHANES) using Database Normalization Theory)

  • 권남지;서지혜;이헌주
    • 한국환경보건학회지
    • /
    • 제43권4호
    • /
    • pp.298-306
    • /
    • 2017
  • Objectives: Since 1998, the Korea National Health and Nutrition Examination Survey (KNHANES) has been conducted in order to investigate the health and nutritional status of Koreans. The food intake data of individuals in the KNHANES has also been utilized as source dataset for risk assessment of chemicals via food. To improve the reliability of intake estimation and prevent missing data for less-responded foods, the structure of integrated long-standing datasets is significant. However, it is difficult to merge multi-year survey datasets due to ineffective cleaning processes for handling extensive numbers of codes for each food item along with changes in dietary habits over time. Therefore, this study aims at 1) cleaning the process of abnormal data 2) generation of integrated long-standing raw data, and 3) contributing to the production of consistent dietary exposure factors. Methods: Codebooks, the guideline book, and raw intake data from KNHANES V and VI were used for analysis. The violation of the primary key constraint and the $1^{st}-3rd$ normal form in relational database theory were tested for the codebook and the structure of the raw data, respectively. Afterwards, the cleaning process was executed for the raw data by using these integrated codes. Results: Duplication of key records and abnormality in table structures were observed. However, after adjusting according to the suggested method above, the codes were corrected and integrated codes were newly created. Finally, we were able to clean the raw data provided by respondents to the KNHANES survey. Conclusion: The results of this study will contribute to the integration of the multi-year datasets and help improve the data production system by clarifying, testing, and verifying the primary key, integrity of the code, and primitive data structure according to the database normalization theory in the national health data.

배치 정규화와 CNN을 이용한 개선된 영상분류 방법 (An Improved Image Classification Using Batch Normalization and CNN)

  • 지명근;전준철;김남기
    • 인터넷정보학회논문지
    • /
    • 제19권3호
    • /
    • pp.35-42
    • /
    • 2018
  • 딥 러닝은 영상 분류를 위한 여러 방법 중 높은 정확도를 보이는 방법으로 알려져 있다. 본 논문에서는 딥 러닝 방법 가운데 합성곱 신경망 (CNN:Convolutional Neural Network)을 이용하여 영상을 분류함에 있어 배치 정규화 방법이 추가된 CNN을 이용하여 영상 분류의 정확도를 높이는 방법을 제시하였다. 본 논문에서는 영상 분류를 더 정확하게 수행하기 위해 기존의 뉴럴 네트워크에 배치 정규화 계층 (layer)를 추가하는 방법을 제안한다. 배치 정규화는 각 계층에 존재하는 편향을 줄이기 위해 고안된 방법으로, 각 배치의 평균과 분산을 계산하여 이동시키는 방법이다. 본 논문에서 제시된 방법의 우수성을 입증하기 위하여 SHREC13, MNIST, SVHN, CIFAR-10, CIFAR-100의 5개 영상 데이터 집합을 이용하여 영상분류 실험을 하여 정확도와 mAP를 측정한다. 실험 결과 일반적인 CNN 보다 배치 정규화가 추가된 CNN이 영상 분류 시 보다 높은 분류 정확도와 mAP를 보임을 확인 할 수 있었다.

필터 뱅크 에너지 차감을 이용한 묵음 특징 정규화 방법의 성능 향상 (Performance Improvements for Silence Feature Normalization Method by Using Filter Bank Energy Subtraction)

  • 신광호;최숙남;정현열
    • 한국통신학회논문지
    • /
    • 제35권7C호
    • /
    • pp.604-610
    • /
    • 2010
  • 본 논문에서는 기존의 CLSFN (Cepstral distance and Log-energy based Silence Feature Normalization) 방법의 인식성능을 향상시키기 위하여, 필터 뱅크 서브 밴드 영역에서 잡음을 차감하는 방법과 CLSFN을 결합하는 방법, 즉 FSFN (Filter bank sub-band energy subtraction based CLSFN)을 제안하였다. 이 방법은 음성으로부터 특징 파라미터를 추출할 때 필터 뱅크 서브 밴드 영역에서 잡음을 제거하여 켑스트럼 특징을 향상시키고, 이에 대한 켑스트럼 거리를 이용하여 음성/묵음 분류의 정확도를 개선함으로써 기존 CLSFN 방법에 비해 향상된 인식성능을 얻을 수 있다. Aurora 2.0 DB를 이용한 실험결과, 제안하는 FSFN 방법은 CLSFN 방법에 비해 평균 단어 정확도 (word accuracy)가 약 2% 향상되었으며, CMVN (Cepstral Mean and Variance Normalization)과의 결합에서도 기존 모든 방법에 비해 가장 우수한 인식성능을 나타내어 제안 방법의 유효성을 확인할 수 있었다.

Effect of Normalization on Detection of Differentially-Expressed Genes with Moderate Effects

  • Cho, Seo-Ae;Lee, Eun-Jee;Kim, Young-Chul;Park, Tae-Sung
    • Genomics & Informatics
    • /
    • 제5권3호
    • /
    • pp.118-123
    • /
    • 2007
  • The current existing literature offers little guidance on how to decide which method to use to analyze one-channel microarray measurements when dealing with large, grouped samples. Most previous methods have focused on two-channel data;therefore they can not be easily applied to one-channel microarray data. Thus, a more reliable method is required to determine an appropriate combination of individual basic processing steps for a given dataset in order to improve the validity of one-channel expression data analysis. We address key issues in evaluating the effectiveness of basic statistical processing steps of microarray data that can affect the final outcome of gene expression analysis without focusingon the intrinsic data underlying biological interpretation.

A Correction Approach to Bidirectional Effects of EO-1 Hyperion Data for Forest Classification

  • Park, Seung-Hwan;Kim, Choen
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.1470-1472
    • /
    • 2003
  • Hyperion, as hyperspectral data, is carried on NASA’s EO-1 satellite, can be used in more subtle discrimination on forest cover, with 224 band in 360 ?2580 nm (10nm interval). In this study, Hyperion image is used to investigate the effects of topography on the classification of forest cover, and to assess whether the topographic correction improves the discrimination of species units for practical forest mapping. A publicly available Digital Elevation Model (DEM), at a scale of 1:25,000, is used to model the radiance variation on forest, considering MSR(Mean Spectral Ratio) on antithesis aspects. Hyperion, as hyperspectral data, is corrected on a pixel-by-pixel basis to normalize the scene to a uniform solar illumination and viewing geometry. As a result, the approach on topographic effect normalization in hyperspectral data can effectively reduce the variation in detected radiance due to changes in forest illumination, progress the classification of forest cover.

  • PDF