• 제목/요약/키워드: High-dimensional data

검색결과 1,531건 처리시간 0.031초

Error-Correcting 7/9 Modulation Codes For Holographic Data Storage

  • Lee, Kyoungoh;Kim, Byungsun;Lee, Jaejin
    • 한국통신학회논문지
    • /
    • 제39A권2호
    • /
    • pp.86-91
    • /
    • 2014
  • Holographic data storage (HDS) has a number of advantages, including a high transmission rate through the use of a charge coupled device array for reading two-dimensional (2D) pixel image data, and a high density capacity. HDS also has disadvantages, including 2d intersymbol interference by neighboring pixels and interpage interference by multiple pages stored in the same holographic volume. These problems can be eliminated by modulation codes. We propose a 7/9 error-correcting modulation code that exploits a Viterbi-trellis algorithm and has a code rate larger (about 0.778) than that of the conventional 6/8 balanced modulation code. We show improved performance of the bit error rate with the proposed scheme compared to that of the simple 7/9 code without the trellis scheme and the 6/8 balanced modulation code.

Estimation of high-dimensional sparse cross correlation matrix

  • Yin, Cao;Kwangok, Seo;Soohyun, Ahn;Johan, Lim
    • Communications for Statistical Applications and Methods
    • /
    • 제29권6호
    • /
    • pp.655-664
    • /
    • 2022
  • On the motivation by an integrative study of multi-omics data, we are interested in estimating the structure of the sparse cross correlation matrix of two high-dimensional random vectors. We rewrite the problem as a multiple testing problem and propose a new method to estimate the sparse structure of the cross correlation matrix. To do so, we test the correlation coefficients simultaneously and threshold the correlation coefficients by controlling FRD at a predetermined level α. Further, we apply the proposed method and an alternative adaptive thresholding procedure by Cai and Liu (2016) to the integrative analysis of the protein expression data (X) and the mRNA expression data (Y) in TCGA breast cancer cohort. By varying the FDR level α, we show that the new procedure is consistently more efficient in estimating the sparse structure of cross correlation matrix than the alternative one.

Detection of Differentially Expressed Genes by Clustering Genes Using Class-Wise Averaged Data in Microarray Data

  • Kim, Seung-Gu
    • Communications for Statistical Applications and Methods
    • /
    • 제14권3호
    • /
    • pp.687-698
    • /
    • 2007
  • A normal mixture model with which dependence between classes is incorporated is proposed in order to detect differentially expressed genes. Gene clustering approaches suffer from the high dimensional column of microarray expression data matrix which leads to the over-fit problem. Various methods are proposed to solve the problem. In this paper, use of simple averaging data within each class is proposed to overcome the various problems due to high dimensionality when the normal mixture model is fitted. Some experiments through simulated data set and real data set show its availability in actuality.

A Study of Efficient Access Method based upon the Spatial Locality of Multi-Dimensional Data

  • Yoon, Seong-young;Joo, In-hak;Choy, Yoon-chul
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1997년도 International Conference MULTIMEDIA DATABASES on INTERNET
    • /
    • pp.472-482
    • /
    • 1997
  • Multi-dimensional data play a crucial role in various fields, as like computer graphics, geographical information system, and multimedia applications. Indexing method fur multi-dimensional data Is a very Important factor in overall system performance. What is proposed in this paper is a new dynamic access method for spatial objects called HL-CIF(Hierarchically Layered Caltech Intermediate Form) tree which requires small amount of storage space and facilitates efficient query processing. HL-CIF tree is a combination of hierarchical management of spatial objects and CIF tree in which spatial objects and sub-regions are associated with representative points. HL-CIF tree adopts "centroid" of spatial objects as the representative point. By reflecting objects′sizes and positions in its structure, HL-CIF tree guarantees the high spatial locality of objects grouped in a sub-region rendering query processing more efficient.

  • PDF

KNHNAES (2013~2015) 에 기반한 대형 특징 공간 데이터집 혼합형 효율적인 특징 선택 모델 (A Hybrid Efficient Feature Selection Model for High Dimensional Data Set based on KNHNAES (2013~2015))

  • 권태일;이정곤;박현우;류광선;김의탁;박명호
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권4호
    • /
    • pp.739-747
    • /
    • 2018
  • 고차원 데이터에서는 데이터마이닝 기법 중에서 특징 선택은 매우 중요한 과정이 되었다. 그러나 전통적인 단일 특징 선택방법은 더 이상 효율적인 특징선택 기법으로 적합하지 않을 수 있다. 본 논문에서 우리는 고차원 데이터에 대한 효율적인 특징선택을 위하여 혼합형 특징선택 기법을 제안하였다. 본 논문에서는 KNHANES 데이터에 제안한 혼합형 특징선택기법을 적용하여 분류한 결과 기존의 분류기법을 적용한 모델보다 5% 이상의 정확도가 향상되었다.

재분석자료들을 이용한 최근 35년(1979~2013) 동북아시아 상층제트의 변동특성 (Characteristic Variations of Upper Jet Stream over North-East Asian Region during the Recent 35 Years (1979~2013) Based on Four Reanalysis Datasets)

  • 소은미;서명석
    • 대기
    • /
    • 제25권2호
    • /
    • pp.235-248
    • /
    • 2015
  • In this study, we analyzed the three dimensional variations (latitude, longitude, and height of Jet core) and wind speed of upper Jet stream in the East Asian region using recent 35 years (1979~2013) of four reanalysis data (NCEP-R2, MERRA, ERA-Interim. and JRA-55). Most of Jet core is located in $30.0{\sim}37.5^{\circ}N$ and $13.0{\sim}157.5^{\circ}E$ although there are slight differences among the four reanalysis data. The wind speed differences among reanalysis are about $3m\;s^{-1}$ regardless of seasons, the weakest in NCEP-R2 and the strongest in JRA-55. Although significance level is not high, most of reanalysis showed that the Jet core has a tendency of southward moving during spring and winter, but moving northward during summer and fall. This amplified seasonal variation of Jet core suggests that seasonal variations of weather/climate can be increased in the East Asian region. The longitude of Jet core has a tendency of systematically westward moving and decreasing of zonal variations regardless of averaging methods and reanalysis data. In general, the Jet core shows a tendency of moving south-west-ward and upward, getting intensified during spring and winter regardless of the reanalysis data. However, the Jet core shows a tendency of moving westward and downward, and getting weakened during summer. In fall, there were no distinctive trends not only in wind speed but also three dimensional locations compared to other seasons. Although the significance levels are not high and variation patterns are slightly different according to the reanalysis data, our findings are more or less different from the previous results. So, more works are needed to clarify the three dimensional variation patterns of Jet core over the East Asian region as a result of global warming.

Review of statistical methods for survival analysis using genomic data

  • Lee, Seungyeoun;Lim, Heeju
    • Genomics & Informatics
    • /
    • 제17권4호
    • /
    • pp.41.1-41.12
    • /
    • 2019
  • Survival analysis mainly deals with the time to event, including death, onset of disease, and bankruptcy. The common characteristic of survival analysis is that it contains "censored" data, in which the time to event cannot be completely observed, but instead represents the lower bound of the time to event. Only the occurrence of either time to event or censoring time is observed. Many traditional statistical methods have been effectively used for analyzing survival data with censored observations. However, with the development of high-throughput technologies for producing "omics" data, more advanced statistical methods, such as regularization, should be required to construct the predictive survival model with high-dimensional genomic data. Furthermore, machine learning approaches have been adapted for survival analysis, to fit nonlinear and complex interaction effects between predictors, and achieve more accurate prediction of individual survival probability. Presently, since most clinicians and medical researchers can easily assess statistical programs for analyzing survival data, a review article is helpful for understanding statistical methods used in survival analysis. We review traditional survival methods and regularization methods, with various penalty functions, for the analysis of high-dimensional genomics, and describe machine learning techniques that have been adapted to survival analysis.

군집화 기반 3차원 애니메이션 데이터 압축 기법 (Grouping-based 3D Animation Data Compression Method)

  • 최영진;여두환;김형석;김지인
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2008년도 학술대회 1부
    • /
    • pp.461-468
    • /
    • 2008
  • 가상현실 및 증강 현실 응용 특히 디지털 패션과 같은 응용분야에서 아바타에 여러 가지 형태의 의복을 입히고 장신구들을 장식하여 보다 현실감이 나는 3차원 애니메이션을 제작한 다음 인터넷을 통하여 개인용 컴퓨터는 물론 핸드폰 같은 휴대용 정보단말기에 표현하려는 요구가 증가하고 있다. 하지만 3차원 모델을 실감나게 표현하는데 필요한 데이터의 용량이 매우 크고 네트워크의 속도 문제와 단말기에 장착된 메모리 장치의 제한적인 성능 문제등으로 인하여, 3차원 영상의 효과적인 전송 및 실감나는 표현은 매우 어렵다. 본 논문에서는 3차원 애니메이션에서 사용되는 데이터를 압축하는데, 3차원 모델 데이터를 군집화하여 애니메이션에 필요한 저장 공간을 줄여서 휴대용 정보단말기에서도 3차원 모델을 자연스럽게 렌더링할 수 있게 하는 기법을 제안하고자 한다. 제안된 기법은 각종 디포머블 오브젝트에도 응용될 수 있으며, 기존의 정적인 형상 압축 기술과 연계하여 좀 더 높은 압축을 가능하게 할 것으로 기대된다.

  • PDF

유사 시퀀스 매칭을 위한 하이브리드 저차원 변환 (Hybrid Lower-Dimensional Transformation for Similar Sequence Matching)

  • 문양세;김진호
    • 정보처리학회논문지D
    • /
    • 제15D권1호
    • /
    • pp.31-40
    • /
    • 2008
  • 유사 시퀀스 매칭에서는 고차원인 시퀀스를 저차원의 점으로 변환하기 위하여 저차원 변환을 사용한다. 그런데, 이러한 저차원 변환은 시계열 데이터의 종류에 따라 인덱싱 성능에 있어서 큰 차이를 나타낸다. 즉, 어떤 저차원 변환을 선택하느냐가 유사 시퀀스 매칭의 인덱싱 성능에 큰 영향을 주게 된다. 이 문제를 해결하기 위하여, 본 논문에서는 하나의 인덱스에서 두 개 이상의 저차원 변환을 통합하여 사용하는 하이브리드 접근법을 제안한다. 먼저, 하나의 시퀀스에 두 개 이상의 저차원 변환을 적용하는 하이브리드 저차원 변환의 개념을 제안하고, 변환된 시퀀스간의 거리를 계산하는 하이브리드 거리를 정의한다. 다음으로, 이러한 하이브리드 접근법 사용하면 유사 시퀀스 매칭을 정확하게 수행할 수 있음을 정형적으로 증명한다. 또한, 제안한 하이브리드 접근법을 사용하는 인덱스 구성 및 유사 시퀀스 매칭 알고리즘을 제시한다. 다양한 시계열 데이터에 대한 실험 결과, 제안한 하이브리드 접근법은 단일 저차원 변환을 사용하는 경우에 비해서 우수한 성능을 보이는 것으로 나타났다. 이 같은 결과를 볼 때, 제안한 하이브리드 접근법은 다양한 특성을 지닌 다양한 시계열 데이터에 두루 적용될 수 있는 우수한 방법이라 사료된다.

그룹 구조를 갖는 고차원 유전체 자료 분석을 위한 네트워크 기반의 규제화 방법 (Network-based regularization for analysis of high-dimensional genomic data with group structure)

  • 김기풍;최지윤;선호근
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1117-1128
    • /
    • 2016
  • 고차원 유전체 자료를 사용하는 유전체 연관 분석에서는 벌점 우도함수 기반의 회귀계수 규제화 방법이 질병 및 표현형질에 영향을 주는 유전자를 발견하는데 많이 이용된다. 특히, 네트워크 기반의 규제화 방법은 유전체 연관성 연구에서의 유전체 경로나 신호 전달 경로와 같은 생물학적 네트워크 정보를 사용할 수 있으므로, Lasso나 Elastic-net과 같은 다른 규제화 방법들과 비교했을 경우 네트워크 기반의 규제화 방법이 보다 더 정확하게 관련 유전자들을 찾아낼 수 있다는 장점을 가지고 있다. 그러나 네트워크 기반의 규제화 방법은 그룹 구조를 갖고 있는 고차원 유전체 자료에는 적용시킬 수 없다는 문제점을 가지고 있다. 실제 SNP 데이터와 DNA 메틸화 데이터처럼 대다수의 고차원 유전체 자료는 그룹 구조를 가지고 있으므로 본 논문에서는 이러한 그룹 구조를 가지고 있는 고차원 유전체 자료를 분석하고자 네트워크 기반의 규제화 방법에 주성분 분석(principal component analysis; PCA)과 부분 최소 자승법(partial least square; PLS)과 같은 차원 축소 방법을 결합시키는 새로운 분석 방법을 제안하고자 한다. 새롭게 제안한 분석 방법은 몇 가지의 모의실험을 통해 변수 선택의 우수성을 입증하였으며, 또한 152명의 정상인들과 123명의 난소암 환자들로 구성된 고차원 DNA 메틸화 자료 분석에도 사용하였다. DNA 메틸화 자료는 대략 20,000여개의 CpG sites가 12,770개의 유전자에 포함되어 있는 그룹 구조를 가지고 있으며 Illumina Innium uman Methylation27 BeadChip으로부터 생성되었다. 분석 결과 우리는 실제로 암에 연관된 몇 가지의 유전자를 발견할 수 있었다.