• 제목/요약/키워드: map-reduce

검색결과 852건 처리시간 0.027초

High-density genetic mapping using GBS in Chrysanthemum

  • Chung, Yong Suk;Cho, Jin Woong;Kim, Changsoo
    • 한국작물학회:학술대회논문집
    • /
    • 한국작물학회 2017년도 9th Asian Crop Science Association conference
    • /
    • pp.57-57
    • /
    • 2017
  • Chrysanthemum is one of the most important floral crop in Korea produced about 7 billion dollars (1 billion for pot and 6 billion for cutting) in 2013. However, it is difficult to breed and to do genetic study because 1) it is highly self-incompatible, 2) it is outcrossing crop having heterozygotes, and 3) commercial cultvars are hexaploid (2n = 6x = 54). Although low-density genetic map and QTL study were reported, it is not enough to apply for the marker assisted selection and other genetic studies. Therefore, we are trying to make high-density genetic mapping using GBS with about 100 $F_1s$ of C. boreale that is oHohhfd diploid (2n = 2x = 18, about 2.8Gb) instead of commercial culitvars. Since Chrysanthemum is outcrossing, two-way pseudo-testcross model would be used to construct genetic map. Also, genotype-by-sequencing (GBS) would be utilized to generate sufficient number of markers and to maximize genomic representation in a cost effective manner. Those completed sequences would be analyzed with TASSEL-GBS pipeline. In order to reduce sequence error, only first 64 sequences, which have almost zero percent error, would be incorporated in the pipeline for the analysis. In addition, to reduce errors that is common in heterozygotes crops caused by low coverage, two rare cutters (NsiI and MseI) were used to increase sequence depth. Maskov algorithm would also used to deal with missing data. Further, sparsely placed markers on the physical map would be used as anchors to overcome problems caused by low coverage. For this purpose, were generated from transcriptome of Chrysanthemum using MISA program. Among those, 10 simple sequence repeat (SSR) markers, which are evenly distributed along each chromosome and polymorphic between two parents, would be selected.

  • PDF

맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법 (A Hot-Data Replication Scheme Based on Data Access Patterns for Enhancing Processing Speed of MapReduce)

  • 손인국;류은경;박준호;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제13권11호
    • /
    • pp.21-27
    • /
    • 2013
  • 최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리 프레임워크로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스 에서의 태스크 할당은 데이터의 지역성(locality)를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스 에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 지역성으로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 지역성을 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 감소하는 것을 확인하였다.

맵리듀스에서 데이터의 유용성을 이용한 데이터 분할 기법 (Data Partitioning on MapReduce by Leveraging Data Utility)

  • 김종욱
    • 한국멀티미디어학회논문지
    • /
    • 제16권5호
    • /
    • pp.657-666
    • /
    • 2013
  • 현대사회는 소셜 미디어, 비즈니스, 바이오 인포메틱스 같은 다양한 응용프로그램에서 지속적으로 생산되어 지고 있는 수많은 데이터의 빠른 유입으로 특징지어 지고 있다. 이에 따라 폭발적으로 증가하고 있는 대규모 데이터를 보다 효율적으로 분석하고 처리 할 수 있는 방법이 그 어느 때보다 강조 되고 있다. 지난 몇 년간 학계에서는 배치 지향 시스템 (batch oriented system) 환경 내에서 병렬 처리를 효과적으로 지원할 수 있는 맵리듀스 기법이 활발히 연구 되어 왔으며, 맵리듀스 기법은 다양한 분야에서 성공적으로 사용되고 있다. 그러나 이 기법은 데이터의 상대적 유용성 (data utility)을 고려하지 않기 때문에, 멀티미디어 응용프로그램 사용자의 특성 (즉, 높은 혹은 낮은 스코어를 가지는 몇몇 결과물에 관심을 가지는 사용자들의 특성)으로 인하여 효과적인 성능을 보여 주지 못하고 있다. 따라서 본 논문에서는 이러한 문제점을 해소하기 위해, 맵리듀스 상에서의 데이터 분할 방식을 제안한다. 또한, 제안된 분할 방식에 대한 성능 실험을 통하여 우리가 제안하는 데이터 분할 방식이 기존 방식보다 성능 향상을 자져올 수 있음을 보여준다.

CDSK 변조 방식과 카오스 송수신기의 지연시간에 따른 Boss Map의 BER 성능 평가 (BER Performance Evaluation of Boss Map According to Delay Time in CDSK Modulation Scheme and Chaos Transceiver)

  • 이준현;금홍식;이동형;유흥균
    • 한국통신학회논문지
    • /
    • 제39A권7호
    • /
    • pp.365-371
    • /
    • 2014
  • 카오스 통신 시스템은 카오스 신호를 이용하여 시스템의 보안성을 향상시킨다. 또한, 도청 확률을 줄일 수 있으며, 간섭 신호나 재밍 신호에 강한 특징을 가진다. 하지만 디지털 통신 시스템보다 BER(Bit Error Rate) 성능이 좋지 않은 단점을 가진다. 이런 이유로 인해 카오스 통신 시스템의 BER 성능을 향상시키기 위한 연구가 활발이 이루어지고 있다. 우리는 이전 연구에서 BER 성능을 향상시키기 위해 새로운 카오스 맵을 제안하고 이 카오스 맵을 'Boss map'이라 불렀다. 또한, 새로운 카오스 송수신기 구조를 제안하여 BER 성능을 향상시켰다. 하지만 BER 성능은 송수신기에서 사용하는 지연 시간에 따라 다르게 평가된다. 따라서 Boss map을 효과적으로 사용하기 위해서는 CDSK(Correlation Delay Shift Keying) 방식과 제안된 카오스 송수신기의 최적의 지연시간을 찾아야 한다. 본 논문에서는 Boss map을 사용했을 때, CDSK 방식과 새로운 송수신기 구조의 지연시간에 따른 BER 성능을 평가한다. 지연 시간에 따른 BER 성능을 평가한 후, CDSK 방식과 새로운 송수신기 구조에서 최적의 BER 성능을 가질 수 있는 지연 시간을 확인한다.

맵리듀스에서 리듀스 단계 성능 향상을 위한 적응적 리듀스 태스크 스케줄링 기법 (Adaptive Reduce Task Scheduling Technique for Improving Reduce Phase in MapReduce)

  • 이정하;최숙경;박지수;이은영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.160-163
    • /
    • 2012
  • 맵리듀스는 데이터 집약적인 어플리케이션에서 대량의 데이터를 분산 병렬 처리하기 위한 프로그래밍 모델이다. 하둡은 맵리듀스의 오픈소스 구현으로 맵리듀스를 사용하기 위한 도구로 많이 알려져 있다. 실제 하둡을 이용하여 맵리듀스를 적용할 때 맵 태스크 단계는 병렬로 수행되어 순차처리에 비해 시간이 단축된다. 그러나 맵 태스크의 결과물인 중간 단계의 데이터는 단일 리듀스 태스크에서 처리됨으로써 시간 지연이 발생한다. 따라서 본 논문에서는 단일 리듀스 태스크 처리에서 발생하는 오버로드 및 시간 지연 문제를 해결하기 위해 적응적으로 리듀스 태스크를 할당하는 스케줄링 기법을 제안하고 실험을 통해 이 기법의 성능을 검증한다.

도로기반 수치지도의 수정 및 갱신을 위한 GPS-Van 적용에 관한 연구 (A Study on GPS-Van Application for Editing and Updating Digital Map of Road System)

  • 주영은;이형석
    • 한국지리정보학회지
    • /
    • 제8권3호
    • /
    • pp.129-141
    • /
    • 2005
  • 현재 대축척 수치지도의 경우 비용 및 공정 등의 문제로 수시 수정이 어려우며, 갱신주기별로 항공사진촬영을 통하여 이루어지고 있는 실정이다. 이러한 5년의 갱신주기로는 정보화 시대가 요구하는 정확한 데이터의 제공이 어려운 현실이다. 본 연구는 도로기반의 수치지도의 수시 수정 및 갱신하기 위한 GPS-Van 시스템의 적용 가능성 및 영향을 제시하고자 하였다. GPS-Van으로 위치정보를 취득하고 각 구간별 데이터 취득 환경과 이에 따른 정확도를 분석하였다. 오차 원인을 분석한 결과 GPS 데이터 수신 장애 지역의 경우 INS 데이터의 성능에 영향을 받았지만 작업지침에 따른 철저한 측량계획을 수립함으로써 양호한 정확도를 유지할 수 있었다. 따라서 수치지도의 수정 갱신시 GPS-Van과 현장조사를 병행함으로써 경제적 및 시간적인 측면에서 많은 절감 효과를 얻을 수 있으며 신속하고 정확한 도로기반의 수치지도를 제공할 수 있으리라 기대된다.

  • PDF

극초단파 조사가 돈분뇨의 성상과 MAP 결정화 반응에 미치는 영향 (Effects of Microwave Irradiation on the Composition of Swine Manure and Crystallization of MAP)

  • 조준희;라창식
    • Journal of Animal Science and Technology
    • /
    • 제51권1호
    • /
    • pp.75-80
    • /
    • 2009
  • Composition changes of swine manure and the effects on MAP ($MgNH_4PO_46H_2O$) crystallization by microwave irradiation were examined. The concentration of ${PO_4}^{3-}$ was increased within a fixed period of time and then decreased, but $NH_4$-N was reduced continuously during microwave irradiation. Concentration of ${PO_4}^{3-}$ was started to reduce just from the point of foam formation during microwave irradiation, and the temperature at that time was always $49^{\circ}C$ irrespectively to microwave irradiation rate. Inorganic carbon was reduced with microwave irradiation, but soluble organic carbon (TOCs) was increased proportionally. Crystallization rate under conditions of non-microwave irradiation, irradiation up to $93^{\circ}C$ and $48^{\circ}C$ was 87.8%, 87.3% and 98.5%, respectively, showing 10% enhancement when irradiated up to $48^{\circ}C$. However, removal efficiency of ammonia nitrogen was proportional to the microwave irradiation rate or duration, obtaining 2.5%, 4.5% and 10.2%, respectively. Based on these results, it would be a useful strategy to irradiate microwave up to $49^{\circ}C$ to enhance MAP crystallization rate by changing the ionic pattern of nutrients in the manure. Meanwhile, provision of enough microwave irradiation rate might be needed to achieve high $NH_4$-N removal.

GIS 기반 중첩기법을 이용한 소방서비스 취약지역 분석 (Vulnerability Analysis on Fire Service Zone using Map Overlay Method in GIS)

  • 이슬지;이지영
    • 한국측량학회지
    • /
    • 제29권1호
    • /
    • pp.91-100
    • /
    • 2011
  • 소방서는 지역주민의 생명과 재산을 지키는 중요한 공공기반시설로 화재발생시 신속하게 대응하여 피해를 최소화할 수 있도록 최적의 입지에 위치해 있어야 한다. 하지만 접근성과 재난발생요소들을 고려하지 않는 소방서 입지는 편중된 소방서비스를 야기할 수 있다. 따라서 재난안전 사각지대 해소 및 소방서비스의 균등한 제공을 위해 효율적인 소방서 입지를 위한 서비스 분석이 필요하다. 특히 재난의 발생 기능성이 높은 취약지역을 최소화함으로서 효율적인 소방서비스를 제공하여야 한다. 본 연구에서는 효율적인 소방 서비스 제공을 위한 기초연구로서, 화재 등 재난발생의 취약성을 나타내는 값을 색인화한 지도와 소방서의 서비스지역을 나타내는 지도를 도출하는 방법을 제시한다. 중첩분석을 통해 서비스 지역을 나타내는 지도와 취약성을 나타내는 지도 사이의 공간적 분포의 불일치를 파악하고, 소방서비스의 취약지역을 도출한다.

공통주제도의 수치지도제작사업 추진방안에 관한 연구 (Strategy on Production and Digitalization of Thematic Maps)

  • 김영표;조윤숙
    • Spatial Information Research
    • /
    • 제5권1호
    • /
    • pp.43-59
    • /
    • 1997
  • 현재 우리 나라에서 사용되는 주제도는 수십종류가 있다. 그 중 제작기관내에서만 이용되는 주제도가 있는가하면, 여러 기관에서 공통적으로 이용되는 주제도들도 있다. 이 글에서는 먼저 여러 가지 주제도 중에서 수치지도화 해야 할 공통주제도들을 분석하여 사업추진 우선순위를 제시하였다. 우선순위에서 1등급으로 분류된 공통주제도 중 토지이용현황도, 지형지번도, 행정구역도, 도시계획도, 도로망도 등 5개를 선택하여 제주도를 사례지역으로 수치지도를 실험제작하였다. 실험제작을 통해 공통주제별로 가장 합리적인 제작방법을 도출하고, 실험제작 과정에서 도출된 문제점을 분석하여 향후 국가 GIS사업에서 공통주제도 수치지도제작 결과를 바탕으로 공통주제도의 수치지도제작사업 추진방향을 제시하고, 아울러 전국적으로 확대제작하는데 소요될 예산, 인력, 기간 등에 관한 물량을 추정하고 구체적인 추진방안을 제시하였다.

  • PDF

정점 응집맵을 이용한 지형 렌더링 (Terrain Rendering Using Vertex Cohesion Map)

  • 조인우;이은석;신병석
    • 한국게임학회 논문지
    • /
    • 제11권1호
    • /
    • pp.131-138
    • /
    • 2011
  • 최근 지형렌더링에서 사용되는 DEM(digital elevation map) 데이터들은 일반 컴퓨터에서 처리 가능한 메모리 용량을 초과하기 때문에 밉맵(mipmap)을 이용한 상세단계(LOD : level-of-detail) 기법들을 사용하는 외부 메모리 처리(out-of-core) 기법들이 많이 연구되고 있다. 하지만 밉맵을 이용한 상세단계 기법들은 높은 레벨의 상세단계에서 데이터의 간략화에 따른 기하오차가 발생한다. 이러한 기하오차는 시점이 이동할 때 상세단계가 변화하는 부분에서 기하파핑(geometry popping) 현상을 유발한다. 본 논문에선 기하오차를 줄이기 위해 정점 응집맵을 제안한다. 전처리 단계에서 생성되는 정점 응집맵은 벡터를 저장한 텍스쳐이다. 이 벡터들은 상대적으로 기울기 변화량이 큰 위치로 주변의 정점들을 응집시켜 지형의 기하오차를 줄이기 때문에 단순히 밉맵을 이용하여 지형을 렌더링 했을 때 나타나는 기하파핑 현상을 효과적으로 줄일 수 있다.