• Title/Summary/Keyword: 통계 처리

Search Result 3,103, Processing Time 0.037 seconds

Measuring Hadoop Optimality by Lorenz Curve (로렌츠 커브를 이용한 하둡 플랫폼의 최적화 지수)

  • Kim, Woo-Cheol;Baek, Changryong
    • The Korean Journal of Applied Statistics
    • /
    • v.27 no.2
    • /
    • pp.249-261
    • /
    • 2014
  • Ever increasing "Big data" can only be effectively processed by parallel computing. Parallel computing refers to a high performance computational method that achieves effectiveness by dividing a big query into smaller subtasks and aggregating results from subtasks to provide an output. However, it is well-known that parallel computing does not achieve scalability which means that performance is improved linearly by adding more computers because it requires a very careful assignment of tasks to each node and collecting results in a timely manner. Hadoop is one of the most successful platforms to attain scalability. In this paper, we propose a measurement for Hadoop optimization by utilizing a Lorenz curve which is a proxy for the inequality of hardware resources. Our proposed index takes into account the intrinsic overhead of Hadoop systems such as CPU, disk I/O and network. Therefore, it also indicates that a given Hadoop can be improved explicitly and in what capacity. Our proposed method is illustrated with experimental data and substantiated by Monte Carlo simulations.

Outlier detection and treatment in industrial sampling survey (경제조사에서의 이상치 탐지와 처리방법)

  • Joo, Young Sun;Cho, Gyo-Young
    • Journal of the Korean Data and Information Science Society
    • /
    • v.27 no.1
    • /
    • pp.131-142
    • /
    • 2016
  • Outliers in surveys can have a large effect on estimates of totals. This is especially true in business surveys where the populations are drawn are typically skewed. In this paper, we discussed the practical development and implementation of methods to identify and deal with outliers. A detection method is based on quartile method and detected outlier is processed in various ways. The study examines two versions of winsorised estimators with three different cut-off thresholds for each one. For the simulation study, four types of weight transformation function have been considered.

Misconception of the Force in Scientifical Gifted Through the Knowledge State Analysis (지식상태 분석을 통한 과학영재들의 힘에 관한 오개념)

  • Park, Sang-Tae
    • Journal of Gifted/Talented Education
    • /
    • v.20 no.3
    • /
    • pp.1027-1037
    • /
    • 2010
  • Comparing to the other subject, the relationship among physics contents is strong from the perspective of knowledge order as grades go up. That is, The things already that students learned, are learning and will learn are closed related from grade to grade. We expect students to be proactive and creative in studying physics, which is the goal of 21th century, analyzing their knowledge structure based on the knowledge order through assessment. Especially, using computer system, we provide students with substantial feedback for the assessment as well as objective validity is increased along with speedy and exact process in a bid to help students' mathematical understanding grow. This paper seeks to analyze the data from assessment applying knowledge spaces of the scientifical gifted in the force and the motion concept to applicate on teaching method.

Effects of Vernalization, Temperature, and Soil Drying Periods on the Growth and Yield of Chinese Cabbage (춘화, 온도와 토양건조 기간에 따른 배추의 생장 및 수량)

  • Lee, Sang Gyu;Lee, Hee Ju;Kim, Sung Kyeom;Choi, Chang Sun;Park, Sung Tae;Jang, Yoon Ah;Do, Kyung Ran
    • Horticultural Science & Technology
    • /
    • v.33 no.6
    • /
    • pp.820-828
    • /
    • 2015
  • This study was carried out to determine the effects of vernalization, temperature, and soil water deficit (SD) on mesophyll cells, growth, and yield of Chinese cabbage (Brassica campestris L). The palisade parenchyma and spongy tissues of Chinese cabbage were observed under full irrigation and two weeks of SD treatment. These cells were severely collapsed by four weeks SD treatment. The SD treatment had the greatest influence on the growth of Chinese cabbage among the tested treatment factors (vernalization, temperature, and SD), growth significantly decreased by severe drought treatment (four weeks SD treatment). In addition, the relative growth rate, unit leaf rate, leaf area ratio, specific leaf area, and leaf weight ratio were significantly affected by SD treatment; however, other individual factors and their combined treatments did not influence the analyzed growth parameters. The yield under vernalization after high temperature and full irrigation treatments was 3,056 kg/10 a, which was the greatest among all the tested treatments, while four-week SD treatment significantly reduced the yield. Head formation of Chinese cabbage was not altered under SD treatment, and vernalization treatments did not induce bolting. Our results indicated that collapsing mesophyll cells and reduced growth and yield were induced by SD treatment. Thus we suggest that optimal irrigation system should be install to avoid or overcome crippling drought conditions in the open field.

방사성폐기물 통합관리 시스템의 구축과 활용

  • 이영희;조한석;손종식
    • Proceedings of the Korean Radioactive Waste Society Conference
    • /
    • 2004.06a
    • /
    • pp.241-241
    • /
    • 2004
  • 한국원자력연구소에서 발생되는 방사성폐기물은 다양한 형태, 다양한 핵종으로 구성되며 소량씩 불규칙한 시기에 발생하는 특성을 갖는다. 이러한 폐기물의 효율적인 관리와 처리를 위하여 체계적인 이력관리와 신속한 통계를 도출할 수 있는 데이터베이스 시스템 구축이 선행과제로 대두되었다. 이에 방사성폐기물 통합관리 시스템(Radioactive Waste Management Integration System ; RAWMIS)을 구축하였으며, 이 시스템은 방사성폐기물의 발생부터 수집, 이동, 처리, 저장 등 처분까지의 이력을 관리하고, 서류간소화 및 인적자원 절약 등의 관리효율성을 제고하여 구현되었다. 또한, 한국원자력안전기술원에서 추진하는 국가적 방사성폐기물 통합 안전관리 체계(Waste Comprehensive Information Database : WACID)와 연계를 할 수 있도록 연구개발의 착수 단계에서부터 공동으로 진행하였다. 본 논문에서는 구축된 시스템의 구현사항과 실제 방사성폐기물 관리에 활용하는 사항을 제시한다. 본 연구를 통하여 구축된 시스템은 방사성폐기물 발생기관의 관리와 처리에 있어서 투명성과 효율을 증가시키고, 정확하고 신속한 정보를 도출할 수 있으며, 방사성폐기물의 관리와 처리공정의 데이터를 확보하여 방사성폐기물 처리 분야 연구의 토대를 제공할 수 있다.

  • PDF

A Traffic Data based User's Route Exploring Mechanism using Hadoop Platform (Hadoop 플랫폼을 이용한 교통데이터 기반 사용자 경로탐색 방법론)

  • Cho, Wonhee;Choi, Eunmi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.176-179
    • /
    • 2013
  • 본 연구는 최근 활성화된 스마트폰 내비게이션의 교통정보를 이용 시 상대적으로 품질이 취약한 지방지역의 빠른길 및 통행시간 정확도를 개선하는 방안에 대한 연구이다. 본 연구에서는 Hadoop기술을 이용하여 교통데이터에 대한 방대한 양의 데이터를 분석 처리한다. 특히, 실시간 교통정보가 제대로 수집되지 않는 지역의 도로 속도 정보에 대한 개선 방안으로 고객 단말로부터 올라오는 위치 데이터를 실시간으로 수집하여 전자지도 기본 속성값을 실시간 통계 데이터로 교체 반영하여 상대적으로 취약한 지방지역의 경로 품질 및 경로 탐색을 개선하는 방안을 제시하였다. 단말로부터 올라오는 많은 양의 GPS 위치정보등 대용량 데이터 처리를 위해 오픈소스프로젝트인 Hadoop플랫폼 환경에서 빅데이터 처리용 오픈소스를 활용하여 고가의 RDBMS를 대체하는 효과와 시간 단축의 효과를 기대할 수 있게 되었다.

A K-Nearest Neighbour Search Algorithm based on Hilbert Curve for Outsourced Spatial Database (아웃소싱된 공간 데이터베이스를 위한 힐버트 커브 기반 k-최근접점 질의처리 알고리즘)

  • Yoo, Hye-Kyeom;Chang, Jae-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.1199-1202
    • /
    • 2011
  • 최근 클라우드 컴퓨팅에 대한 관심이 고조됨에 따라, 이를 활용한 데이터베이스 아웃소싱에 대한 연구가 활발히 진행되고 있다. 한편, 데이터 소유자가 자신이 가지고 있는 공간 데이터베이스를 그대로 아웃소싱 할 경우, 서비스 제공자는 이를 불법으로 취득하여 악용할 수 있고, 질의 요청자들의 통계 정보를 통해 개인정보를 획득할 수 있다. 따라서 아웃소싱 환경에서 개인정보 보호 및 공간 데이터베이스를 보호하기 위한 데이터 변환기법 및 변환된 데이터베이스 상에서 질의를 처리하는 연구가 필요하다. 따라서, 본 논문에서는 아웃소싱 환경에서 공간 네트워크를 고려한 가공 데이터 생성 기법 및 암호화 기법을 설계한다. 아울러, 인증된 사용자가 질의 요청 시, 서비스 제공자가 저장한 가공 데이터를 이용하여 효율적으로 k-최근접점 질의를 수행하기 위한 힐버트 커브 기반 k-최근접점 질의처리 알고리즘을 제안한다.

Analysis of Characteristics of Athmatic Cough Sound (천식 기침소리의 음향적 특정 분석)

  • Jo Cheol-Woo;Han Man-Yong
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • autumn
    • /
    • pp.177-180
    • /
    • 1999
  • 본 논문에서는 천식기침소리의 음향적 특성을 신호처리 방법을 이용하여 분석하고 통계처리한 결과를 보고한다. 정상인과 천식 환자의 기침소리 신호의 특징을 비교 분석함으로써 신호의 특징에 의해 자동식별할 수 있는 가능성을 제시하였다.

  • PDF

윤활유내 마모입자의 통계적 처리를 통한 정량 분석 결과

  • 윤의성;한홍구;안효석;권오관
    • Proceedings of the Korean Society of Tribologists and Lubrication Engineers Conference
    • /
    • 1990.11a
    • /
    • pp.41-45
    • /
    • 1990
  • 기계시스템의 파괴 마멸 진단을 위한 Condition Nonitoring 기술은 기계류의 작동 상태를 계속적$\cdot$정기적으로 검지하여 failure 발생을 사전에 예방$\cdot$조치하는데 중요성이 있으며, 계속적으로 기계시스템의 상태를 파악함으로써 차후 시스템 개선 및 윤활시스템의 최적화를 위한 data base를 구축함에 기술적용의 의의를 가지고 있다. 본 연구에서는 Condition Monitoring 기술중 Contaminant Inspection Method를 이용하여 볼베어링의 정상 마모상태에서 변화되어 가는 마모상태를 규명하며, 통계적 처리에 의해 시간의 추이에 따라 통계 변수들의 경향을 분석하며 마모 상태의 경향을 정량적으로 분석하였다.

  • PDF

Pkc128 block cipher algorithm (Pkc128 블록 암호 알고리즘)

  • Kim, Gil-Ho;Cho, Gyeong-Yeon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10b
    • /
    • pp.823-830
    • /
    • 2001
  • 본 논문에서는 데이터 의존 회전 기법과 프로그램 셀룰라 오토마타 기법을 사용한 블록 암호 알고리즘인 가칭 Pkc128(PuKyong Code 128) 암호 알고리즘을 제안한다. 제안한 암호 알고리즘의 블록 크기는 128 비트이고, 키의 치기는 128 비트 이상 가변이며 Feistel Network 구조를 취하였다. 제안한 알고리즘의 안전성을 검정하기 위하여 출력 스트림에 대한 통계적 검정을 실시하였다. 그 결과 16 회전 시에 모든 검정과정을 통과하여 제안된 알고리즘이 통계적으로 안전함을 확인하였다.

  • PDF