• Title/Summary/Keyword: 데이터 편중

Search Result 101, Processing Time 0.032 seconds

Adaptive Resource Management Method base on ART in Cloud Computing Environment (클라우드 컴퓨팅 환경에서 빅데이터 처리를 위한 ART 기반의 적응형 자원관리 방법)

  • Cho, Kyucheol;Kim, JaeKwon
    • Journal of the Korea Society for Simulation
    • /
    • v.23 no.4
    • /
    • pp.111-119
    • /
    • 2014
  • The cloud environment need resource management method that to enable the big data issue and data analysis technology. Existing resource management uses the limited calculation method, therefore concentrated the resource bias problem. To solve this problem, the resource management requires the learning-based scheduling using resource history information. In this paper, we proposes the ART (Adaptive Resonance Theory)-based adaptive resource management. Our proposed method assigns the job to the suitable method with the resource monitoring and history management in cloud computing environment. The proposed method utilizes the unsupervised learning method. Our goal is to improve the data processing and service stability with the adaptive resource management. The propose method allow the systematic management, and utilize the available resource efficiently.

Eight-Direction Anchor system and Location-based Shortest Relay in Wireless Sensor Networks with Mobile Sinks (센서 네트워크에서 모바일 싱크를 위한 8방향 앵커 시스템과 위치기반 최단거리 전송 프로토콜)

  • Jeon, Hyeon-Jae;Choo, Hyun-Seung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.05a
    • /
    • pp.667-670
    • /
    • 2008
  • 센서노드는 무선 센서네트워크를 통해서 감지한 정보를 싱크에게 전송한다. 최근 휴대 무선장비의 이용률 증가로 센서네트워크에서 데이터를 수집하는 싱크를 휴대 무선장비로 대체하여 이동성을 보장하는 연구가 활발히 진행된다. 즉, 싱크가 이동성을 가짐으로써 센서노드가 감지한 정보를 전달하는 방법이 중요한 문제로 부각되고 있다. 따라서 모바일 싱크의 위치를 효율적으로 알리고, 다중 소스노드에서 다중 싱크로 정보를 전달하는 것이 필요하다. 특히, 고정된 싱크에서 사용하던 데이터 전송경로는 모바일 싱크 환경에서 더 이상 효율적이지 못하다. 본 논문에서는 소스노드의 위치정보를 제공하기 위한 서버로서 8방향 앵커시스템(Eight-Direction Anchor system: EDA)을 제안한다. EDA는 센서네트워크의 가장자리에 위치한 센서노드의 편중된 에너지 소모를 막고, 전체 센서노드를 균형적으로 사용함으로써 균등한 에너지 소모를 보장한다. 또한, 모바일 싱크가 소스노드로부터 데이터를 연속적으로 받기위해서 위치기반 최단거리 전송(Location-based Shortest Relay: LSR) 프로토콜을 제안한다. LSR은 소스노드에서 싱크로의 우회하는 경로를 막고, 최소 지연경로를 통하여 연속적인 데이터 전송을 보장한다. 실험결과를 통해서 제안 프로토콜은 효율적인 위치서비스의 제공뿐만 아니라, 다중 소스와 다중 모바일 싱크 환경에서 평균 데이터 전송 비용절감 효과를 얻을 수 있음을 보인다.

Statistical Properties of Material Strength of Concrete, Re-Bar and Strand Used in Domestic Construction Site (국내 현장의 콘크리트, 철근 및 강연선 재료 강도에 대한 통계 특성 분석)

  • Paik, In-Yeol;Shim, Chang-Su;Chung, Young-Soo;Sang, Hee-Jung
    • Journal of the Korea Concrete Institute
    • /
    • v.23 no.4
    • /
    • pp.421-430
    • /
    • 2011
  • As a fundamental study to introduce the reliability-based design code, a statistical study is conducted for the material strength data collected from domestic construction sites. In order to develop a rational design code based on statistics and reliability theory, it is essential to obtain the statistical properties of material strength. Material strength data for concrete, reinforcing bars, and prestressing strands which are used in domestic construction sites are collected and statistically analyzed. Then, the statistical properties are compared with those used in the process of the reliability-based calibration of internationally leading design codes. The statistical properties of the domestic data are such that the bias factor is relatively uniform between 1.13 and 1.20 and the coefficient of variation is below 0.10. Reinforcing bar data show difference among different manufacturers but there is not much difference among re-bar diameters. In the case of tendons, which are high strength materials, both of the domestic and foreign data show smaller values of the bias factor and the coefficient of variation than those of concrete and re-bar. Statistical distribution of all the material strength can be properly assumed as normal, log-normal, or Gumbel distribution after analyzing the classified data by individual construction site and manufacturer rather than the mixed data obtained from different sources in order to express the individual distribution of each structure.

Performance Analysis of a Parallel CBF Scheme using Horizontally-Partitioned Method (수평 분할 방법을 이용한 병렬 CBF 기법의 성능평가)

  • 박승봉;장재우
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.184-186
    • /
    • 2002
  • 기존의 색인 기법들은 차원의 수가 증가할수록 검색 성능이 급격히 저하되는 문제를 지니고 있다. 이문제를 극복하기 위하여 CBF 기법이 제안되었다. 그러나 CBF 기법은 데이터 양이 증가함에 따라 검색 성능이 선형적으로 감소하는 문제가 존재한다. 이를 해결하기 위해 다수의 디스크를 수평 분할 방법을 이용하여 디클러스터링(declustering)을 하는 병렬 CBF 기법이 제안되었다. 본 논문에서는 수평 분할 방법을 이용한 병렬 CBF (Parallel CBF) 기법을 삽입시간, 범위 질의 검색시간, k-최근접 질의 검색시간, 데이터의 편중도 측면에서 성능 평가를 수행한다. 아울러, 병렬 CBF 기법을 기존 CBF 기법과 성능 비교를 수행하며, 이를 통해 병렬 CBF 기법이 기존 CBF 기법보다 우수한 검색 성능을 나타냄을 보인다.

  • PDF

Implementation of Disk Mirroring Function in Windows NT Kernel (Windows NT 커널에서 Disk Mirroring 기능 구현)

  • 김성관;장승주;지동해;김학영;이정배
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04a
    • /
    • pp.122-124
    • /
    • 2000
  • 최근 PC의 고성능화롤 PC 기반의 서버 사용이 증대되고 있다. 특히 Windows NT 는 인터넷 서비스를 제공하는 PC 기반 서버로 폭 넓게 사용되고 있다. 이러한 서버에서의 데이터 파괴는 막대한 손실을 가져 올 것이다. 데이터의 안정성과 고 가용성을 위한 방법으로 disk mirroring 기법이 여러 분야에서 사용되고 있다. 기존의 연구들은 UNIX 플랫폼에 편중되어 있고, 현실적으로 사용이 증대되고 있는 Windows 에 대한 연구는 상대적으로 빈약한 상태이다. 본 논문에서는 Windows NT device driver level에서 다수의 node에 대한 disk mirroring 기능 구현을 설계한다. Windows NT는 계층화된 driver layer로 구성되어 있으며, 구현된 mirroring module을 드라이버 계층상에 추가함으로써 기존의 기능을 변경하지 않고 새로운 기능을 추가할 수 있다.

  • PDF

Analysis of Selectivity Estimation Techniques for Spatial Range Query of Region Objects (영역객체의 공간 범위질의에 관한 선택률 추정기법 분석)

  • Jeong, Jae-Hyuck;Lee, Jin-Yul;Chi, Jeong-Hee;Kim, Sang-Ho;Ryu, Keun-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11c
    • /
    • pp.1383-1386
    • /
    • 2003
  • 최근 공간 데이터베이스의 선택률 추정 문제에 대한 관심이 증가하면서, 데이터분포의 편중, 중복 계산, 메모리 공간 최소화등의 문제를 고려한 다양한 기법들이 제안되고 있다. 그러나 이들 기법들 간의 성능 분석을 통한 비교평가는 이루어지지 않고 있다. 따라서, 이 논문에서는 공간 영역 객체의 범위질의에 관한 선택률 추정 기법인 Min-Skew, 웨이블릿, 누적밀도, 오일러 히스토그램을 비교 분석한다. 즉, 실제 데이터셋을 기반으로 여러 형태의 질의에 대한 성능 비교를 통해 각 기법들을 비교 평가한다. 이 연구 결과는 새로운 기법 도출에 이용될 수 있다.

  • PDF

Improving the G-K Clustering Performance using the Modified Mountain Method (변형된 Mountain 방법을 이용한 G-K 클러스터링 성능 개선)

  • Kim, Sung-Suk;Jeon, Byeong-Seok;Kim, Joo-Sik;Ryu, Jeong-Woong;Lhee, Chin-Gook
    • Proceedings of the KIEE Conference
    • /
    • 2003.07d
    • /
    • pp.2546-2548
    • /
    • 2003
  • G-K 클러스터링이 가지는 우수한 클러스터 분류 성능에도 불구하고 데이터의 편중 및 분포 밀도에 의하여 클러스터링의 결과과 만족스럽지 못하는 경우가 발생한다. 제안된 방법에서는, G-K 클러스터링에서 데이터의 분포 및 밀도 등과 같은 다양한 조건에 대한 문제를 동시에 고려함으로써 클러스터링 결과를 개선한다. G-K 클러스터링에서 일부 파라미터의 수동적 파라미터 결정 방법을 Mountain 방법을 이용하여 능동적인 알고리즘으로 대치하여 클러스터 최적화 과정을 더욱 용이하게 한다. 이러한 클러스터링의 장점은 뉴로-퍼지 모델의 규칙 감소와 성능개선으로 나타나며 이를 시뮬레이션을 통하여 보이고자 한다.

  • PDF

Analyzing the Importance of Balanced Action Classes in Weakly Supervised Video Anomaly Detection (준지도학습의 이상행동감지에서의 이상행동종류별 균형의 중요성 분석)

  • Tae Kyeong Park;Hyeon Jeong Park;Je Hyeong Hong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.11a
    • /
    • pp.145-148
    • /
    • 2022
  • 준지도학습 기반의 동영상 이상행동감지는 구하기 어려운 프레임 단위 레이블이 필요하지 않아 더 많은 동영상을 학습에 활용 가능한 장점이 있어 관련 연구가 활발히 진행되고 있다. 최근 제안된 기법들은 주로 UCF-Crime 이라는 실제 CCTV 동영상 데이터셋을 활용하고 있는데, 본 데이터셋은 학습 영상과 테스트 영상에서 이상행동 클래스 별 분포도가 균등하지 않다. 본 연구에서는 해당 불균형으로 인해 학습 모델이 특정 행동 클래스에 과적합될 수 있음을 보이며, 이러한 불균형을 해결하기 위해 Class-Balanced Multiple Instance Learning Loss 를 제안한다. 이를 통해 기존에 특정 클래스에 편중되었던 모델이 이상행동 종류에 좀 더 균등한 성능을 낼 수 있음을 보여준다. 특히 단순히 클래스별 정확도가 제로섬(zero sum)으로 증감하는 것이 아니라 전체적인 이상행동 판별 정확도 또한 향상됨을 실험 결과를 통해 확인할 수 있다.

  • PDF

사용자 인터페이스 디자인을 위한 Video Protocol 분석 도구 개발에 관한 연구

  • 김병욱;이건표
    • Proceedings of the ESK Conference
    • /
    • 1997.10a
    • /
    • pp.456-459
    • /
    • 1997
  • 디자이너에게 필요한 정보가 제품의 성격이 변함에 따라 변하면서 정보 수집의 흐름도 달라져가고 있다. 지금까 지의 디자인 정보 수집이 단순 설문조사에서 사용자의 사용상황을 관찰하는 보다 실질적인조사 혹은 컨텍스트 디 자인(Context Design: 사용환경을 고려한 디자인)으로 바뀌어 가고 있다. 그러나 기존의 조사분석방법들이 특정한 면(인지적 혹은 행위적)에 편중된 자료 수집에 초점이 맞추어져 있어서 다양한 정보의 수집과 이러한 정보의 통합 적 관리가 어려운 문제점을 가지고 있다. 정보의 수집과 통합적 관리의 어려움이 발생하게 되는 원인을 좀더 구체 적으로 살펴보면 첫째, 수잡되는 데이터의 문제이다. 데이터의 성격을 사용자인 개인의 조작행위에 중점을 두거나 또는 작업상황이나 사용자의 성격/선호도와 같은 부분에 중점을 두기 때문에 서로 상호작용하여 사용자 인터페이스에 큰 영향을 미치는 이 두 유형의 데이터에 관한 분석을 어렵게 하는 원인이 되고 있다. 둘째, 적당한 데이터 수집도구 (data logger)의 미비를 들 수 있다. 이것은 기존의 Data logger들은 정보를 문자나 숫자 또는 특수문자로서 정보를 추출하게 됨으로써 데이터를 뽑는 당시부터 정보가 추출자로인하여 1차적으로 가공이 된다는 점이다. 이것은 보다 실질적이고 분석단계에서 보다 면밀한 분석이 이루어 질 수 있는 중요한 데이터가 유출될 수도 있다는 것을 의미하는 것이다. 마지막으로 위에서 언급했던 두 유형의 데이터를 동시에 분석할 수 있는 방법의 부재와 실질적인 데이터를 분석하여 이를 디자인에 활용할 수 있는 정보로 가공할 수 있는 도구가 마련되어 있지 않다는 점이다. 디자인 작업은 종합적인 시각화 과정임에 비해 분석된 결과가 비시각적이며 위에서 언급했듯이 분절된 정보가 되기 쉽기 때문에 이를 디자인에 곧바로 적용시키기 어려운 점이 있다. 이에 본 연구는 기존의 바용성 평가를 위한 분석도구들이 갖는 문제 점들 해결하여 제품의 사용자 인터페이스 디자인 개발과정에서 활용할 수 있는 평가 분석도구를 개발하는 것을 목표로 한다. 이를 위해 첫째, 다양한 유형의 정보를 포함하는 비디오 정보를 선정하였따. 둘째, 데이터를 다양한 측면에서 추출할 수 있는 Data logger를 개발하였다. 셋째, 데이터를 시각적으로 정리하고 분석할 수 있는 도구를 제안한다. 마지막으로 인터페이스 디자인에서 여러 가지 디자인안을 도출해 내는 작업에 이용할 수 있는 종합화과정을 개발한다. 이러한 일련의 과정이 통합된 컴퓨터 시스템 안에서 이루어지도록 프로그램을 개발하여 정보의 유용성을 높일 수 있도록 한다.

  • PDF

Detection and spread of agricultural drought warning based on news data (뉴스 데이터 기반 농업 가뭄 전조 감지 및 확산 분석)

  • Min-Jin Kim;Won-Ho Nam;Mi-Hye Yang;Ji-Wan Lee;Seong-Joon Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.339-339
    • /
    • 2023
  • 2018년도 연강수량은 1,386.9 mm로 평년 수준의 비가 내렸으나, 7-8월에 발생한 폭염 및 가뭄으로 인해 강원, 전남, 경북, 충남 지역에서 밭작물 중심으로 22,767 ha 피해가 발생하였다. 2019년도 연강수량은 1,171.9 mm로 평년보다 약 10% 적은 수준의 비가 내렸으며, 동일시기에 인천, 강원, 충남 지역에서 논·밭작물 중심으로 3,112 ha 피해가 발생하였다. 기후변화로 인해 강수량이 지역별로 편중되어 국지적 가뭄이 빈발하여 지역별로 가뭄의 영향, 피해, 체감 정도가 상이한 양상을 보이고 있다. 가뭄을 사전에 방지하기 위해서는 가뭄 모니터링과 선제적 대응이 중요하며, 현재 가뭄의 특징, 상황 등의 목적에 따라 다양한 형태의 가뭄 모니터링 시스템이 개발되고 있다. 가뭄의 피해와 영향 정도는 지역 간의 차이가 나타나 지역별로 가뭄을 체감하는 정도가 다르기 때문에 하나의 결과로 나타내기에는 어려움이 있다. 따라서, 가뭄의 발생 시기와 확산 정도를 분석하여 특보 발효 시점과 가뭄 대응 방안에 대한 기준 마련이 중요하다. 본 연구는 현대 사회에서 가장 중요한 요소로써 활용되고 있는 빅데이터 중 비정형 데이터로 분류되는 뉴스데이터와 논·밭의 가뭄을 나타내는 농업 가뭄과 관련된 데이터를 활용하여 농업 가뭄의 전조를 파악해보고자 한다. 2018년부터 2019년까지 전국을 대상으로 농업 가뭄에 관한 키워드 선정 후, 웹 크롤링을 통해 뉴스데이터를 수집해 논 가뭄과 밭 가뭄을 구별하여 각 지역에서 최초로 가뭄 기사가 발행된 시기와 지역별 기사의 빈도를 산출하였다. 뉴스데이터의 농업 가뭄 전조 감지 가능성을 파악하기 위해 국가가뭄정보통계집에서 논 물마름 시기와 밭 시듦 시기 자료를 활용하였다. 가뭄 피해 발생시기와 관련 기사 발행 시기 비교, 농업용수 대상 비상용수 지원 자료를 활용하여 실제 농업 가뭄확산 감지 여부를 분석하여 농업 가뭄 관련 뉴스데이터 간의 상관성을 분석하였다.

  • PDF