• 제목/요약/키워드: 분할 및 병합

검색결과 138건 처리시간 0.035초

로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법 (MapReduce-Based Partitioner Big Data Analysis Scheme for Processing Rate of Log Analysis)

  • 이협건;김영운;박지용;이진우
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.593-600
    • /
    • 2018
  • 인터넷과 스마트기기의 발달로 인해 소셜미디어 등 다양한 미디어의 접근의 용이해짐에 따라 많은 양의 빅데이터들이 생성되고 있다. 특히 다양한 인터넷 서비스를 제공하는 기업들은 고객 성향 및 패턴, 보안성 강화를 위해 맵리듀스 기반 빅데이터 분석 기법들을 활용하여 빅데이터 분석하고 있다. 그러나 맵리듀스는 리듀스 단계에서 생성되는 리듀서 객체의 수를 한 개로 정의하고 있어, 빅데이터 분석할 때 처리될 많은 데이터들이 하나의 리듀서 객체에 집중된다. 이로 인해 리듀서 객체는 병목현상이 발생으로 빅데이터 분석 처리율이 감소한다. 이에 본 논문에서는 로그 분석처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법을 제안한다. 제안한 기법은 리듀서 분할 단계와 분석 결과병합 단계로 구분하며 리듀서 객체의 수를 유동적으로 생성하여 병목현상을 감소시켜 빅데이터 처리율을 향상시킨다.

미세기포화 오존과 자외선, 초음파, 과산화수소를 이용한 돈분뇨 슬러리 고도처리 (Advanced Treatment of Piggery Slurry Using Micro Ozone Bubble, UV, Ultra Sonic and Hydroxy Peroxide)

  • 정광화;김재환;곽정훈;정만순;이광희
    • 한국축산시설환경학회지
    • /
    • 제15권3호
    • /
    • pp.209-216
    • /
    • 2009
  • 침전 및 고액분리 후 활성오니 공정 즉 분뇨 오수의 2차 처리공정까지를 거친 돈분뇨슬러리를 대상으로 하여 미세용존 오존 및 초음파와 자외선 그리고 과산화수소 등을 조합하여 적용한 고도처리 시험결과를 요약한 주요결과는 다음과 같다. 1. 돼지분뇨 오수 시료를 대상으로 하여 오존과 UV를 적용하였을 경우 전반적으로 색도와 오염성물질의 농도가 줄어드는 경향이 있었다. 2. 미세용존 오존을 이용하여 오존농도 $52\;g/Nm^3$ 조건에서 색도농도가 각기 다른 시료를 대상으로 하여 30분간 반응시켰을 경우 색도는 각각의 처리구 공히 처리시간의 경과에 따라 감소하는 결과를 보였다. COD를 포함한 오염성 물질의 농도도 처리시간의 경과에 따라 감소하였으며 자외선과 과산화수소 등 유기물질의 분해 및 산화력을 가진 물질의 첨가는 오존처리의 효율을 높이는 역할을 하였다. 3. 오존처리에 의해 처리수 중의 대장균과 살모넬라 수가 감소하였으며 과산화수소를 첨가할 경우 그 감소효과는 더 증가하였다는 경향이 있었다. 오존과 과산화수소수를 병합처리 하였을 경우에는 $7.5{\times}10^\;CFU/mL$ 이었던 살모넬라가 처리 후 10분 만에 10 CFU/L 이하로 낮아졌으며 20분 처리 후에는 오존과 과산화수소수를 병합한 처리구에서는 검출되지 않았다. 이 결과는 과산화수소의 짝염기인 ${HO_2}^-$가 OH 라디칼의 생성을 촉진함으로써 살모넬라 등의 세균감소 효과를 높인것에 기인한 것으로 판단된다.

  • PDF

초고압처리에 따른 고추장의 품질 변화 (Quality Changes in Kochujang treated with High Hydrostatic Pressure)

  • 임상빈;좌미경;목철균;박영서
    • 한국식품과학회지
    • /
    • 제33권4호
    • /
    • pp.444-450
    • /
    • 2001
  • 고추장에 초고압-열 병합처리법을 적용하여 미생물 살균효과 및 품질변화와 $37^{\circ}C$ 저장 중 품질변화를 측정하였다. 고추장을 680 MPa/30분에서 $49{\sim}73^{\circ}C$로 처리하였을 때 생균수는 $0{\sim}3$ log cycle 감소하였고. $73^{\circ}C/30$분에서 $380{\sim}680\;MPa$로 처리하였을 때 $0{\sim}3$ log cycle 감소하였고, $73^{\circ}C/680\;MPa$에서 $10{\sim}70$분 처리하였을 때 $2{\sim}5$ log cycle 감소하였다. 고추장의 pH, 적정산도, 아미노태질소 함량, 환원당 함량, 에탄올 함량 등 이화학적 성질은 초고압-열 병합처리 여부와 처리 조건에 관계없이 유의적인 차이가 없었다. 초고압-열 병합처리한 고추장의 L, a, b값은 무처리 고추장에 비하여 유의적으로 높았다. 고추장을 $37^{\circ}C$에서 저장 중 생균수와 품질 변화를 측정하였다. 고추장의 생균수는 저장기간에 따라 감소하는 경향을 보였다. 생균수는 380 Mpa/30분 처리군이 처리직 후 $1.88{\times}10^6$에서 저장 120일 후 $1.94{\times}10^4$로 약 2 log cycle 감소한 반면, 680 MPa/70분 처리군은 저장 초기 $4.00{\times}10^1$에서 60일 후 검출되지 않았다. 저장기간에 따라 고추장의 pH는 유의적으로 감소하였고, 적정산도는 증가하였다. 아미노태질소 함량은 저장기간에 따라 유의적으로 감소하였고, 환원당 함량은 다소 증감을 반복하였으며, 에탄올 함량은 저장기간에 따라 간헐적으로 다소 감소하는 경향을 보였다. 고추장의 L, a, b값은 저장기간에 따라 유의적으로 큰 폭으로 감소하였다. 전체적으로 380 MPa/30분 처리군보다 680 MPa/70분 처리군의 변화폭이 더 컸다.

  • PDF

중심 객체 기반의 영상 검색 기술 (Image Retrieval based on Central Objects in Color Images)

  • 권선미;김성영;김민환
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 추계학술발표논문집
    • /
    • pp.145-148
    • /
    • 2002
  • 우리가 원하는 고수준의 검색 개념을 영상에서의 저수준 특징들을 조합하여 표현하는 데는 한계가 있다. 한편, 우리의 검색 개념은 주로 영상에 포함된 객체 단위로 형성되는 것이 일반적이다. 본 논문에서는 영상의 중심 부근에 비교적 큰 크기로 정의되는 중심 객체 및 중심 객체주변의 배경 영역을 추출하여 검색에 활용함으로써, 인간의 검색 의지를 최대한 정확하게 반영할 수 있는 하나의 방법을 제안한다. 중심 객체와 배경 영역은 영상분할 및 영역병합 결과에서 영상의 중앙 및 모서리에 존재하는 영역을 선정하여 칼라 유사도를 기준으로 영역확장을 통해 구한다. 검색은 단계적으로 할 수 있도록 하였는데, 먼저 사용자의 키워드에 의한 검색이 가능하도록 하였으며, 검색 결과는 그룹핑에 의한 대표영상을 보여 준 후 사용자가 원하는 영상을 선택적으로 얻을 수 있도록 하였다. 아울러, 하나 이상의 영상에서 추출된 객체와 배경을 조합하여 재검색할 수 있도록 함으로써 검색 성능을 높이고자 하였다. 한편, 자동 추출된 객체를 이용하여 사용자가 객체 영역을 지정하기 위해 개입하는 번거로움을 줄이면서도 사용자가 영역을 직접 선택한 경우와 비슷한 결과를 얻을 수 있도록 하였다.

  • PDF

SDN 스위치의 효율적인 TCAM 사용을 위한 플로우 엔트리 클러스터링 기법 (Flow Entry Clustering for Space-Efficient TCAM utilization in SDN Switches)

  • 이용승;염상길;김동수;추현승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.196-198
    • /
    • 2014
  • 최근 차세대 네트워크 패러다임으로 주목받는 소프트웨어 정의 네트워킹 (SDN)에서는 네트워크를 컨트롤 플레인과 데이터 플레인으로 나누고 중앙집중형 제어를 통해 효과적이고 유연한 네트워크 관리를 가능하게 한다. 하지만 잦은 컨트롤 이벤트 발생으로 인한 컨트롤러 및 컨트롤 채널의 부하와 거대한 플로우 엔트리 크기로 인한 스위치 내 TCAM(Temary Content Addressable Memory) 메모리 부족문제 등의 본질적인 문제로 실제 네트워크 적용 시 확장성 문제가 야기된다. 이러한 문제를 해결하기 위해 기존의 연구들은 컨트롤러의 연산능력을 향상시키거나, 컨트롤 이벤트의 발생을 줄이는데 초점이 맞춰져 왔으며, 한정적인 TCAM 공간의 효율적인 사용에 대한 연구는 부족한 상황이다. 따라서 본 논문에서는 효율적인 TCAM 자원 활용을 위한 플로우테이블 관리 기법을 제안한다. 제안 기법은 플로우 엔트리의 클러스터링을 통해 플로우 엔트리를 특성에 따라 그룹화하고 사용빈도를 기준으로 분할 및 병합을 수행함으로써 스위치 내의 가용한 플로우 수를 최대화한다.

다자간 협동 공학설계를 위한 DCWA 시스템의 설계 및 구현 (Design and Implementation of Distributed Collaborative Writing System for Engineering Design Process)

  • 이병걸
    • 한국멀티미디어학회논문지
    • /
    • 제3권1호
    • /
    • pp.63-76
    • /
    • 2000
  • 기존의 CSCW (Computer Supported Collaborative Work) 시스템은 단순히 문서나 메시지를 구성하고 전달하는 기능만을 지원할 뿐 협동 작업자들간의 조직구성, 업무분할 및 통합, 작업흐름 제어와 같은 인지학적 기능등은 효과적으로 반영하지 못하고 있다. 본 연구는 협동작업환경에서의 CAD(Computer Aided Design)/CASE(Computer Aided Software Engineering)와 같은 공학 디자인 프로세스를 인지학적으로 지원하기 위한 CSCW 시스템을 개발하는 데 그 목적이 있다. 제안된 DCWA (Distributed Collaborative Writing Aid) 시스템은 CAD/CASE 및 시뮬레이션 기능을 하나의 시스템으로 통합함으로써 조직구성, 업무분할, 작업흐름제어가 이들 기능에 통일적으로 적용될 수 잇도록 하였다. 특히 CAD 도구에서는 다중 사용자들 소유의 그림객체 간의 바인딩, 어태치먼트, 스케일링 기능들은 제공하여 결합 형태 및 정도를 나타내는 관계성 표현이 가능하도록 함으로써 업무분할 및 병합이 CAD 도구에서도 명확히 드러나도록 하였고, CASE 도구에서는 소프트웨어 시뮬레이션 기능과 연계하여 작업흐름 제어가 용이하도록 하였다. 이는 또한 제품을 생산하기 전에 미리 모형을 시뮬레이션 해봄으로써 제품 개발의 시간과 비용을 단축할 수 있는 효과를 가져다 준다.

  • PDF

CORE-Dedup: 내용보존 접근 지역성 활용한 IO 크기 분할 기반 중복제거 (CORE-Dedup: IO Extent Chunking based Deduplication using Content-Preserving Access Locality)

  • 김명식;원유집
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권6호
    • /
    • pp.59-76
    • /
    • 2015
  • 고성능 내장형 기기의 대중화 및 광대역 통신기술의 발달로 생성-관리되는 데이터가 증가하고 있다. 중복제거 기법은 중복된 저장 요청을 판별하여 유일한 데이터만을 저장함으로써 저장 공간을 절약하는 방법으로 폭증하는 데이터의 저장과 처리 시스템을 경제적으로 구축 할 수 있다. 본 연구는 입출력 크기 (IO Extent) 단위 기반 분할 방법을 사용한 CORE-Dedup을 제안한다. CORE-Dedup의 Extent 단위 분할은 접근한 Content가 보존하는 접근 단위의 속성을 활용 한다. 가상머신에서 IO 경향을 수집하고 고정 크기 분할과 새로운 Extent 분할 방법에 대해 중복제거 성능을 비교 평가하였다. 동일 크기 워크로드 경우 4 KB 고정 분할 대비 적은 색인 버퍼를 가지고 유사한 수준의 중복 비교를 성능을 얻을 수 있다. 특히 다수 유저의 유사 IO 중복 접근을 가정한 워크로드 경우에는 CORE-Dedup이 Extent 단위 분할의 넓은 워크로드 Coverage에 의해 고정 크기 분할을 사용한 동일 조건의 Inline-Dedup에 비해 1/10 수준 버퍼를 가지고도 유사 중복제거 성능을 얻었다. 10명 사용자의 동일 compile 입출력을 가정한 병합 워크로드에서 4 KB 고정 크기 분할에서는 14,500개 분할 색인에서 최대 60.4%의 중복 발견율을 얻었으나 Extent 분할에서는 1,700개 색인만으로 57.6%를 얻었다.

음식물쓰레기 자원화 처리기술에 대한 정책방향

  • 유수현;백순기;조기안;천영훈;이지홍
    • 한국환경과학회:학술대회논문집
    • /
    • 한국환경과학회 2006년도 추계 학술발표회 발표논문집
    • /
    • pp.382-384
    • /
    • 2006
  • 우리나라의 경우 고유의 음식문화 특성상 수분과 염분이 많아 음식물쓰레기를 단순히 매립이나 소각처리, 재활용으로 매립에 의한 최종 처분의 경우 음식물쓰레기의 높은 수분함량과 높은 염분 그리고, 비교적 분해 되기 쉬운 부패성물질로 구성되어 자원화에 어려움이 많다. 현재 음식물쓰레기 자원화 처리 시스템은 모든 음식물쓰레기를 한곳으로 모아 처리하는 집중처리 시스템으로 이루어져 자원화가 재대로 이루어지지 못하고 있으므로 국가와 지방자치단체 및 민간의 자본 출원으로 단일처리방식이 아닌 배출되는 음식물쓰레기의 성상과 특징을 고려하여 사료화, 퇴비화, 에너지화, 하수처리 병합등 분산처리시스템을 도입하여 생산품의 다양성 및 안정성을 가져올 수 있을 것으로 판단된다.

  • PDF

이중분기 확장을 통한 등치선 삼각화의 다중분기 알고리즘 (A Multiple Branching Algorithm of Contour Triangulation by Cascading Double Branching Method)

  • 최영규
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권2호
    • /
    • pp.123-134
    • /
    • 2000
  • 등치선(wire-frame contour)으로 표현된 물체의 볼륨정보에서부터 3차원 표면을 재구성하는 방법을 제안한다. 등치선 삼각화법(contour triangulation)이라고도 하는 이 방법에서 가장 문제가 되는 것이 인접 단층사이에서 표면이 분기하는 경우에 발생하는데, 이것은 하나의 등치선이 인접한 층의 두 개이상의 등치선과 연결되는 형태로 나타나며, 표면 생성시의 많은 모호성을 발생시킨다. 본 논문에서는 이러한 분기문제를 가장 일반적으로 발생하는 이중분기문제와 그 이상의 다중분기문제로 구분하고, 먼저 이중 분기 알고리즘을 제안하였으며, 다중분기문제를 다수의 이중분기문제로 단순화하는 다중분기 알고리즘을 제안하였다. 제안된 이중분기 알고리즘은 모 등치선을 분할하는 방법을 이용하였는데, 먼저 해협다각형을 정의하고 이를 삼각분할하여 분할선을 구하는 것에 바탕을 두고 있다. 이 방법은 이중분기가 매우 복잡하게 나타나는 경우에도 잘 적용이 되며, 분할선의 레벨을 조절함으로써 매우 사실적인 표면을 만들어 낼 수 있다는 장점이 있다. 또한 다중분기문제를 단층 간격의 문제로 규정하고, 인접한 두 층 사이에 가상의 등치선을 추가하여 가지 등치선을 연속적으로 병합하는 방법으로 해결하였다. 제안된 방법은 등치선 삼각화의 가장 큰 문제인 분기문제를 해결하기 위한 매우 구조적인 접근방법으로, 다양한 실제 등치선 데이타에 적용한 결과 좋은 성능을 나타냈다.

  • PDF

분산 공간 DBMS에서의 효율적인 공간 릴레이션 분할 기법을 이용한 병렬 공간 죠인 기법 (Parallel Spatial Join Method Using Efficient Spatial Relation Partition In Distributed Spatial Database Systems)

  • 고주일;이환재;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제4권1호
    • /
    • pp.39-46
    • /
    • 2002
  • 분산 공간 데이터베이스 시스템들 사이에서 빈번히 수행되는 공간 죠인 질의는 공간 데이터의 대용량성과 그 복잡성으로 인하여 공간 연산 수행 시 서버에 CPU 및 디스크 I/O 상의 부하를 일으킨다. 본 논문은 이러한 분산 공간 데이터베이스 시스템에서 수행 비용이 많이 드는 원격 사이트간의 공간 죠인 질의를 병렬적으로 수행하는 기법을 제안한다. 본 기법은 죠인에 참여하는 릴레이션들 중 하나를 이등분하는 방법으로 공간 죠인 연산을 분리한 후, 질의 수행에 참여하는 두 서버에게 죠인 연산을 분배한다. 각 서버는 분할된 공간 죠인 연산을 동시에 연쇄적으로 처리하고 결과를 병합하여 최종 죠인 결과를 생성한다. 본 기법은 릴레이션을 효율적으로 분할하여 죠인을 수행함으로써 공간 연산에 참여하는 객체의 수를 절반으로 줄이며 R-Tree 등 공간 인덱스의 탐색 횟수와 그 범위를 감소시킨다. 또한 릴레이션을 영역단위로 분할하여 객체의 수를 줄이고 참여 객체를 군집화 시킴으로써 죠인 연산시에 디스크와 버퍼의 사용 효율을 높인다.

  • PDF