• 제목/요약/키워드: Allocation loading

검색결과 66건 처리시간 0.025초

고성능 웹크롤러의 설계 및 구현 (Design and Implementation of a High Performance Web Crawler)

  • 김희철;채수환
    • 디지털콘텐츠학회 논문지
    • /
    • 제4권2호
    • /
    • pp.127-137
    • /
    • 2003
  • 웹크롤러는 인터넷 검색엔진을 포함한 다양한 웹 응용프로그램에 활용되는 중요한 인터넷 소프트웨어 기술이다. 인터넷의 급격한 성장에 따라 고성능 웹크롤러의 구현이 시급히 요구되고 있다. 이를 위해서는 웹크롤러에 대한 성능확장성에 초점을 둔 연구가 수행되어야 한다. 본 논문에서는 병렬 프로세스 기반 웹크롤러(Crawler)의 성능향상에 필수적인 동적 스케줄링의 구현 기법을 제안한다. 웹크롤러는 웹문서의 수집 성능요구를 만족시키기 위하여 일반적으로 다중 프로세스 기반으로 설계되고 있다. 이러한 다중 프로세스 기반의 설계에서 프로세스 별로 문서수집 대상을 적정하게 선택하여 할당하는 크롤 스케줄링(Crawl Scheduling)은 시스템의 성능향상에 매우 중요한 요소이라. 본 논문에서는 먼저 크롤 스케줄링에 있어 중요한 문제점들에 대한 연구 결과를 제시한 후 공유메모리 기반 동적 스케줄링 지원 기법을 고안, 이를 구현하는 웹 크롤러 시스템 구조(Architecture)를 제안한다. 본 논문에서는 동적 스케줄링 지원 기능을 갖는 웹크롤러의 설계 및 구현에 대하여 기술한다.

  • PDF

고성능 웹크롤러의 설계 및 구현 (Design and Implementation of a High Performance Web Crawler)

  • 권성호;이영탁;김영준;이용두
    • 한국산업정보학회논문지
    • /
    • 제8권4호
    • /
    • pp.64-72
    • /
    • 2003
  • 웹크롤러는 인터넷 검색엔진을 포함한 다양한 웹 응용프로그램에 활용되는 중요한 인터넷 소프트웨어 기술이다 인터넷의 급격한 성장에 따라 고성능 웹크롤러의 구현이 시급히 요구되고 있다. 이를 위해서는 웹크롤러에 대한 성능확장성에 초점을 둔 연구가 수행되어야 한다. 본 논문에서는 병렬 프로세스 기반 웹크롤러(Crawler)의 성능향상에 필수적인 동적 스케줄링의 구현 기법을 제안한다. 웹크롤러는 웹문서의 수집 성능요구를 만족시키기 위하여 일반적으로 다중 프로세스 기반으로 설계되고 있다. 이러한 다중 프로세스 기반의 설계에서 프로세스 별로 문서수집 대상을 적정하게 선택하여 할당하는 크롤 스케줄링(Crawl Scheduling)은 시스템의 성능향상에 매우 중요한 요소이다. 본 논문에서는 먼저 크롤 스케줄링에 있어 중요한 문제점들에 대한 연구 결과를 제시한 후 공유메모리 기반 동적 스케줄링 지원 기법을 고안, 이를 구현하는 웹 크롤러 시스템 구조(Architecture)를 제안하고 웹 로봇의 수행동작에 대한 분석 결과를 제공한다. 이러한 분석 결과를 기반으로 향후 웹 크롤러의 성능향상을 위한 설계 방향을 제시한다.

  • PDF

SparkR을 이용한 R 기반 빅데이터 분석의 분산 처리 (Distributed Processing of Big Data Analysis based on R using SparkR)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제17권1호
    • /
    • pp.161-166
    • /
    • 2022
  • 본 논문에서는 데이터 분석 도구인 R을 이용하여 빅데이터 분석을 수행할 때 발생하는 문제점을 분석하고, 빅데이터의 분산 처리를 효과적으로 지원하는 스파크와 R을 연계한 SparkR을 이용한 분석의 유용성을 제시하고자 한다. 먼저, 대량의 데이터를 로딩하고 연산을 수행할 때 발생하는 R의 메모리 할당 문제점과 R과 비교한 SparkR의 특징 및 프로그래밍 환경을 분석한다. 그리고, 선형 회귀 분석을 각각의 환경에서 수행할 때의 실행 성능을 비교 분석한다. 분석 결과 SparkR을 통해 추가적인 언어 학습 없이도 R을 그대로 이용하여 데이터 분석에 활용할 수 있음을 보였으며, SparkR을 이용하여 R로 작성된 코드를 클러스터 내 노드 수의 증가에 따라 효과적으로 분산 처리할 수 있었다.

MC-CDMA 방식의 주파수 효율 (Spectral Efficiency of MC-CDMA)

  • 한희구;오성근
    • 대한전자공학회논문지TC
    • /
    • 제43권3호
    • /
    • pp.39-48
    • /
    • 2006
  • 본 논문에서는 다중 반송파 코드 분할 다중 접속 (MC-CDMA: multicarrier code division multiple access) 방식의 주파수 효율을 분석한다. 먼저, 코드 분할 다중화에 사용되는 부반송파 개수와 사용 중인 코드 개수 (부하율), 주파수 영역 채널 계수에 따른 MC-CDMA 방식의 주파수 효율에 대한 일반식을 유도한다. 또한, 전체 부반송파를 여러 개의 그룹으로 분할하여 다중화 복잡도를 줄일 수 있는 다양한 MC-CDMA 전송 방식들의 주파수 효율에 대한 일반식도 유도한다. 이를 통하여, 다중 경로 개수에 따른 채널의 주파수 선택도와 다이버시티 간의 상관관계를 정립하고, 이를 바탕으로 다이버시티를 최대로 얻기 위한 최소의 코드 길이와 최적 부반송파 할당 방법을 도출함으로써, 최소의 길이를 갖는 코드들을 사용하여 주파수 효율을 최대화 할 수 있는 시스템 구조를 제시한다. 모의실험 환경에서의 수치적인 분석을 통하여, 다양한 시스템 구조에 따른 주파수 효율의 특성을 분석하며, 주파수 효율에 결정적인 영향을 주는 시스템 구성 방법과 파라미터들을 도출한다. 마지막으로, 주어진 채널 환경에서 MC-CDMA 방식과 직교 주파수 분할 다중화 (OFDM: orthogonal frequency division multiplexing) 방식의 주파수 효율을 비교함으로써 상호관계를 설정한다.

항해용선계약상 도착선의 판단기준에 관한 연구 (A Study on the Judgement Criterion of Arrived Ship under Voyage Charterparty)

  • 한낙현;이재성
    • 한국항만경제학회지
    • /
    • 제28권3호
    • /
    • pp.167-192
    • /
    • 2012
  • 본 연구는 항해용선계약상 목적지표시의 원칙과 그 운용에 대해 Merida호 사건을 중심으로 분석하는 것에 목적이 있다. 선박이 항에 있거나 용선자의 자유재량으로 선박의 도착이 즉각적 또는 효과적으로 용선자의 이용에 맡길 수 있는 선석으로 즉각 도달하거나 또는 그와 같은 위치에 있는 선박은 도착선이 된다. 선박이 용선계약의 조건에 의해 화물을 선적 또는 양하할 의무가 있는 장소에서 지연이 발생한 경우 선박이 선석 또는 항에 있는지의 여부에 불구하고 특정 목적지의 식별표시는 화물의 선적 또는 양하함에 있어 지연에 의해 발생한 손해사고에 대해 영향을 미친다. Merida호 사건은 2009년 4월 20일 용선자가 2명의 저명한 중재인의 최종중재재정에 대해 상소한 사안이다. 2007년 2월 5일 본선 Merida호에 대해 용선자와 선박소유자 간에 체결한 항해용선계약은 Berth Charter이기 보다는 Port Charter이었다. 선주와 용선자 간에 이 차이에 대한 기본적인 관련성은 선적항과 양륙항에서 선박혼잡에 의해 발생한 지연위험의 분담이다. 이 상소에서 제기된 법적 쟁점으로서 중재인이 이 용선계약은 Port Charter이며 Berth Charter가 아니라는 판정을 내릴 수 있는 권리가 있는지 여부이었다. 중재인은 용선자가 하역준비완료통지서의 유효성에 대해서는 논쟁하지 않았다는 것을 판정하면서 따라서 본 용선계약은 Port Charter라고 판정하였다.

시나리오 확장을 고려한 식품 가공공장의 시뮬레이션 기반 생산량 분석 (Simulation-based Production Analysis of Food Processing Plant Considering Scenario Expansion)

  • 임영현;주학종;김태경;서경민
    • 한국시뮬레이션학회논문지
    • /
    • 제32권3호
    • /
    • pp.93-108
    • /
    • 2023
  • 제조 분야에서 적정한 생산량을 분석하기 위해서는 제조 라인 내 레이아웃 설계, 설비 성능, 투입 작업자 수 등 변경 요인 간의 관계를 포함한 공학적 분석이 필요하다. 본 논문은 식품 제조에서 생산량 증대를 위해 기존 시나리오를 분석하여 문제점을 도출하고, 변경 요인들을 제어하여 생산량이 단계적으로 확장되는 시나리오를 고려한 시뮬레이션 방법을 제안한다. 대상 시스템은 식품 가공공장으로 생산 프로세스는 입고, 가공, 소분, 포장, 검수, 적재, 보관 공정으로 구성된다. 먼저, 대상 시스템 분석을 통해 공정 프로세스별 설비와 작업자를 실제 레이아웃 배치에 따라 모델을 설계한다. 이후 대상 시스템에서 도출한 실데이터를 기반으로 작업자의 작업시간과 설비 처리 시간 등을 모델에 반영하여 시뮬레이션 실증을 수행한다. 제안 모델의 목표는 시나리오를 확장해 가며 단계별 시나리오 간 비교 분석을 통해 생산량 증대를 위한 최적의 요인 값을 분석 및 제시하는 것이다. 이를 위해 생산량 증대에 가장 중요한 소분, 포장공정의 설비 및 작업자 모델을 확장하여 총 세 단계의 시뮬레이션 실험을 수행하였다. 시뮬레이션 실험 결과 고숙련 작업자와 열성형 포장기 설비의 배치에 따라 생산성이 달라짐을 확인하였다. 본 연구에서 제안한 시뮬레이션 방법이 실제 현업에서 목표 생산량에 적합한 요인 조합을 제시하여 최적의 의사결정을 지원할 수 있을 것으로 기대한다.