• Title/Summary/Keyword: 분산 방법

Search Result 5,268, Processing Time 0.033 seconds

Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark (아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화)

  • Myung, Rohyoung;Ahn, Beomjin;Yu, Heonchang
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF

Rheological Behaviors of Concentrated Silica Particle Suspensionsprepared by Sol-Gel Method (솔젤법으로 제조된 고농도 실리카 입자 분산계의 유변학적 거동)

  • 양승만
    • The Korean Journal of Rheology
    • /
    • v.10 no.1
    • /
    • pp.24-30
    • /
    • 1998
  • 솔젤법을 이용하여 단분산의 실리카 입자를 제조하고 농도변화에 따른 실리카 분산 액의 유변학적 거동을 해석하였다. 단분산 실리카 입자의 제조는 솔젤법을 이용한 액상반으 으로 제조하였고 입자의 안정화를 위하여 입자표면에 실란커플링제를 코팅하여 유기용매에 서 안정성을 갖도록 하였다. 분산액의 농도에 따른 유변학적 거동을 조사하기 위하여 부피 분율( )이 0.05인 희박 분산계로부터 =0.55의 고농도 분산계를 제조하였다. 솔젤법을 통하 여 단분산 실리카 입자를 성공적으로 제조하였으며 실란커플링제인 ${\gamma}$-methacryloxypropyl triethoxysilane로 입자의 표면을 화학적 방법으로 처리하여 유기용매 상에서 알킬기의 작용 에 의한 hard-sphere'특성을 나타내도록 하였으며 동시에 분산안정성을 유지할수 있었다. 입자 분산계는 =0.25이하의 부피농도에서는 분산용매와 같은 뉴톤거동을 보여주었으며 이 이이상의 농도에서는 비뉴톤거동인 전단담화(shear thinning)현상과 high shear limiting viscosity를 나타내었다. 이결과는 Krieger-Dougherty 식을 따름이 확인되었으며 부피분율 =0.50정도까지도 이식이 잘적용됨을 확인하였다. 부피분율 =0.50 이상의 고농도 입자 분산계 는 급격한 점도의 증가와 함께 전단담화와 전단탁화(shear thickening)현상이 모두 관찰되었 다. 특히 전단탁화를 일으키는 특헝전단변형률(cr)이하의 전단변형률에서는 안정되고 빠른 점성반응(viscous response)을 보여주었으나 특성 전단변형률 부근과 이상의 전단변형률 영 역에서는 매우 불안한 거동이 보여짐을 확인하였다. 그러나 이러한 점도 거동은 가역적이며 전단변형률을 증가시킬때와 감소시킬 때의 유변학적 거동이 거의 일치하였다.

  • PDF

Evaluation of flood reduction by decentralized stormwater management using PCSWMM (PCSWMM을 이용한 분산형 우수관리에 의한 홍수 저감 효과 평가)

  • Jin, Younykyu;Kang, Taeuk;Seo, Hyowon;Lee, Sangho
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.315-315
    • /
    • 2021
  • 저영향개발은 녹색 기반시설을 이용한 침투, 여과, 저류, 지체 등의 효과를 달성하는 구조적 방식과 집중된 우수 배제 방식을 분산시키는 비구조적 방식이 있다. 국내에서는 저영향개발을 주로 시범사업 수준에서 침투트렌치, 식생수로, 투수성 포장과 같은 일부의 요소기술만 적용하고 있는 실정으로, 비구조적 방법을 이용한 분산식 우수배제 방식을 도입한 사례는 거의 없다. 본 연구에서는 PCSWMM을 이용하여 송산 그린시티 개발 사업에 기존의 집중형 우수 배제 방식과 비구조적 방식을 포함한 저영향개발을 각각 도입하여 홍수 및 침수 저감 효과를 검토하였다. 본 연구에서는 송산 그린시티에 저영향개발 기법을 고려하면서 기존 4개의 주 수로에 2개의 소규모 수로를 추가적으로 고려하였다. 또한, 우수관거는 연장이 길어짐에 따라 관거의 규모가 커지므로 유역 유출부에 인접한 지역은 직접 우수 배제가 되도록 하였고, 우수의 배제 방향을 분산시킴으로써 관거의 규모가 비대해지지 않도록 하였다. 홍수 및 침수 저감 효과는 50년 빈도 확률 강우량과 100년 빈도 확률강우량을 적용하여 검토하였다. 그 결과, 적용된 집중형 우수 배제 방식의 경우에는 50년 빈도 확률강우량 조건에서 48 ha, 100년 빈도 확률강우량에서는 81 ha가 침수되는 것으로 모의가 되었다. 반면, 분산형 우수배제 방식을 포함한 저영향개발을 반영할 경우, 50년 빈도 확률강우량에서 6 ha, 100년 빈도 확률강우량 조건에서는 18 ha가 침수되는 것으로 모의가 되었다. 즉, 분산형 빗물관리를 계획함에 따라 홍수 저감의 효과가 나타나는 것으로 분석되었다.

  • PDF

Improvement of Bit Error Rate through the Optimization of 320 Gbps WDM System with Non Zero-Dispersion Shifted Fiber (비영 분산 천이 광섬유를 갖는 320 Gbps WDM 시스템에서 최적화를 통한 비트 에러율 개선)

  • Lee, Seong-Real;Yim, Hwang-Bin
    • Journal of Advanced Navigation Technology
    • /
    • v.10 no.2
    • /
    • pp.103-113
    • /
    • 2006
  • The numerical methods of finding the optimal position of optical phase conjugator (OPC) and the optimal fiber dispersions are proposed, which are able to effectively compensate overall channels in $8{\times}40$ Gbps WDM system with non zero-dispersion shifted fiber (NZ-DSF) as an optical fiber. And BER characteristics in the system with two induced optimal parameters are compared with those in the system with the currently used mid-span spectral inversion (MSSI) in order to confirm the availability of the proposed methods. It is confirmed that two optimal parameters depend on each other, but less related with the searching procedure. The methods proposed in this research will be expected to alternate with the method of making a symmetrical distribution of power and local dispersion in real optical link which is a serious problem but the condition in the case of applying the OPC into multi-channels WDM system.

  • PDF

Compensation for the Distorted Signals in WDM System with Non Zero-Dispersion Shifted Fiber Using Optical Phase Conjugator (비영 분산 천이 광섬유를 갖는 WDM 시스템에서 광 위상 공액기에 의한 왜곡된 광 신호의 보상)

  • Lee Seong-Real
    • The Journal of Korean Institute of Electromagnetic Engineering and Science
    • /
    • v.17 no.6 s.109
    • /
    • pp.546-555
    • /
    • 2006
  • In this paper, the numerical methods of finding the optimal position of optical phase conjugator(OPC) and the optimal fiber dispersions are proposed, which are able to effectively compensate overall channels in $8{\times}40$ Gbps WDM system with non zero-dispersion shifted fiber(NZ-DSF) as an optical fiber. And the compensation characteristics in the system with two induced optimal parameters are compared with those in the system with mid-span spectral inversion (MSSI) technique in order to confirm the availability of the proposed methods. It is confirmed that the optimal parameter values induced in this approach are very useful to effectively compensate overall channels in WDM system with OPC. And, it is confirmed that two optimal parameters depend on each other, but less related with the searching procedure. The methods proposed in this research will be expected to alternate with the method of making a symmetrical distribution of power and local dispersion in real optical link which is a serious problem of applying the OPC into multi-channels WDM system.

Improvement of Bit Error Rate using the Optimal Parameters of Optical Phase Conjugator in WDM System with Non Zero - Dispersion Shifted Fiber (비영 분산 천이 광섬유를 갖는 WDM시스템에서 광 위상 공액기의 최적 파라미터를 이용한 비트 에러율 개선)

  • Lee, Seong-Real
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.10 no.10
    • /
    • pp.1854-1862
    • /
    • 2006
  • The numerical methods of finding out the optimal position of optical phase conjugator (OPC) and the optimal fiber dispersions are prosed, which are able to effectively compensate overall channels in $8{\times}40Gbps$Gbps WDM system with non zero - dispersion shifted fiber (NZ-DSF) as an optical fiber. And BER characteristics in the system with two induced optimal parameters are compared with those in the system with the currently used mid-span spectral inversion (MSSI) in order to confirm the availability of the proposed methods. It is confirmed that the applying two induced optimal parameters into WDM system contribute to reduce power penalty to 4 times than that of WDM system with the conventional MSSI. Thus, the methods proposed in this research will be expected to alternate with the method of making a symmetrical distribution of power and local dispersion in real optical link which generates a serious problem if it was not made but it is the condition in the case of applying the OPC into multi-channels WDM system.

A Conceptual Schema Integration through Extraction of Common Similar Subschemas : An Case Study of Multidatabase System (공통 유사 서브스키마 추출을 통한 개념적 스키마 통합 : 다중 데이터베이스 시스템 적용사례)

  • Koh, Jae-jin;Lee, Won-Jo
    • The KIPS Transactions:PartD
    • /
    • v.11D no.4
    • /
    • pp.775-782
    • /
    • 2004
  • Recently, most of global enterprises have geographically distributed organization, thus have distributed information systems which have distributed database systems. So, it is difficult for these systems to provide common views for the application programs of end users. One of solutions to solve these difficulties is an MDBS(Multidatabase System) A method to effectively implement MDBS is a schema integration. This paper proposes a methodology for a schema integration through extraction of common similar subschemas Our methodology is consisted of 5 phases : affinity analysis, extraction of similar subschemas, decision of imtegration order, resolution of semantic conflict, and schema integration. To verify the usability of our methodology, a case study is implemented with an object of MDBS. At a result, our approach can effectively be applied to the extraction of common similar subschemas and schema integration.

A Face Recognition Method Robust to Variations in Lighting and Facial Expression (조명 변화, 얼굴 표정 변화에 강인한 얼굴 인식 방법)

  • Yang, Hui-Seong;Kim, Yu-Ho;Lee, Jun-Ho
    • Journal of KIISE:Software and Applications
    • /
    • v.28 no.2
    • /
    • pp.192-200
    • /
    • 2001
  • 본 논문은 조명 변화, 표정 변화, 부분적인 오클루전이 있는 얼굴 영상에 강인하고 적은 메모리양과 계산량을 갖는 효율적인 얼굴 인식 방법을 제안한다. SKKUface(Sungkyunkwan University face)라 명명한 이 방법은 먼저 훈련 영상에 PCA(principal component analysis)를 적용하여 차원을 줄일 때 구해지는 특징 벡터 공간에서 조명 변화, 얼굴 표정 변화 등에 해당되는 공간이 최대한 제외된 새로운 특징 벡터 공간을 생성한다. 이러한 특징 벡터 공간은 얼굴의 고유특징만을 주로 포함하는 벡터 공간이므로 이러한 벡터 공간에 Fisher linear discriminant를 적용하면 클래스간의 더욱 효과적인 분리가 이루어져 인식률을 획기적으로 향상시킨다. 또한, SKKUface 방법은 클래스간 분산(between-class covariance) 행렬과 클래스내 분산(within-class covariance) 행렬을 계산할 때 문제가 되는 메모리양과 계산 시간을 획기적으로 줄이는 방법을 제안하여 적용하였다. 제안된 SKKUface 방법의 얼굴 인식 성능을 평가하기 위하여 YALE, SKKU, ORL(Olivetti Research Laboratory) 얼굴 데이타베이스를 가지고 기존의 얼굴 인식 방법으로 널리 알려진 Eigenface 방법, Fisherface 방법과 함께 인식률을 비교 평가하였다. 실험 결과, 제안된 SKKUface 방법이 조명 변화, 부분적인 오클루전이 있는 얼굴 영상에 대해서 Eigenface 방법과 Fisherface 방법에 비해 인식률이 상당히 우수함을 알 수 있었다.

  • PDF