5G 통신은 높은 주파수 대역을 사용하는 밀리미터파 통신이다. 높은 주파수 특성으로 인해 전파의 직진성이 강해지므로, 넓은 범위를 서비스하기 위해서는 다수의 기지국을 기반으로 한 빔형성(beamforming) 기술이 요구된다. 빔형성 기술을 적용하기 위해서는 안테나에 입사되는 신호의 도래각(Angle-of-Arrival : AOA) 정보가 필요한데, 일반적으로 도래각은 고분해능 알고리즘인 MUSIC(: Multiple Signal Classification)이나 ESPRIT(: Estimation of Signal Parameters via Rotational Invariance Technique)을 사용하여 추정된다. 빔형성 기술을 적용하기 위해 다양한 안테나 형태가 사용될 수 있지만, 일반적으로 단일 형상(사각, 원형, 육각)의 안테나 배열이 주로 사용되어 왔다. 본 논문에서는 다양한 주파수에 적합한, 기존의 단일 형상 배열 안테나가 아닌, 사각과 원형 배열이 혼합된 형상의 배열 안테나를 기반으로 한 송/수신 빔형성 시스템을 소개하고 성능을 평가한다. 제안된 혼합 형상 배열 안테나 기반의 빔형성 시스템에 대한 성능평가를 위해 다양한 시나리오를 바탕으로 컴퓨터 시뮬레이션을 실시한다.