• 정보과학회 논문지
• /
• 제43권7호
• /
• pp.820-826
• /
• 2016

거대한 데이터로부터 가치 있는 정보를 추출해 내는 빅데이터 기술의 필요성은 나날이 커지고 있다. 빅데이터 분석을 위해 사용되는 하둡 시스템은 맵리듀스를 통해 데이터를 처리하였으나, 맵리듀스 프레임워크는 코드 재사용성의 한계, 질의 최적화 기술의 부재 등의 단점을 보인다. 이를 극복하기 위해 SQL-on-Hadoop이라 불리는 하둡 기반의 SQL 질의 처리 기술이 주목받고 있다. SQL-on-Hadoop 기술 중 타조(Tajo)는 국내 개발진이 주축이 되어 개발되었다. 타조는 데이터 분석을 위해 외부합병정렬 알고리즘을 사용하며, 정렬 연산에 영향을 주는 매개변수로 정렬 버퍼 사이즈와 팬-아웃을 가진다. 본 논문은 타조의 정렬 연산에 영향을 미치는 매개변수인 정렬 버퍼 사이즈와 팬-아웃 값에 따른 정렬의 성능 차이를 보인다. 또한 측정한 성능에 대하여 정렬 버퍼 사이즈가 증가함에 따른 CPU 캐시 미스의 비율 증가, 팬-아웃에 따른 합병 단계 수의 변화가 성능 차이의 원인임을 보인다.

• 한국콘텐츠학회논문지
• /
• 제4권4호
• /
• pp.189-196
• /
• 2004

최근 ATM스위치를 위한 대부분의 연구는 병렬 하드웨어 자체에 규칙성과 자체 라우팅 특성을 가지는 다단계 상호연결 네트워크에 근거하여왔다. 그러나 네트워크는 동시에 또는 병렬로 전송되지만 서로 충돌을 피찰 수 없다는 측면에서는 블러킹 네트워크라고 할 수 있는데, 주로 밴얀 네트워크가 그 구조에 사용되어왔다. 밴얀 형태의 스위치에 있어서 처리율을 증가시키고, 블러킹을 제거하기 위해서 즉 내부링크의 속도를 증가시키고, 모든 스위치 노드에 버퍼를 두고, 병렬로 다중 연결링크를 두고, 그 네트워크 전에 부하를 균등하게 하는 통 여러 가지 방법들이 사용되어 왔다. 따라서 본 논문에서는 모든 블러킹이 제거되고 하드웨어 복잡도를 향상시키기 위하여 재순환 선플?스체인지 네트워크의 사용을 제안하였다. 이 구성은 하드웨어 복잡도 면에서 한층 단순하여진 구조인 재순환 셔플?스체인지 네트워크와, 동일한 목적지로 전달되는 패킷들에 있어서 우선순위가 결정된 후 순위가 높은 패킷은 다음 네트워크로 보내고, 순위가 낮은 패킷들을 재순환하는 트리구조의 순위 네트워크로 구성된다. 전송된 패킷은 밴얀 네트워크에서 분할 및 합성 알고리즘을 통하여 자체 라우팅 방식으로 최종 목적지에 전송되도록 구성된다. 처리율과 대기 시간 및 버퍼 크기에 따른 패킷의 손실율은 통일한 부하에 따라 각 포트에 도달한 패킷들의 확률을 이항분포로서 적용된다. 이때, $50\%$의 부하 정도면 버퍼 사이즈 $B_{size}=15$이상 즉, 16이면 허용 가능한 손실윤을 나타낸다. 그러므로 본 논문은 하드웨어의 복잡도 측면에서 기존의 바이토닉 정렬기를 재순환 셔플잌스체인지 네트워크로 구성하여 단순화 시켰다.