NVIDIA Blackwell 발표 후.... 우리가 아직도 더 빠르다는 Groq. NVIDIA에 혁신이 없다고 평가한 AI 클라우드 스타트업의 설계 반도체 LPU는 무엇이 다른가

• 반도체 칩 설계 스타트업 그로크는 엔비디아의 블랙웰에 대해 자사의 추론형 MPU가 더 빠르다고 주장하며, 초당 572토큰을 내놓을 수 있다고 발표했다.

• 그로크는 엔비디아가 아키텍처 측면에서 추론 성능이나 비용, 에너지 목표 등에 대한 새로운 방법을 제시하지 않았다며, 자사의 LPU 클러스터는 온 칩으로 램 메모리를 저장해 더 나은 대화형 성능과 에너지 효율성을 달성했다고 주장했다.

• 그로크의 성능이 빠른 이유는 아키텍처의 차이에서 기인하는데, 그로크는 LPU 클러스터를 통해 온 칩으로 램 메모리를 저장하며, 이를 통해 더 빠른 처리 속도와 에너지 효율성을 달성한다고 설명했다.