SambaNova, SN50가 RDU 디코드를 기존 GPU와 페어링해 프리미엄 추론을 제공한다고 밝혀
SambaNova는 SN50이 프리미엄 추론을 위해 구축되었으며, 프리필을 위해 기존 GPU와 RDU 디코드를 페어링한다고 밝혔습니다.
회사는 6개월 내 ROI를 70% 청구 가능 활용률 계획 가정 하에 인용했으며, https://bit.ly/4roRVpL의 블로그로 링크했습니다.
관련 AI 뉴스
SambaNova, SambaCloud에서 MiniMax M3용 프롬프트 캐싱 지원
SambaNova가 SambaCloud의 MiniMax M3용 프롬프트 캐싱을 출시해 코드 변경 없이 입력 비용을 90% 절감한 캐시 토큰 100만 개당 0.06달러로 낮추고 첫 토큰 생성 시간(TTFT)을 35%~88% 개선했다.
Pedro Cuenca, llama.cpp 활용해 RTX 6000과 M5 노트북에 걸쳐 MiMo 2.6 Flash 구동
Pedro Cuenca는 10 GbE로 연결된 RTX 6000 GPU와 M5 노트북 환경에서 llama.cpp의 기본 지원을 활용해 MiMo 2.6 Flash의 네이티브 mxfp4 가중치를 초당 40토큰 속도로 구동하는 모습을 시연했다.
Prime Intellect, Prime Inference 출시
Prime Intellect가 Prime Inference를 출시했다. 회사 측은 강화학습 및 고객 전용 배포 환경을 대상으로 수조 개의 토큰을 처리했다고 밝혔다.
Jiantao Jiao, 53개 과제의 NVIDIA 벤치마크 SWE-Serve 발표
Jiantao Jiao는 NVIDIA 팀이 AI 에이전트가 추론 엔진을 개발하고 실제 모델을 서빙할 수 있는지 시험하기 위해 SWE-Serve를 만들었다고 밝혔다. 이 벤치마크는 실제 sgl_project 엔지니어링 작업에서 가져온 53개 과제로 구성된다.