Pedro Cuenca, llama.cpp 활용해 RTX 6000과 M5 노트북에 걸쳐 MiMo 2.6 Flash 구동
Pedro Cuenca는 10 GbE로 연결된 RTX 6000 GPU와 M5 노트북 환경에서 llama.cpp의 기본 지원을 활용해 MiMo 2.6 Flash의 네이티브 mxfp4 가중치를 초당 40토큰 속도로 구동하는 모습을 시연했다.
#inference
모든 AI 뉴스 보기Prime Intellect, Prime Inference 출시
Prime Intellect가 Prime Inference를 출시했다. 회사 측은 강화학습 및 고객 전용 배포 환경을 대상으로 수조 개의 토큰을 처리했다고 밝혔다.
Jiantao Jiao, 53개 과제의 NVIDIA 벤치마크 SWE-Serve 발표
Jiantao Jiao는 NVIDIA 팀이 AI 에이전트가 추론 엔진을 개발하고 실제 모델을 서빙할 수 있는지 시험하기 위해 SWE-Serve를 만들었다고 밝혔다. 이 벤치마크는 실제 sgl_project 엔지니어링 작업에서 가져온 53개 과제로 구성된다.
SambaNova, SN50가 RDU 디코드를 기존 GPU와 페어링해 프리미엄 추론을 제공한다고 밝혀
SambaNova는 SN50이 프리필을 위해 기존 GPU와 RDU 디코드를 페어링하여 프리미엄 추론용으로 구축되었다고 밝혔습니다. 70% 청구 가능 활용률 계획 가정 하에 6개월 내 ROI를 인용했습니다.