커뮤니티해외
Basalt 0.4.0 출시: RTX 5090 기반 Qwen 27B 최대 770 tok/s 달성
원제 · Basalt 0.4.0: More models, still as fast - Qwen 27B up to 770 tok/s on a 5090
r/LocalLLaMA오늘 5위
한눈에 보기
Basalt 0.4.0 업데이트를 통해 다중 모델 및 라우터 지원, 비디오 및 파일 첨부 기능이 추가되었고 속도가 크게 향상되었다.
AI 요약 · 원문 제목과 발췌를 한국어로 옮김 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- r/LocalLLaMA · 11.16 02:30
- 종류
- 커뮤니티 · 해외
- 다룬 곳
- r/LocalLLaMA
Hi everyone! I wanted to post a quick update on Basalt. Since last I posted, multi model and router support was implemented, starting with DeepSeek V4.1 Flash (IQ1_M 90 tok/s conv, 246 tok/s struct…
원문의 저작권은 r/LocalLLaMA에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.