커뮤니티국내
ggml v1.0.0 - 폐기 예정 API 제거, FP8 지원과 백엔드 성능 개선
GeekNews
한눈에 보기
llama.cpp의 텐서 연산 라이브러리 ggml이 1.0.0을 출시함. 폐기 예정이던 공개 API와 DIAG_MASK 연산을 제거하고, YaRN 설정과 FP8 지원을 확장RPC 프로토콜이 v9로 올라가 이전 버전과의 연결을 거부하므로, RPC를 쓰는 환경에서는 클라이언트와 서버를…
출처 발췌 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- GeekNews · 11.14 17:33
- 종류
- 커뮤니티 · 국내
- 다룬 곳
- GeekNews
llama.cpp의 텐서 연산 라이브러리 ggml이 1.0.0을 출시함. 폐기 예정이던 공개 API와 DIAG_MASK 연산을 제거하고, YaRN 설정과 FP8 지원을 확장RPC 프로토콜이 v9로 올라가 이전 버전과의 연결을 거부하므로, RPC를 쓰는 환경에서는 클라이언트와 서버를 함께 업데이트해야 함 CUDA에 OCP FP8 지원과 배치 크기 2~24에…
원문의 저작권은 GeekNews에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.