Georgi Gerganov, transformers로 GGUF 모델 직접 실행 가능하다고 밝혀
Georgi Gerganov는 GGUF 모델을 transformers로 직접 실행할 수 있다고 밝혔다. 그는 이 작업이 ggml의 Metal 커널을 transformers 생태계에 가져와 호환성과 성능을 높인다고 말했다.
Georgi Gerganov는 GGUF 모델을 transformers로 직접 실행할 수 있다고 밝혔다. 그는 이 작업이 ggml의 Metal 커널을 transformers 생태계에 가져와 호환성과 성능을 높인다고 말했다.