Doradus vừa phát hành bản lượng tử hóa đầu tiên: MiroThinker-v1.0-30B-FP8 trên Hugging Face. Mô hình này phù hợp cho người dùng có 2 GPU (tối ưu với Blackwell) và đi kèm Dockerfiles VLLM. Một nỗ lực đáng chú ý trong tối ưu hóa LLM!
#AIModel #LLM #Quantization #HuggingFace #GPU #MiroThinker
#MôHìnhAI #LượngTửHóa #TốiƯuMôHình
https://www.reddit.com/r/LocalLLaMA/comments/1pehlzg/doradusmirothinkerv1030bfp8_hugging_face/