Cần hỗ trợ chạy mô hình GLM‑4.5 Air trên 2 GPU RTX Pro 6000 (Linux Fedora 43). Đã thử llama‑cpp, vLLM, ik_llama, sglang… vLLM chạy nhanh (~90 token/s) nhưng gặp vấn đề tool apply_diff; các công cụ khác chậm hoặc không khởi động. Ai có cấu hình thành công, hướng dẫn chi tiết, chia sẻ script? #AI #LLM #GLM #RTX6000 #Linux #vLLM #LlamaCPP #TríTuệNhânTạo #HọcMáy
https://www.reddit.com/r/LocalLLaMA/comments/1qsnoor/help_getting_glm_45_air_running_on_2x_rtx_pro/
cedric (@cedric_chee)
로컬에서 Kimi K2.5 모델의 INT4 양자화(quant)를 사용해 8대의 RTX Pro 6000 GPU(8x)로 추론을 수행한 결과를 공유한 트윗입니다. 처리량은 8–40 TPS 범위였고, 고전적 추론 문제(아버지-외과의사 수수께끼)와 단어 세기 과제를 모두 정답으로 풀었으며 각각 약 58초·55초의 사고 시간을 기록했습니다. 로컬 INT4 양자화 성능과 추론 지연/처리량 정보가 핵심입니다.
Một workstation chạy AI cực khủng vừa được giới thiệu với cấu hình 4 card đồ họa RTX 6000 Ada Lovelace, lắp đặt trong khung máy tùy chỉnh (custom frame). Đây là giải pháp phần cứng mạnh mẽ cho các tác vụ tính toán nặng và chạy mô hình ngôn ngữ lớn (LLM) tại địa phương. Với lượng VRAM khổng lồ, hệ thống này tối ưu hóa khả năng xử lý song song và đào tạo mô hình AI chuyên sâu.
#AI #Hardware #Workstation #RTX6000 #LocalLLM #DeepLearning #CongNghe #PhanCung #MayTinh
Đang lên kế hoạch xây dựng workstation với RTX 6000 (96 GB) và RAM DDR5‑6000 96 GB. Cân nhắc giữa phiên bản Pro và Max‑Q: Max‑Q tiết kiệm 300 W, nhỏ gọn hơn nhưng có tiếng rít? Lo ngại RAM đủ để khai thác VRAM, và tìm nhà lắp đặt tại EU (DE, BE, NL, FR). Ai có kinh nghiệm hoặc đề xuất nhà cung cấp, chia sẻ nhé! #Hardware #PCBuild #RTX6000 #MaxQ #RAM #CôngNghệ
https://www.reddit.com/r/LocalLLaMA/comments/1qjx8vz/finalizing_build_but_for_6000_and_i_realize_it/
Đánh giá tốc độ MiniMax M2.1 (IQ2_M) trên RTX PRO 6000:
- Tốc độ xử lý prompt trung bình: 668.78 token/giây.
- Tốc độ tạo token trung bình: 47.97 token/giây.
- Kết luận: Context càng lớn, tốc độ xử lý càng chậm.
#LLM #AI #GPU #RTX6000 #MiniMaxM21 #TríTuệNhânTạo #HiệuNăng
https://www.reddit.com/r/LocalLLaMA/comments/1pylstj/single_rtx_pro_6000_minimax_m21_iq2_m_speed/
"đang xây dựng máy tính RTX 6000 / 7985WX. Cấu hình: CPU 64 nhân, RAM 64GB DDR5, SSD NVMe 7.68TB, GPU RTX 6000. Thỏa tin cần建议 về mạng 25GbE và thêm SSD. #BuildAdvice #RTX6000 #VietnameseTech #ComputerComponents"
https://www.reddit.com/r/LocalLLaMA/comments/1oas343/build_advice_rtx_6000_7985wx/
**Título: Build Dominador - RTX 6000 / 7985WX**
**Nội Đóng:**
Lập Trình: CPU Ryzen 7985WX (64C/128T), RTX Pro 6000 Blackwell (96GB GDDR7), Lưu Trữ: 2TB NVMe + 7.68TB U.3 + 20TB SATA. Mạng: 2x 10GbE + 25GbE (lưu trữ ẩm thực). Đào phách: AIOLIVE, 64GB DDR5.
**TТеги:** #TechBuild #RTX6000 #LậpTrìnhSàn #NVIDIA #Ryzen
(498 ký tự)
https://www.reddit.com/r/LocalLLaMA/comments/1oas343/build_advice_rtx_6000_7985wx/
Mua 2 RTX 6000 Blackwell Pro (~20k USD) có thể ghi sổ thuế, dùng cho RAG, ML object detection, ML Ops, và phát triển game Unreal/Unity. Lợi ích: tốc độ đồ họa cao, không phụ thuộc cloud, giảm chi phí truy cập GPU. Nhược điểm: công tắc, điện, giá GPU di chuyển. Bạn sẽ làm gì với 20k? #RTX6000 #BlackwellPro #AI #ML #GameDev #GPU #HạTầng #ĐồHọa
https://www.reddit.com/r/LocalLLaMA/comments/1nmu7jo/is_the_rtx_6000_blackwell_pro_the_right_choice/
RTX Pro 6000: Nvidias 96-GB-Workstation-Grafikkarte kostet 11.000 Euro https://www.computerbase.de/news/grafikkarten/rtx-pro-6000-nvidias-96-gb-workstation-grafikkarte-kostet-11-000-euro.92474/ #RTX6000 #Nvidia
#NVIDIA #RTX6000 Ada Generation vs. Radeon PRO Performance On #Ubuntu #Linux 24.04 LTS Review
NVIDIA RTX 6000 Ada Generation led in raw performance and performance-per-Watt across multiple benchmarks.
This comparison on Ubuntu 24.04 shows RTX 6000 Ada delivering incredible performance and typically far outpacing AMD Radeon PRO W7900 series workstation graphics cards. The RTX 6000 Ada Generation is very impressive workstation graphics card but will set you back $6~7k USD.
https://www.phoronix.com/review/nvidia-rtx-6000-ada
NVIDIA представила Vera Rubin — архітектуру графічних процесорів нового покоління https://itc.ua/ua/novini/nvidia-predstavyla-vera-rubin-arhitekturu-grafichnyh-protsesoriv-novogo-pokolinnya/ #Штучнийінтелект #Комплектуючі #Технології #Відеокарти #VeraRubin #Пристрої #RTX6000 #Новини #NVIDIA
NVIDIA RTX 6000: графічні процесори R100 Rubin підуть у масове виробництво наприкінці 2025 року https://itc.ua/ua/novini/nvidia-rtx-6000-grafichni-protsesory-r100-rubin-pidut-u-masove-vyrobnytstvo-naprykintsi-2025-roku/ #Технології #Відеокарти #VeraRubin #Пристрої #RTX6000 #Новини #NVIDIA #RTX
