🎩✨ Behold, the spectacle of 1.5 TB VRAM—an indulgence only the unicorns of Cupertino could dream up. #Apple casually tosses a $40,000 Mac stack at tech bloggers, who then feign shock at the price while drooling over an #RDMA acronym party. 🤖💸 Meanwhile, the rest of us are still trying to afford last year's iPhone. 🙃
https://www.jeffgeerling.com/blog/2025/15-tb-vram-on-mac-studio-rdma-over-thunderbolt-5 #VRAM #MacBook #TechBloggers #PriceShock #HackerNews #ngated

1.5 TB of VRAM on Mac Studio – RDMA over Thunderbolt 5

https://www.jeffgeerling.com/blog/2025/15-tb-vram-on-mac-studio-rdma-over-thunderbolt-5

#HackerNews #1.5TBVRAM #MacStudio #Thunderbolt5 #RDMA #VRAM

Tối ưu hóa VRAM bằng GPU cũ? Người dùng muốn dùng card RTX 1000/2000 hoặc PCIe 3 để tăng VRAM cho infer AI. Cần tìm card giá rẻ nhất để mở rộng. #VRAM #GPU #AI #Inference #CôngNghệ #LậpTrình

https://www.reddit.com/r/LocalLLaMA/comments/1ppprra/what_is_the_cheapest_card_for_extra_vram/

Dear #AMD: You can save PC #gaming by doing something you've done before. YOU can be the hero. #nVidia doesn't care about #gamers any more, ignore them and do something "new".

Remember the VEGA64, which used #HBM memory for #VRAM? DO THAT AGAIN.

With the big three memory makers shifting to HBM, the solution that seems to make sense is to bring data center stuff to the consumer market, and share that supply chain.

#NVIDIA dejaría de suministrar #VRAM a sus socios de placas de #GPU en el 2026

https://notasrem.com/nvidia-no-suministrar-vram-socios-placas-gpu/

GPU là cốt lõi cho huấn luyện mô hình ngôn ngữ nhờ xử lý song song và tính toán ma trận nhanh. Bài viết phân tích kiến trúc GPU, phân biệt vs CPU, vai trò của CUDA/Tensor Cores, và quản lý VRAM. Hiệu suất GPU được đo lường bằng FLOPS, quyết định tốc độ huấn luyện. #AI #ML #GPU #MôHìnhNgônNgữ #CôngNghệ #ParallelComputing #DeepLearning #CUDA #VRAM #FLOPS #HiểuGPU #MachineLearningVietNam

https://www.reddit.com/r/LocalLLaMA/comments/1pk1hyp/day_4_21_days_of_building_a_small_language/

Hôm nay khám phá kiến thức về GPU – linh hồn của mô hình ngôn ngữ. GPU xử lý siêu song song, lý tưởng cho matrix multiplication trong ML nhờ hàng nghìn CUDA và Tensor Cores. So sánh CPU (lõi mạnh, xử lý tuần tự) vs GPU (nhiều lõi, song song). VRAM quan trọng để lưu trọng số/activations, thiếu gây lỗi training. FLOPS đo tốc độ tính toán, nhưng phụ thuộc bandwidth và hiệu suất Tensor Cores. Hiểu GPU để tối ưu hiệu quả huấn luyện mô hình!

#AI #ML #GPU #DeepLearning #VRAM #CUDA #TensorCore #FLOPS

👉 Ai cần giúp tư vấn phần cứng siêu tiết kiệm để chạy cục bộ các mô hình AI (13B-30B) + tạo hình ảnh/video, đồng thời offload 70B trở lên lên cloud? Cần cân nhắc giữa:
- GPU NVIDIA 8GB giá mềm (tương thích cao, VRAM thấp)
- GPU AMD/Intel VRAM cao (giá rẻ VRAM, hỗ trợ kém)
- Máy tính thống nhất (Apple Silicon/Strix Halo, RAM lớn, tùy thuộc vào mô hình)

Mục tiêu: Chạy 13B-30B cục bộ, offload 70B+ lên cloud.

#AI #ML #LLM #VRAM #Cloud #HARDWARE #CôngNghệ #MáyTính #MôHìnhAI

https://www.

Hỏi mới về VRAM dư: Khi load model 42GB vào card 44GB vs 48GB VRAM, phần VRAM dư giúp tăng hiệu suất và lưu ngữ cảnh. GPU 3090 48GB + Titan RTX 24GB có thể hoạt động nếu phần mềm hỗ trợ. #VRAM #GPU #HọcMáy #AI #TechVietnam

https://www.reddit.com/r/LocalLLaMA/comments/1pji6uk/vram_overhead/

Công cụ htop có thể theo dõi VRAM cho GPU Strix Halo người? Hầu như không có cách nào xác định mức sử dụng VRAM lúc này. #Vulkan #VRAM #htop #GPU #LinuxTool #CôngCụLinux #GPUUtilization

https://www.reddit.com/r/LocalLLaMA/comments/1pj0jdy/is_there_htop_for_vulkan_htop_for_vram/

Tính VRAM cần cho mô hình AI: **Memory = (Tham số × Byte mỗi tham số)**. Ví dụ 7B tham số: FP16 cần 14GB, INT8: 7GB, INT4: 3.5GB. Thêm 20% cho context/window. GPU 8-24GB phù hợp mô hình 7B, 40-80GB dùng 13B-34B. #AI #VRAM #MachineLearning #KhoaHocDuLieu #ModelAI

https://www.reddit.com/r/LocalLLaMA/comments/1piiozj/rule_of_thumb_or_calculator_for_determining_vram/

Người dùng hỏi tỷ lệ VRAM/RAM tối ưu cho build AI. Một số gợi ý 1:2 (32GB RAM cho 16GB VRAM). Bạn chọn tỉ lệ nào? 🤖 #AI #Hardware #VRAM #RAM #LocalLLaMA #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1phil1x/vramram_ratio_needed/

Maybe software like MagnaRAM makes a comeback? It's basically downloading more #RAM...at the expense of some CPU cycles. I've heard AMD is working on some #VRAM compression system.

#MangoHUD acaba de añadir un nuevo parámetro: la memoria #VRAM consumida por el proceso; el juego.

Veo, a simple vista, que el sistema operativo me usa alrededor de un giga de VRAM. ¿Eso es normal, no? ¿Se puede reducir? Suelo cerrar el navegador y tal, claro.

@pos_yo

Intel Arc Pro B60 Battlematrix vừa ra mắt bản xem trước với 192GB VRAM, được thiết kế đặc biệt cho các ứng dụng AI tại chỗ. Đây là bước tiến quan trọng, mang lại hiệu năng mạnh mẽ cho xử lý AI cục bộ!

#Intel #ArcProB60 #VRAM #AI #OnPremiseAI #IntelGPU #AIcucbo #Carddohoa

https://www.reddit.com/r/LocalLLaMA/comments/1pd3mdw/intel_arc_pro_b60_battlematrix_preview_192gb_of/

Làm sao để sử dụng 4GB VRAM cho TTS (Text-to-Speech)?
Người dùng Reddit đang tìm kiếm giải pháp để chạy các mô hình TTS trên card đồ họa có dung lượng VRAM hạn chế. Liệu có những công cụ nào phù hợp?

#VRAM #TTS #AI #LLaMA #TechTips #ThủThuậtCôngNghệ #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1pbdsje/anything_i_can_do_with_4gb_vram/

Người dùng than phiền VRAM Nvidia dùng nhiều hơn AMD khi chạy mô hình ngôn ngữ lớn (LLM). Trước với 40GB VRAM AMD chạy model 37GB tốt. Nay nâng lên 48GB VRAM Nvidia (5090 + 5060 Ti) lại không đủ cho model 37GB, model 19GB dùng tới 28GB VRAM. Bạn có gặp tình trạng này?

#Nvidia #VRAM #LLM #KoboldCpp #AI #AMD #GPU #ThẻĐồHoạ #TríTuệNhânTạo #BộNhớĐồHoạ #GraphicsCard #AIGPU

https://www.reddit.com/r/LocalLLaMA/comments/1pb5ljp/nvidia_cards_using_too_much_vram/

The setup for #DRAM and #NAND chip hoarding 😆 No seriously, I want to start hacking more #VRAM onto #GPUs and stuff #hacking

#HotTake / #speculation:

#Valve is using the #SteamDeck and #SteamMachine to force a tighter baseline on #gaming #computer #hardware and #Linux support. Whatever they produce, pretty much every #VideoGame company has to make their games run passably on it, meaning it has to be optimized enough to run on whatever #GPU they might be shipping in whatever #RAM / #VRAM constraints the system has, and it has to be stable in #Proton.

It's the console that #Steam itself is selling, they don't want people asking "why doesn't this run on standard hardware? Will it not run on my hardware either?"

I think this will be good for the #software market in general, as we've seen massive slippage in basic optimization for very little actual gain.

#ComputerScience #ComputerIndustry

RTX 5090 mạnh hơn RTX 3090 gấp 3 lần trong Z_Image workflow! Thử nghiệm giới hạn VRAM cho thấy card 8GB vẫn chạy được nếu có đủ RAM hệ thống (32GB+). Để nhanh, nên dùng card 70-class trở lên (12GB+ VRAM). #RTX5090 #VRAM #AI #LocalLLaMA #cardđồhọa #trítuệnhântạo

https://www.reddit.com/r/LocalLLaMA/comments/1p9563c/z_image_benchmark_with_simulating_vram_limits_on/