Llama.cpp ra mắt tính năng tự động hóa phân bổ GPU, hỗ trợ kiểm soát bộ nhớ cho MoE với công cụ `llama-fit-params`. Công nghệ này tối ưu hóa việc phân chia VRAM, giảm thủ công, đồng thời nâng cao hiệu suất trên nhiều GPU. Benchmark cho thấy VRAM sử dụng hiệu quả (~85-90%) và tốc độ xử lý tăng đáng kể khi thêm GPU. 🚀 #AI #machinelearning #LlamaCPP #LLM #VNMLO #CôngnghệAI
#LlamaCPP
My llama.cpp and ollama honeypots get a ton of requests with the question: "Count from 1 to 20, one number per line."
The interesting part is that these requests have originated from approximately 1000 unique IPs already which is uncommon.
Also quite uncommon is that they request streaming results which the honeypots support ;)
(To the anti-AI people: please feel free to ignore/skip this post.)
New blog post! A few people have asked me how I run AI/LLM tools (ollama and llama.cpp) in my Talos Kubernetes cluster, so I decided to give it a proper explanation. This is quite a long and complex post, but I hope it's useful for someone.
#HomeLab #TalosLinux #Framework #ollama #llamacpp #AI #LLM #AMD #StrixHalo @homelab
Thử nghiệm chạy llama.cpp trên AMD MI50 (gfx906) với Ubuntu 24.04. Kết quả: ROCm 5.7.3 cho hiệu suất tốt nhất (61.42 t/s xử lý prompt), trong khi các phiên bản mới hơn chậm hơn 7-8%. Cài đặt chi tiết và cấu hình trong bài viết. #AI #AMD #GPU #Ubuntu #LlamaCPP #TríTuệNhânTạo #CôngNghệ #AIhardware
Chia sẻ kinh nghiệm về lỗi khi sử dụng llamacpp với quant 4-bit Unsloth Dynamic. Mô hình gặp khó khi tạo trò chơi Snake và giải bài toán LeetCode mà GPToss 20B và Qwen30B A3B thành công. Các bạn có gặp vấn đề tương tự không? #TríTuệNhânTạo #AI #llamacpp #MôHìnhLLM
https://www.reddit.com/r/LocalLLaMA/comments/1pkhx0l/whats_everyones_thoughts_on_devstral_small_24b/
lLaMA.cpp cập nhật tính năng chuyển đổi mô hình AI trực tiếp khi đang chạy, giúp tối ưu hiệu suất mà không cần khởi động lại. Xem chi tiết blog Hugging Face và thảo luận trên Reddit.
#AI #MachineLearning #TríTuệNhânTạo #HọcMay #LlamaCPP #LocalLLaMA
https://www.reddit.com/r/LocalLLaMA/comments/1pk0ubn/new_in_llamacpp_live_model_switching/
Cả hai mô hình Devstral-Small-2-24B q6k (Unsloth và Bartowski) đều bị lặp vô hạn khi chạy trên llama.cpp với ngữ cảnh 24k token. Người dùng báo cáo đã thử nhiều thiết lập (-cache-type-k q8_0, n-gpu-layers 99) nhưng lỗi vẫn xảy ra. Câu hỏi: Q6 có bị lỗi? Cần thêm flags mới không? #AI #MachineLearning #MôHìnhLLM #LỗiCông Nghệ #VietnamAI #LlamaCPP #Devstral
I have been hearing a lot about the new Llama CPP UI but have not tried it yet.
This week I am going to run it in a real on device AI workflow and see how well it fits into my day to day work as a blind iOS developer.
If you are using LlamaCPP or similar local model tooling, how is the new UI working for you in practice. What does it do well, and what still gets in your way.
#AI #OnDeviceAI #LlamaCPP
I have been hearing a lot about the new Llama CPP UI but have not tried it yet.
This week I am going to run it in a real on device AI workflow and see how well it fits into my day to day work as a blind iOS developer.
If you are using LlamaCPP or similar local model tooling, how is the new UI working for you in practice. What does it do well, and what still gets in your way.
#AI #OnDeviceAI #LlamaCPP
Phoronix công bố benchmarks Llama.cpp dùng Vulkan, so sánh hiệu suất chạy AI cục bộ. Kết quả cho thấy tiềm năng tối ưu hóa mô hình ngôn ngữ nhỏ gọn. #LlamaCpp #Vulkan #AIBenchmarks #CôngNghệAI #MachineLearning
https://www.reddit.com/r/LocalLLaMA/comments/1picehv/llamacpp_vulkan_benchmarks_by_phoronix/
Finally deployed #llamacpp on my #guix system
My video card is too shitty I've just wanted to do this because I hope to update it sooner or later and have my-own guix/lisp-friendly little helper
Giao diện NCURSES mới đã được ra mắt cho server llama.cpp GGUF, giúp quản lý và tương tác dễ dàng hơn qua mạng LAN. Đây là cải tiến đáng chú ý cho những ai muốn chạy mô hình AI cục bộ hiệu quả.
#llamaCPP #NCURSES #GGUF #LocalLLaMA #AI #Server #MạngLAN #GiaoDienMoi #AIcucbo
https://www.reddit.com/r/LocalLLaMA/comments/1p9jtc6/new_interface_for_llamacpp_ncurses_gguf_server/
Ra mắt giao diện máy chủ dòng lệnh cho llama.cpp, giúp phục vụ các mô hình GGUF qua mạng LAN. Giải pháp hiệu quả để triển khai và chia sẻ LLM cục bộ trong mạng của bạn!
#LLM #LocalLLaMA #AI #GGUF #LlamaCPP #Tech #MôHìnhNgônNgữLớn #AIcụcbộ #PhầnMềm #MạngLAN
Claude giờ đã có thể kết nối trực tiếp với máy chủ llama.cpp! API Anthropic messages đã được hợp nhất, mở ra khả năng sử dụng Claude code với các LLM lớn như GPT-OSS 120B. Tốc độ khuyến nghị: 700 pp và 60 t/s.
#LocalLLaMA #AI #LLM #Claude #LlamaCpp
#AI #TríTuệNhânTạo #MôHìnhNgônNgữ #LlamaCpp
Claude giờ đã có thể kết nối trực tiếp với máy chủ llama.cpp! API Anthropic Messages đã được hợp nhất, mở ra khả năng sử dụng Claude Code với các LLM lớn như GPT-OSS 120B. Tốc độ xử lý nhanh là chìa khóa để có trải nghiệm tốt.
#Claude #llamaCPP #AI #OpenSource #TríTuệNhânTạo #MãNguồnMở
Tác giả repo #aiagentsfromscratch trên GitHub dự định chuyển đổi thành sách "Build an AI Web Framework (From Scratch)". Sách sẽ hướng dẫn xây dựng framework AI từ đầu, tương tự LangChain/LangGraph nhưng đơn giản hơn, tập trung vào các khái niệm cốt lõi. Sử dụng #LLamaCpp và #NodeJS để tạo framework hoạt động cục bộ.
#AI #Framework #LLMs #Programming #TechBook #LậpTrình #Sách
Yêu cầu hỗ trợ tìm nền tảng UI locally host tương thích HIPAA cho mô hình Llama CPP đang chạy trên Mac Studio M3 Ultra. Người đăng cần giải pháp lưu trữ log an toàn tại địa phương, đồng thời hỏi thêm về hiệu năng hệ thống. #LocalLLaMA #HIPAA #M3Ultra #LlamaCPP
https://www.reddit.com/r/LocalLLaMA/comments/1p6u61z/help_finding_local_platform/
Cập nhật fork cho card đồ họa Vega 7nm với tốc độ tăng trung bình 10%. Thử nghiệm để tối ưu hóa GPU. #Vega7nm #GraphicsCard #LlamaCPP #GPU #TốcĐộ #ĐồHọa #CardĐồHọa #CôngNghệ #TechNews #TinCôngNghệ
https://www.reddit.com/r/LocalLLaMA/comments/1p5mdqi/llamacppgfx906_new_release/
Client Info
Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst