Ein Freund von mir ist Geschäftsführer eine kleinen Firma und Legastheniker. Einer seiner größten Schmerzen ist das beantworten von E-Mail-Anfragen. Er nutzt aus Überzeugung viel OpenSource Software, bspw. KDE und KMail sowie Nextcloud.

Er würde gerne KI nutzen, um das beantworten von Mails zu beschleunigen, damit er nach einer arbeitsreichen Woche am Wochenende möglichst wenig Zeit im Büro verbringt, sondern mit seinen Kindern.

Hat hier schon jemand Erfahrungen gemacht mit der Integration von LocalAI bzw. Ollama in Nextcloud, KMail und/oder alternativ Mozilla Thunderbird? Wie einfach? Welche Plugins?

#ai #ki #selbstaendigkeit #bueroalltag #opensource #kde #thunderbird #kmu #legasthenie #nextcloud #localai #ollama

Ẩn chủ đề về trí tuệ nhân tạo cục bộ, bạn đã sử dụng AI tự host cho homelab chưa? Một số trường hợp sử dụng bao gồm obsidian và paperless ngx #trituenhantao #localai #homelab #aithuemay #trituenhanlocal

https://www.reddit.com/r/selfhosted/comments/1p1toda/usecase_for_local_ai/

Tin vui cho giới công nghệ! Giờ đây, bạn có thể chạy mọi LLM cục bộ trên thiết bị của mình qua Docker, chỉ với 8GB RAM. Nhờ sự hợp tác giữa Unsloth và Docker, việc triển khai các mô hình như OpenAI gpt-oss, Llama, Gemma, Phi trở nên dễ dàng, không cần thiết lập phức tạp, với hiệu suất tối ưu.

#LLM #Docker #AI #LocalAI #Unsloth #MôHìnhNgônNgữLớn #TríTuệNhânTạo

https://www.reddit.com/r/selfhosted/comments/1p0e11c/you_can_now_run_any_llm_on_your_local_device_via/

La Perf — бенчмарк локального ИИ, или M-серия наносит ответный удар

Если вам интересен мир ИИ и вы хотите не просто делать fit, predict на удаленной ВМ, а изучать что-то локально, экспериментировать и упрощать себе жизнь, запуская модели прямо на своем девайсе — скорее всего, вам понадобится достаточно мощное железо. Эта статья - попытка ответить на вопрос эффективности железа для популярных AI задач: LLM, VLM, эмбэддинги. Она будет полезна как ML/AI Инженерам, так и просто Энтузиастам, которые выбирают себе железо для локального инференса gpt-oss .

https://habr.com/ru/articles/966654/

#бенчмарк #ai #llm #vlm #embeddings #opensource #localai #mlx #cuda #mps

How-To Geek: Trying local AI models became way easier after I installed this app. “AI is more popular than ever, and there are dozens of great uses out there ranging from voice replication and synthesis to 3D modeling. None of that means anything if getting them up and running is too much trouble. Normally, firing up a new model is cumbersome enough that I don’t unless I know I want to use it. […]

https://rbfirehose.com/2025/11/14/how-to-geek-trying-local-ai-models-became-way-easier-after-i-installed-this-app/

As we head into Slush week, we’re excited to share that something bigger is indeed taking shape at Jolla. Over the past months we’ve worked closely with our community, partners and early pioneers of local-first AI, and now we’re ready to show where this shared effort is leading.

You’ll find us live at Slush with Greenstep, demonstrating how privacy-respecting and truly sovereign AI computing can serve real organisations today. We’ll also be hosting an open community session at the Holiday Inn Expo for anyone who wants to see the work up close, talk with the team, and hear what comes next.

Join us in Helsinki – or follow the updates online – as we take the next steps together.

#Jolla #LocalAI #SLUSH2025 #SailfishOS

Join Jolla and Venho.Ai at two special events during Slush week @ Helsinki Expo, from live demos with Greenstep to an in-depth product showcase at Holiday Inn.

🧭 Greenstep x Jolla: Local AI You Own and Control in Action
Watch the Jolla Mind2 Enterprise Server and Venho’s local-first software platform handle real business workflows like scheduling, document creation, and secure memory, all processed on your devices with cloud only when you choose.
📍 Greenstep booth 6D2 at Slush, Nov 19
🔗 https://platform.slush.org/public/slush25/activities/1c201ee0-7217-4ee8-ba9a-0536b8974f2a

🧭 Jolla: Local AI You Own and Control – Live Showcase
A come-and-go event with live product demos, drinks, and in-depth discussions on local-first AI and data sovereignty.
📍 Holiday Inn Helsinki Expo
🗓️ Nov 19–20, drop by anytime between 10am to 8 PM
🔗 https://platform.slush.org/public/slush25/activities/89081330-85f5-4527-a47c-a9e3c409893c

Your business. Your data. Your control.

#Jolla #SailfishOS #slush2025 #localai

Một người dùng Reddit đã tạo ra một mô hình AI hội thoại cục bộ có khả năng nhận diện giọng nói (STT) và chuyển văn bản thành giọng nói (TTS) để "trêu chọc" mình trong xưởng. Sử dụng Llama 3B, Whisper, Piper TTS và các công cụ khác, chạy trên RTX 3060.

#LocalAI #LLaMA #STT #TTS #AI #VietNam #AISangTao

https://www.reddit.com/r/LocalLLaMA/comments/1ouqbyo/local_conversational_model_with_stt_tts/

Những điều cản trở bạn sử dụng mô hình AI cục bộ nhiều hơn? Khó khăn trong truy cập từ xa, chi phí API cao, hoặc không đủ năng lực tính toán? #AIModern #LocalAI #TríTuệNhânTạo #AI cục bộ #MôHìnhAICụcBộ

https://www.reddit.com/r/LocalLLaMA/comments/1oukfvf/whats_stopping_you_from_using_local_ai_models_more/

🤖 Một ứng dụng desktop AI chạy nhiều mô hình cục bộ trên phần cứng yếu, chỉ cần GPU 2GB.

✅ Chạy 100% offline sau khi tải mô hình
✅ Cài đặt 1-click cho Windows/Mac/Linux
✅ 3 mô hình nhỏ (Gemma2:2b, TinyLlama, DistilBERT) hợp tác
✅ Bộ nhớ thông minh, ghi nhớ cuộc trò chuyện
✅ Không cần cloud, API key hay đăng ký
✅ Chạy được trên laptop gaming hoặc PC mid-range từ 5-7 năm trước

#LocalAI #OfflineAI #OpenSource #AI #MachineLearning #PrivacyFirst #NoCloud #VietnameseTech #TechNews #MultipleModel

"Phần mềm AI đa mô hình chạy offline trên máy tính cũ với card đồ họa 2GB. Cài đặt một clic, không cần internet sau khi tải mô hình lần đầu. #AI # trí tuệ nhân tạo #LocalAI #OfflineAI #MáyTínhCũ #ĐồHọa2GB"

https://www.reddit.com/r/LocalLLaMA/comments/1ouk53u/local_multimodel_ai_that_runs_on_a_toaster/

Liệu Kimi K2 Thinking có hoạt động tốt ở mức lượng tử 2.5-3.5 bit/weight không? Được biết model này nguyên bản 4-bit. So sánh với DeepSeek models (8-bit nguyên bản) vẫn hiệu quả ở ~3bpw. Người dùng đã thử Q2_K_XL (3bpw) locally và thấy khá tốt, nhưng chưa thể so sánh với native 4-bit. Thảo luận trên r/LocalLLaMA về hiệu suất quantization. #quantization #AI #machinelearning #KimiK2 #DeepSeek #localAI #modeloptimization #Quantisierung #KünstlicheIntelligenz

https://www.reddit.com/r/LocalLLaMA/com

Tranh luận: 16GB là điểm ngọt ngào cho chạy tác nhân cục bộ trong tương lai. Các nhà xây dựng tác nhân nhận ra rằng đa số nhiệm vụ là chuyên biệt và lặp lại, không cần mô hình chung lớn. #AI #TríTuệNhânTạo #LocalAI #TácNhânCụcBộ

https://www.reddit.com/r/LocalLLaMA/comments/1os1qf1/debate_16gb_is_the_sweet_spot_for_running_local/

Tương lai AI có thể không còn phụ thuộc vào đám mây. Thay vào đó, chip AI cục bộ sẽ chạy các mô hình, giữ dữ liệu riêng tư và giảm tải hạ tầng. Các thiết bị sẽ kết nối qua "lưới thông minh không dây" chia sẻ năng lượng & dữ liệu. AI sẽ phi tập trung, riêng tư & tự duy trì, hiện diện khắp nơi.

#AI #DecentralizedAI #LocalAI #FutureTech #CôngNghệ #TríTuệNhânTạo #AIPhânTán

https://www.reddit.com/r/LocalLLaMA/comments/1orw7zk/what_if_ai_didnt_live_in_the_cloud_anymore/

Small LLMs: rẻ, nhanh, giữ được năng lực. Chạy nội bộ, tiết kiệm GPU, giảm latency, tăng quyền riêng tư. Tối ưu cho FAQ chatbot, phân loại hồ sơ, tóm tắt tài liệu. Có thể fine‑tune dễ với LoRA. Xu hướng: mô hình “nhỏ mà khỏe” thay thế LLM nặng. #AI #LLM #SmallLLM #SLM #RAG #Privacy #EdgeAI #FinTech #HealthTech #EdTech #Quantization #Distillation #AIEfficiency #LocalAI #GenAI #Robotics #Optimization
#TríTuệNhânTạo #MáyHọc #CôngNghệ #KinhTếSố #KỹThuật #PhânTích #BảoMật #TuânThủ #TốiƯu #PhânPhối #T

Một dự án Python tạo AI agent tin tức riêng tư, chạy trực tiếp trên NPU của Qualcomm với Nexa SDK & Gradio UI. Hoàn toàn riêng tư, không API, không server. Agent đọc tin tức AI, ghi chú, và có thể mở rộng thành trợ lý cá nhân. Sử dụng mô hình Granite-4-Micro-NPU (~3B).
#AI #Python #NPU #PrivateAI #LocalAI #AInews #SideProject #CôngNghệ #TríTuệNhânTạo #DựÁnPython

https://www.reddit.com/r/SideProject/comments/1or5ws8/quick_python_project_build_a_private_ai_news/

Mô hình AI ngày càng lớn (ví dụ Gemini-3 có thể 1.2 TB), khiến việc chạy cục bộ trên GPU truyền thống khó khăn. Bộ nhớ hợp nhất (unified memory) được đề xuất là giải pháp tương lai. Apple và AMD (Strix Halo) đang đi đúng hướng. Xu hướng dài hạn có thể là tính toán trong bộ nhớ.

#AI #LocalAI #UnifiedMemory #Apple #AMD #CôngNghệ #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1oph7jd/unified_memory_is_the_future_not_gpu_for_local_ai/

Tom’s Hardware: PewDiePie goes all-in on self-hosting AI using modded GPUs, with plans to build his own model soon — YouTuber pits multiple chatbots against each other to find the best answers. “Running open-source models from Baidu and OpenAI, PewDiePie made a ‘council’ of bots that voted on the best responses, and then built “The Swarm” for data collection that will become the foundation of […]

https://rbfirehose.com/2025/11/04/toms-hardware-pewdiepie-goes-all-in-on-self-hosting-ai-using-modded-gpus-with-plans-to-build-his-own-model-soon-youtuber-pits-multiple-chatbots-against-each-other-to-find-the-best-answer/

Has anybody told PewDiePie about sleeper agents?

#pewdiepie #AI #local #localAI

Tuần qua trong AI đa phương thức - Phiên bản địa phương: Emu3.5, NVIDIA Surgical Qwen2.5-VL, ChronoEdit, Wan2GP, LongCat-Flash-Omni và Ming-flash-omni đều chạy được trên phần cứng tiêu dùng. Các mô hình AI đa phương thức mạnh mẽ giờ đây có thể hoạt động cục bộ.

#AI #MultimodalAI #LocalAI #AIVietnam #AIđaviệc

https://www.reddit.com/r/LocalLLaMA/comments/1onobpg/last_week_in_multimodal_ai_local_edition/