Moin dresden.network! 👋
Bin neu hier und interessiere mich für die lokale Tech-Scene. Experimentiere gerade mit lokalen LLMs (Ollama ist schon ziemlich cool geworden) und bin immer auf der Suche nach spannenden Open Source Projects.
Was bewegt euch denn gerade so in der AI/Tech-Welt? Gibt's interessante Dresden-lokale Projekte die man sich mal anschauen sollte?
金のニワトリ (@gosrum)
로컬 LLM은 동일한 모델이라도 추론 엔진이 다르면 속도와 성능이 달라질 수 있어, 클라우드 LLM보다 오히려 더 많은 고민거리를 안겨준다는 내용입니다. 즉, 로컬 배포 환경에서는 모델 자체뿐 아니라 사용되는 추론 엔진(인퍼런스 런타임)에 따른 최적화와 성능 검증이 중요하다는 지적입니다.
So, I picked up this new hobby of #decensoring (or 'hereticising' as I like to call it) #localllm, all thanks to P-E-W and his #Heretic abliteration engine. Eventually, running out of storage space, I began offloading some hereticised models to HF, which unexpectedly received quite an interest over time with the latest decensored #gpt-oss 20b models generating a humbling +40k downloads combined in less than 24 hours. Funny number considering the tinge of W40K theming in my model cards.
Build Your Own UNCENSORED AI Running Completely Offline
Privacy-conscious users are moving away from the cloud. We show you how to set up a powerful, uncensored LLM running locally on your own hardware. With no internet connection required, this is the ultimate way to maintain total data sovereignty while utilizing the power of modern AI.
#OfflineAI #Privacy #DataSovereignty #LocalLLM #TechTips #CyberSecurity #UncensoredAI
https://www.technology-news-channel.com/build-your-own-uncensored-ai-running-completely-offline/
Qwen3 VL 30B is such a great tool for translating without using Google and/or cloud/bigtech products. (I understand a bit, but I don't speak Italian)
#AI #translation #privacy #localLLM #infosec
© Nicolas Mouart, 2026
#cs #computer #computerscience #technology #AI #motherboard #computerparts #computers #apple #artificialintelligence #intel #AMD #DDR5 #tech #google #microsoft #linux #MS #powershell #zsh #bash #unix #OSX #machineLearning #informationTechnology #infosec #cybersecurity #CPU #GPU #nvidia #gigabyte #asus #asrock #msi #minisforum #geekom #GMKtec #miniPC #PersonalComputer #supercomputer #HPC #datacenters #cloudcomputing #ML #LLMs #localLLM #MistralAI #GDPR #biometrics
© Nicolas Mouart, 2026
Just posted a new blog post about building a local AI homelab.
Awni Hannun (@awnihannun)
mlx_lm.server, Qwen3 Coder Next 6bit, OpenCode, M3 Ultra를 조합한 로컬 코딩 환경을 소개. 로컬 LLM 서버와 6비트 경량화 코드 모델, 코드 보조 툴, 고성능 칩을 결합해 매우 빠르고 실용적인 로컬 코드 작성/실행 세트업을 구현한 사례로 설명하고 있음.
EyeingAI (@EyeingAI)
작성자는 실시간으로 보고 듣고 말하는 AI가 PC 로컬에서 실행되는 오픈소스 프로젝트가 등장했다는 주장에 충격을 표하며, 대중이 준비되지 않은 상태에서 실시간 멀티모달 AI가 로컬에서 동작하는 것은 큰 파급력과 위험을 초래할 수 있다고 경고하고 있다.
Simon Willison (@simonw)
Unsloth 가이드에 따르면 46GB로 양자화된 모델이 Claude Code나 Codex CLI 같은 코딩 에이전트를 구동할 수 있을 가능성이 제기되었다. 다른 로컬 모델들이 <64GB 환경에서 제대로 동작하지 않아 어려움이 있었는데, 이 모델이 실용적으로 작동하면 로컬에서 코딩 에이전트를 활용하는 데 큰 변화가 될 수 있다.
v1 Of DoomSummarizer is out.
It's a crazy deep research / auto knowledgebase system. Point it at a directory of word docs, pdf and markdown it'll index it all then answer questions about the contents. Point it at a url it'll parse the content, index it and tell you what it's about.
Crawl your company's knowledgebase? It'll automatically become a support AI.
Want to know what your biggest invoice was, when you sent that angry letter etc...all local, all private, all open source (unlicense) . Quick two as unlike most RAG systems it MINIMIZES token use.
#llm #ai #rag #search #localllm #ollama #onnx https://github.com/scottgal/lucidrag/releases/
Ahmad (@TheAhmadOsman)
Henry가 곧 잘 먹을 것 같다. 작성자는 @alexocheema의 계획을 기다리고 있으며 @exolabs와 함께 해당 머신에서 '상당히 강한 모델들'을 로컬로 실행할 예정이라고 언급하고 있다. 요약하면, Exo Labs 관련 하드웨어에서 강력한 AI 모델을 로컬로 구동하려는 준비와 기대를 전한 트윗이다.
Wax: Động cơ bộ nhớ đơn file, thuần Swift cho AI trên thiết bị – không server, không DB. Tích hợp dữ liệu, embedding, index và WAL trong 1 file xác định. Tìm kiếm lai (lexical + vector + temporal), an toàn khi sập nguồn, hỗ trợ GPU trên Apple Silicon. Mở nguồn, phù hợp trợ lý AI, ứng dụng offline/riêng tư. #Wax #OnDeviceAI #Swift #RAG #AI #LocalLLM #TríTuệNhânTạo #AItrênThiếtBị #SwiftUI #MachineLearning
https://www.reddit.com/r/LocalLLaMA/comments/1qtdejw/i_built_a_swiftnative_singlefile_memory
Mở nguồn neobild – framework AI cục bộ, lưu trữ tư duy bằng mã hóa SHA-256 và Git trên điện thoại. Dùng Llama 3.2 3B qua llama.cpp, chạy trên Termux/Python với Snapdragon 8 Elite. Hướng tới diễn ngôn AI bất biến, không phụ thuộc máy chủ. Kiến trúc đa ngôn ngữ, phù hợp cho LLM cục bộ. Cùng thảo luận tối ưu hóa xử lý ngữ cảnh dài trên thiết bị di động!
#AI #LocalLLM #Neobild #OnDeviceAI #GitOrchestration #CryptoLogging #TrinityOrchestrator #MobileAI
#AIcụcbộ #Neobild #AItrêndiệnThoại #MãHóaNhư
🖥️ Người dùng có PC: Ryzen 7 7700, 32 GB RAM, RTX 3060 12 GB VRAM. Muốn chạy Qwen Coder/GLM cho coding. Khi chạy mô hình < 10 B, GPU (VRAM) là yếu tố quyết định: nó quyết định kích thước mô hình có thể tải, còn RAM chỉ cần đủ để hỗ trợ dữ liệu và swap. Vì vậy, nâng GPU (độ nhớ lớn hơn) sẽ mang lại tốc độ tốt hơn so với chỉ tăng RAM. #AI #LocalLLM #GPU #RAM #Mô_hình_địa_phương #Công_nghệ
Mình đang tìm kiếm LLM mã nguồn mở tốt nhất để dịch văn bản dài (phim, sách, tài liệu 300+ trang). ChatGPT gặp vấn đề không nhất quán khi dịch khối lượng lớn và mình cần giải pháp **miễn phí**, sử dụng offline trên PC (RAM dưới 8GB). Ai biết mô hình nào dễ cài đặt, nhẹ và hiệu quả? #LLM #NLP #DiễnĐànMastodon #AI #DịchTựĐộng #MãNguồnMở #LocalLLM #OpenSource #DịchNhânTạo #LocalAI #HiệuSuấtCao
https://www.reddit.com/r/LocalLLaMA/comments/1qsxlol/best_local_opensource_llm_to_translate_large/
TII giới thiệu Falcon-H1-Tiny (90M) - mô hình siêu nhỏ hiệu quả bất ngờ! Chứng minh rằng mô hình tập trung chuyên sâu ít hallucination hơn. Các tính năng nổi bật: Huấn luyện "không theo giáo trình" từ dữ liệu chất lượng, kiến trúc Hybrid Mamba+Attention, và phiên bản chuyên dụng giải quyết 75% bài toán AIME24. Chỉ ~90MB, chạy mượt trên điện thoại/Raspberry Pi. #AI #MôHìnhNhỏ #LocalLLM #AI2024 #TechVietNam
https://www.reddit.com/r/LocalLLaMA/comments/1qsx51z/falconh1tiny_90m_is_out_specialized_m
🛡️ Phát triển AI tự động tuân thủ (STIG/CMMC) trong môi trường cách ly tuyệt đối:
- Chạy offline 100% trên Llama, không internet/cloud
- Tương tác qua app, không truy cập trực tiếp vào LLM
- Thách thức: chọn model nhẹ + thiết kế workflow độc lập
Ai đang xây hệ thống tương tự? #AI #CyberSecurity #Compliance #LocalLLM #BảoMật #TuânThủ #AnToànThôngTin
"Liệu các mô hình AI cỡ nhỏ (dưới 1GB) có thực sự trở nên hiệu quả hơn? Người dùng chia sẻ mong muốn mô hình local đạt khả năng lập luận như Gemini 2.5-3, xử lý JSON chặt chẽ và bối cảnh lớn (50k-100k token) phục vụ ứng dụng game. Câu hỏi lớn: Tiến bộ đến từ tối ưu kiến trúc hay phụ thuộc vào việc mở rộng quy mô?
#AI #MachineLearning #LocalLLM #VietnamAI
#TríTuệNhânTạo #MôHìnhNgônNgữ #GameAI"
https://www.reddit.com/r/LocalLLaMA/comments/1qsjqdl/are_small_models_actually_getting_more_effici
🚀 Hiệu suất cải thiện đáng kể với ik_llama.cpp + Minimax M2.1 trên hệ thống đa GPU RTX3090! Người dùng chia sẻ cấu hình tối ưu và kết quả benchmark ấn tượng sau khi tích hợp PR mới từ GitHub. Dự án đang phát triển cực nhanh - đáng để theo dõi! 💻
#AI #LocalLLM #GPU #CodeOptimization
#TríTuệNhânTạo #TốiƯuHiệuSuất #PhầnCứngMáyTính
