For my #FIAF presentation & workshop in Bologna end of the week, I've put together a clean "#PlugAndPlayAI" setup:
#USB #LiveDistro: #MXLinux #GNU #Debian with #Ollama, #LLava and #OpenWebUI in #Docker and #LLM files on another USB3 #nvme
Fast like a local install. Given enough RAM and CPU/GPU.
Scary how easy it is to do that.
Bonus: Creates self-replicating #ISO boot images of itself (in current configuration) in less than 5 minutes. 🤯 😎 .
Wow.
Managed to sort out a remotely accessible LLM on one of my computers before heading out this morning. Next step is sorting it on my older Macbook Pro (smaller quantized models work on it so far).
Im Blogpost hats jetzt ein Update drin, wie man sich eine fancy Oberfläche bastelt, dass die lokale KI aussieht wie "richtig".
Je commence un nouveau petit side project « Setup une instance personnelle d'Open WebUI connectée à OpenRouter »
#OpenWebUI + #ollama + #qwen3 = 🥰
leute, wenn ihr #KI zeugs machen wollt, holt euch ne rtx 3060, die hat 12GB vram und kostet noch so 250.- und installiert openwebui mit docker
ihr könnt auch 2 holen dann habt ihr 24GB (ollama kann das so nutzen), immer noch billiger ist als die billigste mit 24GB
AI Attacks AI: Open WebUI Interface Used By Popular AI Chatbots Breached by Malware
#AI #AISecurity #Cybersecurity #Malware #AIThreats #OpenWebUI #CyberAttack #Infosec #AICybersecurity #ThreatIntel #Vulnerabilities
I went to the limit for what #openwebui offers to my #sovereignAI, NGL thing is nifty but kinda shoddy sometimes...
Like a voice control so sensitive that ANY movement pauses answers, defeating the whole point of using voice while walking, in a cafe, cleaning, etc.
Reddit community is kinda ineffective, so now I'm writing straight on repo, as issues
From OpenWebUI:
> 🦻 Screen Reader Support for Response Messages
All chat responses are now fully compatible with screen readers, making the platform more inclusive and accessible for everyone.
Well um, I mean, I don't use a hearing aid... But um, that's... Good... I'll see if it works.
The added "knowledge" in #openwebui is a 8kB text file from Wikipedia. Tinyllama is finally able to read it through.
Llama has not got that "knowledge" and is luckily honest about that.
#llm #ollama #Llama3 #nixos #proxmox #openwebui #nvidia #Nvidia #a4000 #GPU #tailnet #tailscale #pciepassthrough #HomeLab #SelfHost #SelfHosting #AI #vm #NixOS
https://youtu.be/9hni6rLfMTg
Naším cieľom bolo vytvoriť bezpečné, lokálne a dostupné AI riešenie pre vývojárov a interný tím bez závislosti na externých cloud službách. Projekt je vytváraný v spolupráci s AI agentom. Texty sú generované pomocou AI agenta.
https://www.mitim.net/.../lokalne-ai-modely-alebo-ako-sme...
#AI #UmelaInteligencia #ChatGPT #Gemini #DeepSeek #OpenWebUI #Ollama
oh geil
qwen3 14b läuft auf meiner 3060 😎
hm, ich glaube ich versuche mal #MCP in #OpenWebUI zu integrieren
gibts da schon step-by-step tutorials?
also ich meine andere als das auf der ofiziellen openwebui seite
Starting a #thread where I document the experiences with #openwebui project with #ollama and #phi3 #deepseek and others....
Распределённый инференс и шардирование LLM. Часть 3: настройка авторизации и интеграция с Open WebUI
Мы с вами подобрались к заключительной части статьи-инструкции об организации распределённого инференса и шардирования LLM в домашних условиях. Осталось совсем чуть-чуть — в финальной главе разберёмся, как развернуть Open WebUI через Helm и связать его с нашим Ray-кластером. Это даст возможность настроить авторизацию и удобный интерфейс для взаимодействия с нашей моделью. В конце статьи попросим домашнюю LLM подвести итоги всей проделанной работы, а также поговорим о планах по развитию проекта.
Run Offline #ChatGPT Like #ai on Your Machine Using #docker
https://blog.samuraihack.win/posts/run-offline-chatgpt-like-ai-on-your-machine-using-docker/
#openwebui #llm
Was passiert, wenn Claude, Gemini & #Ollama gleichzeitig antworten? Jean-Claude Brantschen zeigt, wie du alle #LLMs in #OpenWebUI steuerst – ohne Toolwechsel, mit parallelen Prompts an alle Modelle.
Jetzt lesen & nachbauen: https://javapro.io/de/remote-llms/
Teraz czas na zabawę.
#n8n, #NextCloud i #OpenWebUI postawione na #Raspberrypi5 i połączone ze światem zewnętrznym tunelem #Cloudflare 😎
#linux🐧
Self-hosted #LLM's are so much fun, and I am very impressed how quickly FOSS ecosystem caught up with it.
I just installed #OpenWebUI [0] + #Ollama [1] (bundled) to my midsize VPS tonight in less than 30 mins and was able to run small (≤ 3b) models on *CPU* with good performance.
Teraz czas na zabawę. #n8n, #NextCloud i #OpenWebUI postawione na #Raspberrypi5 i połączone ze światem zewnętrznym tunelem #Cloudflare 😎 #linux🐧
[Перевод] От MCP до мультиагентов: 10 opensource проектов ИИ на GitHub и почему это важно
Группа экспертов GitHub провела анализ AI проектов, созданных за последние 99 дней, учитывая факторы, такие как количество звезд в день, форки, всплески трафика и активность контрибьюторов. Ниже мы расскажем вам об этих проектах и обсудим почему, по нашему мнению, они важны для индустрии AI.
https://habr.com/ru/articles/907444/
#искусственный_интеллект #агенты_ии #mcp #opensource #OpenWebUI #Unbody #OWL #mcptools #VoiceStar #SecondMe
