Lmst

I tried #JanAI (an app that lets you run #LLM models on local computers so you can have a private #AI assistant).

Was thinking it could be interesting to experiment with this for prose text summaries/analysis.

However, Jan's document parsing is "experimental". Can't attach plain text files (why). Could drag in PDFs. Fine, whatever. "Can you do chapter by chapter summaries of this manuscript of mine" basically did some really weird #aihallucinations based on things that may have been referenced in the text. The overall plot summary was interesting, too bad it was had little to no resemblance to the novel I wrote.

I couldn't resist seeing if, since this is a locally running AI, it could talk about naughty sexy things. "Can't generate anything explicit", the default Llama said. Fine, whatever. Downloaded some "NSFW" model. It generated janky garbage and said "f*ck" a lot, and I do mean literally "f*ck", which messed up the Markdown formatting completely.

This technology is improving but still has a way to go

起初 #LmStudio 對Linux支持一般，所以一直在用 #JanAi 但現在支持得很好了，在Linux上面也有 CPU/Vulkan/CUDDA 三種backend，雖然Vulkan速度一般但至少amd卡也能用

Haluatko ajaa tekoälymalleja suoraan omalla tietokoneellasi ilman, että tietosi lähtevät mihinkään? Tässä videossa näytän yksinkertaisimman tavan asentaa ja käyttää paikallisia tekoälyjä, mukaan lukien DeepSeek ja Llama-mallit. Käyn läpi lataamisen, asentamisen ja mallien käyttämisen sekä puhumme hieman siitä miten hyvin ne toimivat. 👉 https://youtu.be/VZrQc_EbFao

Katso video ja testaa itse!

#tekoäly #deepseek #janai #Llama3 #tietosuoja
https://youtu.be/VZrQc_EbFao

@papageier Ja, Jan.ai arbeitet auch mit .gguf Files die man sogar von LMStudio importieren kann.

Allerdings stelle ich grade fest, das JanAI mit dem gleichen Model viel langsamer ist als LMStudio.
Liegt vielleicht daran dass JanAI meine GPU nicht erkannt hat im Gegensatz zu LMStudio.

#LMStudio
#JanAI
#gguf #LLM

@papageier Nutzt Jan.ai genau so wie LMStudio .gguf Modeldateien?

#janai
#lmstudio
#llm

Habe heute lokale #KI-Chatbots ausprobiert, mit #JanAI auf einem mittelalten Gaming-Laptop. Läuft super! 😁

Auch wenn sich dieses KI-Zeugs für Menschen, die mit imperativer Programmierung aufgewachsen sind, irgendwie immer noch wie eine Mischung aus Nekromantie und Bauernfängerei anfühlt. So sollten Rechner einfach nicht funktionieren. 😅🤣

https://jan.ai/

5/ Jan AI: Offers a user-friendly interface and runs on multiple OS. Known for its elegant and clean UI. #JanAI #AI #LocalLLM jan.ai

Turn your computer into an AI ...