hui, ministral-3 mit kontext 32k füllt mein vRAM bis auf 100MB (12GB RTX 3060) 🙃

hat aber mein (eher einfaches) bullshitbingo php projekt 1a analysiert
#KI #homelab #nanocoder #ollama #ministral

Hab auf #ollama das laut ollama.com 2 Monate alte Ministral3 installiert und laufen lassen. Das Modell ist auf dem Stand von Oktober 2023. Leider kann man der offiziellen Seite nur entnehmen, seit wann das Modell zur Verfügung steht und nicht auf welchem Stand es ist.
#raspberrypi #ki #llm #ministral

I've added an interactive client script today. Makes it easier to play around and discover all the ways to break our little assistant:

#GISChat #QGIS #FastMCP #ministral

yes - habs mit #opencoder endlich geschafft dass #ministral 8B #code für mich schreibt...
... also tatsächlich in eine datei schreibt

jetzt muss ich nur noch gucken ob das mit #nanocoder auch funktioniert
#KI #homelab

exllamav3 đã cập nhật, bổ sung hỗ trợ cho các mô hình AI mới như GLM 4.7, GLM 4.6V, Ministral và OLMO 3. Đây là tin tức tuyệt vời cho cộng đồng AI địa phương!
#exllamav3 #AI #LLM #GLM #Ministral #OLMO3 #LocalAI #MôHìnhAI #TríTuệNhânTạo #HỗTrợAI

https://www.reddit.com/r/LocalLLaMA/comments/1ptom2s/exllamav3_adds_support_for_glm_47_and_46v/

exllamav3 cập nhật hỗ trợ GLM 4.7, 4.6V, Ministral và OLMO 3 #exllamav3 #GLM #Ministral #OLMO #AI #TríTuệNhânTạo #CậpNhậtMới #HỗTrợMới #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1ptom2s/exllamav3_adds_support_for_glm_47_and_46v/

Anyone who wants Edge LLM on their iPhone but has an iPhone < 15 Pro like me: you can run #Ministral 3B through Locally AI app, which is quite good and even has vision capabilities. Offline summarization, data extraction, image description etc.! Also, it was created by an EU company 🇪🇺

Mit dem aktuellen Update der #LMStudio #MLX Runtime (0.36.1) laufen seit heute auch die Ministral- und Devstral-Modelle im entsprechenden Format.

ministral-3-14b-reasoning liefert dabei auf meinem 2022er MacBook Pro M1 brauchbare 16tok/sec - dem #LLM beim "Denken" zuzugucken ist dabei recht amüsant: Im Vergleich zu anderen Reasoning-Modellen finde ich es irgendwie sympathisch "verkopft" und unentschlossen.

#ministral #devstral

#Qwen3 原版的 Q4KM 和 #Unsolth 的Q4 UD版體積只差一點點，但 #Ministral 3 3B則差了大概1G

試用了一下 #Ministral 3 3B 對比 #Qwen3 4b 2507，Qwen3的中文寫作能力要好一點。還測試了 #Unsolth 的Q4 UD版，使用上沒感覺到任何區別，但它的Q4體積會大一點，在我的8G A2000顯卡上運行有點壓力

Только недавно мысленно грустил о том, что давно не выходило значительных открытых LLM, которые можно селфхостить как подвезли Ministral 3.

Надо будет попробовать её в Home Assistant. На первый взгляд выглядит неплохо: даже 3B модель умеет в tool calling и даже такая маленькая версия прилично говорит по-русски.

#LLM #log #news #Mistral #home #HomeAssistant #voice #Ministral

Ministral 3 được cắt giảm từ Mistral Small 3.1 #Mistral #Ministral #AI #TríTuệNhânTạo #LLaMA #MachineLearning #HọcMáy

https://www.reddit.com/r/LocalLLaMA/comments/1pcjqjs/ministral_3_models_were_pruned_from_mistral_small/

Today, websites load hundreds of scripts for ad tracking.

Tomorrow, every website will load their own LLM into your browser.

This is the new #Mistral 3B model running in WebGPU, loaded to my Chrome in a few seconds, live streaming my webcam, reliably detecting objects in the video stream.

It's wonderful and scary. Like technology often is.

Try #Ministral #WebGPU demo on #HuggingFace: https://huggingface.co/spaces/mistralai/Ministral_3B_WebGPU

因為某篇文章提到 Google 的開源 #LLM - #Gemma 2 2B 與 9B 很適合用來做翻譯，便拿來測試看看。

測試的方式是拿一段英文翻譯為繁體中文。
2B 參數的版本不支援繁體中文，而 9B 的版本支援，翻譯的品質還是勉勉強強，這是跟 DeepL 相比。

除此之外還順便測試 Mistral 最新的 #Ministral ，他們的介紹網頁上表示 Ministral 3B 的多語言的評分比 Gemma 2 2B 高，測試輸出繁體中文還是會出現一些簡體，而翻譯的品質則完全比不上 Gemma 2。

看來很適合拿 Gemma 2 微調專門作為翻譯使用。

🧠 La competizione sui #LLM "piccoli" inizia a diventare interessante quanto quella sui modelli "grandi".
✨ #Mistral rilascia due nuovi modelli destinati all'elaborazione on-device e a casi d'uso at-the-edge: #Ministral 3B e 8B.
👉 Offrono prestazioni avanzate in ambiti come la comprensione del contesto, il "ragionamento" e l'efficienza, con contesti fino a 128k token. 
💡 Sono pensati per applicazioni come traduzione on-device, assistenti intelligenti offline e robotica autonoma. 

#AI #GenAI