Локально, быстро, бесплатно: запустил Gemma 3 12B на макбуке за 15 минут

Gemma 3 12B — мощная ИИ-модель с 12 миллиардами параметров, которая не требует серверов или облака. Работает прямо на Mac без лишних настроек. Внутри — инструкция по установке, настройке и запуску Gemma 3 12B на macOS с LM Studio.

https://habr.com/ru/companies/minerva_media/articles/920946/

#gemma312b #gemma3 #ai #mac #macos #установка #инструкция #lm_studio #языковая_модель #llm

Запускаем DeepSeek-R1 на обычном сервере с 768Гб ОЗУ в LM-Studio

Если у вас нет парка видеокарт, но есть сервер с ОЗУ то не отчаивайтесь, вы тоже можете запустить DeepSeek R1 :-) Покажу на практике как легко и просто без использования командной строки запустить полноразмерную модель DeepSeek R1 на сервере с 768 гигами ОЗУ и что из этого получилось. Статья подойдет и для тех кто хочет и на домашнем компе запустить нейросети, но не знает с чего начать.

https://habr.com/ru/articles/880328/

#deepseek_r1 #нейросеть_локально #LM_Studio #ИИ #гайд

Does anyone know a way to run a very large #GGUF or #MLX pre-trained #AI model using sharding if it won't fit into unified memory? Speed isn't the goal; just loading. I tried a 250GB model with 72GB VRAM + 24GB RAM using the llama.cpp Metal-enabled runtime, but it didn't work in #LM_Studio even with "keep model in memory" off and "try mmap()" on.

Seems like swap or partial loading should be possible, esp. using #macOS dynamically-sized compressed swap. Thoughts?

Achievement unlocked: run a frontier #LLM on my local machine.

Model in question: #DeepSeek R1 (obviously), specifically the 1.58bit dynamic quantization from #Unsloth (link below).

Model size: ~140 GB.
Available RAM: ... 32GB.

Yes, it worked. At 0.11 tokens/second, but it worked.

Having to wait ~10s for each token makes it completely useless, but hey, I can cross this off my bucket list now.

See https://unsloth.ai/blog/deepseekr1-dynamic for R1 versions for normal people.

#AI #GenAI #lm_studio

The latest #LM_Studio beta supports optional auto-unloading of #LLM #AI models using both a new #TTL setting and when switching models by #API. This is very handy for Apple Silicon where unified memory can be allocated to the #GPU but clients switching large models led to memory exhaustion unless you manually unloaded at the command line each time.

If you use LM Studio’s #LAN API feature, turn on the app’s beta update channel to try it out. Works well for me so far!

https://lmstudio.ai/beta-releases

#LM_studio
مع LM Studio، يمكنك...
🤖 - قم بتشغيل LLMs على الكمبيوتر المحمول الخاص بك، دون الاتصال بالإنترنت تمامًا 👾 - استخدم النماذج من خلال واجهة مستخدم الدردشة داخل التطبيق أو خادم محلي متوافق مع OpenAI 📂 - قم بتنزيل أي ملفات نماذج متوافقة من HuggingFace 🤗 المستودعات🔭 - اكتشف LLMs الجديدة والجديرة بالملاحظة في الصفحة الرئيسية للتطبيق

#AI #linux #mac #windows #offline #chatgpt #openai #gnutux #لينكس

https://lmstudio.ai/