LM Studio 0.4.0
https://lmstudio.ai/blog/0.4.0
#ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx
#LM_Studio
История о том как «Очень хочется, но ты зеленый»
Хочется сделать проект с ИИ, но нет ни бюджета, ни опыта в ML, ни мощного железа? В этой статье я расскажу, как, работая системным администратором и имея нулевые знания Python, собрал локального ИИ-бота для анализа резюме. Без облаков, платных API и «магии». Речь пойдёт о реальном опыте: выборе модели, запуске LLM на слабой видеокарте, интеграции с Telegram и о том, какие задачи такой бот действительно может решать в работе HR и руководителей. А также — что это дало мне как специалисту и почему подобные эксперименты полезны, даже если ты пока «зелёный».
https://habr.com/ru/articles/986018/
#Сезон_ИИ_в_разработке #телеграммбот #python #lm_studio #hr_в_it #hrтехнологии #искусственный_интеллект #разработка #api #http
Мой опыт настройки и использования AI инструментов в разработке
Локальные LLM для кода — пока мусор. По крайней мере на M1 Max 32GB Тестировал 5 моделей на реальном проекте. Результат: qwen3-coder-30b - завис после 44k токенов qwen2.5-coder-14b - ушёл в бесконечные вопросы qwen3-8b - пыталась выполнить list_files в терминале deepseek-coder - сломал файл со второй попытки При этом DeepSeek через API за 95₽ сделал три валидных изменения за 11 минут. Вывод: если нет жёстких требований к конфиденциальности - не мучайте свое железо. Claude Code или облачный DeepSeek работают в разы лучше. Подробный разбор с промптами, настройками и ценами провайдеров в статье. Перейти
https://habr.com/ru/articles/973404/
#cursor #claude_code #deepseek #qwen #qwen3coder #kiro #perplexity #gemini #lm_studio #mcp
Вайб-кодинг от-кутюр: MCP-сервер проверки и запуска кода на Питоне
При вайб-кодинге, то есть разработке с использованием ИИ, локальная нейросеть предлагает Python-скрипт для решения задачи, но нужна уверенность в его корректности и безопасности. Прямой запуск такого кода на рабочей машине это риск для системы и данных. Значит MCP-сервер должен учитывать это. Посмотрим как устроен такой сервер, какие подводные камни могут встретиться и как интегрировать его с локальной LLM. Статья является документированным описанием проекта MCP-сервера, инструмента LLM, предоставляющего две функции: проверку синтаксиса и безопасное выполнение кода в изолированной песочнице. Исходники выложены на github .
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang
В этой статье будет приведено практическое руководство по базовой настройке и запуску следующих инструментов для работы с LLM: Ollama, LM Studio, vLLM, Triton, llama.cpp, SGLang. 🔥 Начинаем? 🔥
https://habr.com/ru/articles/948934/
#ollama #vllm #triton #lm_studio #llamacpp #sglang #запуск_llm
Nvidia CMP – микроскопы для забивания гвоздей?! Копаем глубже…
Почему видеокарта, имеющая неплохие вычислительные возможности, в Stable Diffusion работает в 20 раз медленнее, чем RTX 3060? Почему в LM Studio она становится фаворитом, а в ComfyUI карета превращается в тыкву? Почему FurMark на CMP 90HX тормозит, а на CMP 50HX «бублик» крутится почти нормально? Разгадки в разных программных ограничениях, которые можно найти с помощью экспериментов. Я купил три майнинговые карты Nvidia, чтобы понять, можно ли заставить их эффективно работать. В этот раз мы рассмотрим: статистику производительности в LM Studio, как всё печально в ComfyUI и Stable Diffusion, анатомию программного кода GPU, почему оптимизации производительности дают на CMP обратный эффект, какие режимы вычислений могут раскрыть их потенциал.
https://habr.com/ru/articles/948396/
#llm #nvidia #cmp #50hx #90hx #lm_studio #майнинг #cuda #cublas #40hx
Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 50HX, CMP 90HX
Теоретическая производительность майнинговых карт весьма высока, но синтетические тесты показывают, что они в 10 раз слабее игровых - где же правда? На практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов. Так что же они могут?
https://habr.com/ru/articles/940226/
#ollama #llm #fp16 #nvidia #cmp #50HX #90HX #майнинг #искусственный_интеллект #lm_studio
Учим LM Studio ходить в интернет при ответах на вопросы
Мне очень нравится LM Studio, так как она позволяет локально запускать ИИ модели. Что позволяет сохранить приватность того о чем ты беседуешь с ИИ. Но по сравнению с коммерческими онлайн моделями, LM Studio не умеет ходить в интернет "из коробки". Те модели не могут использовать актуальную информацию из Интернета для ответов на вопросы. Не так давно в LM Studio было добавлено возможность подключать MCP-сервера к моделям. Самое первое, что я сделал это, написал небольшой MCP-сервер, который позволяет извлекать текст из URL-адреса. Также может извлекать ссылки, которые есть на странице. Это дает возможность в запросе к ИИ указать адрес и попросить извлечь текст оттуда или ссылки, что бы использовать при ответе. Что бы это все работало, для начала создаем pyproject.toml в папке mcp-server .
Function Calling (Tool use)とRAGで外部情報を利用する
https://gihyo.jp/article/2025/07/start-java-ai-programming-03?utm_source=feed
#gihyo #技術評論社 #gihyo_jp #Java #AI #LLM #LM_Studio #LangChain4J #RAG #Function_Colling #Tool_Use
Как запустить нейросеть у себя на компьютере: 4 простых инструмента
Вы когда‑нибудь задумывались, как это — иметь мощь языковой модели прямо на вашем компьютере? Экспериментировать с LLM (большими языковыми моделями) локально — словно открыть тайную дверь в мир ИИ... Вам открыт широкий горизонт для исследований, творчества и практического применения. Но как запустить нейросеть на компьютере , если вы не Google? Хорошая новость: в 2025 году это стало проще и доступнее, чем когда‑либо! Вам не нужен суперкомпьютер (хотя мощная видеокарта значительно ускорит процесс) . Современные эффективные модели и специализированное ПО делают локальный запуск нейросети реальностью для многих пользователей. Давайте разберёмся, что для этого нужно. Мы рассмотрим 7 наиболее оптимальных для локального запуска моделей — Llama ✶ , Qwen, DeepSeek, Phi, Gemma, Mistral, Granite, — а также 4 быстрые и удобные программы: Ollama, LM Studio, Jan и GPT4All .
https://habr.com/ru/companies/bothub/articles/931730/
#локальный_запуск_нейросетей #ollama #lm_studio #jan #gpt4all
Docker MCP ToolkitでLM Studioが利用可能に
https://gihyo.jp/article/2025/07/lmstudio-on-docker-mcp-toolkit?utm_source=feed
Георгий Герганов, автор llama.cpp и звукового кейлогера
Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.
https://habr.com/ru/companies/ruvds/articles/923304/
#llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра
Георгий Герганов, автор llama.cpp и звукового кейлогера
Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.
https://habr.com/ru/companies/ruvds/articles/923304/
#llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра
Как ИИ помогает мне в разработке?
Привет, это снова oldzoomer, и сейчас я расскажу, как ИИ помогает мне освободить себя от рутинных задач, и заниматься исключительно любимым делом.
Локально, быстро, бесплатно: запустил Gemma 3 12B на макбуке за 15 минут
Gemma 3 12B — мощная ИИ-модель с 12 миллиардами параметров, которая не требует серверов или облака. Работает прямо на Mac без лишних настроек. Внутри — инструкция по установке, настройке и запуску Gemma 3 12B на macOS с LM Studio.
https://habr.com/ru/companies/minerva_media/articles/920946/
#gemma312b #gemma3 #ai #mac #macos #установка #инструкция #lm_studio #языковая_модель #llm
Запускаем DeepSeek-R1 на обычном сервере с 768Гб ОЗУ в LM-Studio
Если у вас нет парка видеокарт, но есть сервер с ОЗУ то не отчаивайтесь, вы тоже можете запустить DeepSeek R1 :-) Покажу на практике как легко и просто без использования командной строки запустить полноразмерную модель DeepSeek R1 на сервере с 768 гигами ОЗУ и что из этого получилось. Статья подойдет и для тех кто хочет и на домашнем компе запустить нейросети, но не знает с чего начать.
Does anyone know a way to run a very large #GGUF or #MLX pre-trained #AI model using sharding if it won't fit into unified memory? Speed isn't the goal; just loading. I tried a 250GB model with 72GB VRAM + 24GB RAM using the llama.cpp Metal-enabled runtime, but it didn't work in #LM_Studio even with "keep model in memory" off and "try mmap()" on.
Seems like swap or partial loading should be possible, esp. using #macOS dynamically-sized compressed swap. Thoughts?
Client Info
Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst