[Перевод] Разбираемся с суффиксами квантования LLM: что на самом деле значат Q4_K_M, Q6_K и Q8_0

Привет! Задумывались, какую версию квантованной LLM выбрать: Q4_K_M, Q6_K или Q8_0? Насколько Q6_K хуже справляется с задачами по сравнению с Q8_0? И что вообще означают все эти буквы в суффиксах? Примечание: это адаптированный перевод моей статьи на Medium. Перевод был сделан при помощи мозга, а не нейросетей или Google Translate. Узнать чуть больше про квантование LLM

https://habr.com/ru/articles/918936/

#ai #ml #llm #llmмодели #llmприложения #llmархитектура #квантование #искусственный_интеллект #ии #ии_и_машинное_обучение

[Перевод] Разбираемся с суффиксами квантования LLM: что на самом деле значат Q4_K_M, Q6_K и Q8_0

Привет! Задумывались, какую версию квантованной LLM выбрать: Q4_K_M, Q6_K или Q8_0? Насколько Q6_K хуже справляется с задачами по сравнению с Q8_0? И что вообще означают все эти буквы в суффиксах? Примечание: это адаптированный перевод моей статьи на Medium. Перевод был сделан при помощи мозга, а не нейросетей или Google Translate. Узнать чуть больше про квантование LLM

https://habr.com/ru/articles/918936/

#ai #ml #llm #llmмодели #llmприложения #llmархитектура #квантование #искусственный_интеллект #ии #ии_и_машинное_обучение

Как все рынки мира оказались уязвимы конкуренции с любым умным айтишником

история о том, как в текущем моменте истории, по сути любой разработчик может в одиночку задизраптить любой вертикальный рынок и даже отрасль

https://habr.com/ru/articles/912686/

#продукт #фриланс #ииагенты #мультиагентные_системы #мультиагентная_система #llm #llmархитектура #llmприложения #mcpserver #mcp

[Перевод] Часть 4. Обзор технологий RAG для LLM: аугментация извлеченных данных

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь , на вторую часть — здесь , третью часть — здесь ). В этой, четвертой части авторы совсем скромненько, словно тренировались заполнять налоговую декларацию, разбирают технологии аугментации извлеченных данных. Поскольку без пояснительной бригады часть их информации оказалась для меня совершенной абракадаброй (напомню, я — переводчик, то бишь гуманитарий) , я не поленился пройтись по упомянутым авторами ссылочкам на исследования, взять оттуда схемки и картинки, и добавил их к этой части тоже. Надеюсь, с ними рассуждения и наблюдения авторов будут значительно прозрачнее. Поехали! Прочитать остальные буквы

https://habr.com/ru/articles/910162/

#языковые_модели #llm #llmмодели #llmприложения #llmагент #llmархитектура #rag #rag_pipeline #retrieval_augmented_generation #retrieval

[Перевод] Часть 3. Обзор технологий RAG для LLM: оптимизация извлеченных данных

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь , на вторую часть — здесь ) Во этой, третьей части авторы совсем кратенько разбирают технологии оптимизации извлеченных данных .

https://habr.com/ru/articles/904232/

#языковые_модели #llm #llmмодели #llmархитектура #llmагент #llmприложения #rag_pipeline #rag #terminology

[Перевод] Часть 2. Обзор технологий RAG для LLM: поиск и извлечение информации

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (первую часть см. здесь ) Во второй части авторы разбирают технологии оптимизации поиска и извлечения данных. Поскольку материал я готовил в первую очередь для начинающих ИТ-переводчиков, сложные и специальные термины я сопровождал английским переводом и краткими пояснениями в скобках. Картинок не было.

https://habr.com/ru/articles/902976/

#языковые_модели #llm #llmмодели #llmархитектура #llmагент #llmприложения #rag #terminology

Сравнение low-code редакторов для разработки приложений на основе LLM

Привет, Habr! Наша команда LLM-разработки подготовила статью с анализом low-code редакторов для разработки пайплайнов на базе LLM-моделей. Тема сравнения редакторов назревала давно, так как мы активно используем данные инструменты в своей работе и зачастую сталкиваемся с различными ограничениями решений. Данная статья будет полезна командам, которые только выбирают среду разработки пайплайнов для своих LLM-приложений и ИИ-агентов, а также тем, кто ищет лучший редактор для решения своих задач. Введение В эпоху стремительного развития технологий, когда скорость вывода продуктов на рынок становится ключевым фактором успеха (TTM), традиционные методы разработки программного обеспечения сталкиваются с новыми вызовами. Одним из наиболее перспективных решений является использование low-code платформ — инструментов, позволяющих создавать приложения с минимальным количеством написания кода вручную. Особенно интересными становятся low-code редакторы, интегрированные с большими языковыми моделями (LLM),которые позволяют автоматизировать разработку и повысить эффективность работы разработчиков. Цель данной статьи — провести сравнительный анализ четырех популярных low-code редакторов: Flowise, LangFlow, n8n и Dify. Эти платформы предоставляют различные подходы к созданию приложений на основе LLM, каждая из которых имеет свои уникальные особенности и преимущества. 1. Описание приложений на основе LLM (основные виды, обзор рынка) Приложения на основе больших языковых моделей (LLM) представляют собой относительно новый класс программного обеспечения, которое способно решать множество задач благодаря использованию мощных алгоритмов машинного обучения. В контексте low-code редакторов, LLM играют ключевую роль в автоматизации процессов разработки, позволяя создавать функциональные приложения с минимальными затратами времени и усилий.

https://habr.com/ru/articles/898062/

#ииагенты #lowcode #n8n #flowise #llmприложения #llmмодели #llm #llmархитектура #langflow #Dify

Зачем бизнесу LLM: стратегический взгляд

Как крупные языковые модели экономят деньги , ускоряют работу и дают преимущество. Простые шаги внедрения и реальные кейсы — для компаний любого размера.

https://habr.com/ru/articles/892956/

#llmархитектура #llmприложения #ии #ии_чатбот #ииассистент #roi #инновации #стратегия #внедрение #экономия

Квантизация

Если вы кликнули на данную статью, то скорее всего вы знаете, что в последнее время появляется огромное количество нейронных сетей. Они находят применение везде: и в задачах компьютерного зрения (Computer Vision, CV), и в обработке естественного языка (Natural Language Processing, NLP), распознавания и генерации речи (Speech-To-Text, STT; Text-To-Speech, TTS). Но есть что-то, что объединяет их все: у любой нейронной сети есть веса. И нам их, очевидно, нужно хранить и применять. Так как мы это делаем? Если вы хорошо слушали и не забыли школьную информатику, вы скажете: в битах! И будете абсолютно правы. А сколько бит надо на хранение? Если мы возьмем какую-то стандартную библиотеку для обучения нейронных сетей (например PyTorch) и будем обучать модель самым простым образом, мы будем использовать тип данных FP32, он же Single precision. На каждое число мы будем выделять 32 бита. Тем не менее, сейчас стремительно набрали популярность большие языковые модели (Large Language Model, LLM), и в них огромное количество параметров. Недавно вышедшая модель от DeepSeek содержит порядка 671 млрд параметров. Можно оценить количество памяти, которая нам понадобится, если хранить все эти числа в FP32:

https://habr.com/ru/articles/887466/

#квантизация #llm #llmмодели #llmархитектура #швм #школа_высшей_математики #оптимизация #оптимизация_моделей #ускорение_нейросетей

Как научить модель рассуждать, не переобучая её, меньше чем за 10$

Это статья обобщение моего исследования передачи знаний от большой модели с замороженными весами в малую модель, которую мы будем обучать через расширенный механизм кросс внимания или проще говоря через LLM модули. Оригинальное исследование доступно по ссылке: arxiv.org/abs/2502.08213 . Репозиторий с кодом и весами доступен на Hugging Face: LLM модули . Само исследование появилось из необходимости использовать знания больших обученных моделей в ограниченных рамках для четкого списка задач, при этом ни бюджета ни мощностей на файн-тюнинг моделей, даже не слишком больших, нет.

https://habr.com/ru/articles/882362/

#llm #llmмодели #llmархитектура