Выжимаем максимум из опенсорсных моделей и готовим Text2SQL

В любой крупной компании есть повторяющийся сценарий. Аналитик сидит над экспериментом или моделью, строит А/В тесты и дашборды, и в этот момент приходит бизнес и просит быстро посмотреть «продажи жвачки за вчера». Аналитик переключается, пишет запрос, отдаёт результат, а через десять минут прилетает почти такой же вопрос. Потом ещё один и ещё. День заканчивается, а свои задачи стоят и покрываются ржавчиной. Так выглядит ручной доступ к данным. Бизнес понимает, что нужные данные в хранилище есть, но не всегда может их быстро получить. А аналитик становится «бутылочным горлышком», через которое проходит большой поток запросов. Мы хотели упростить работу с данными. Чтобы пользователь задавал вопрос, сервис превращал его в SQL, выполнял в хранилище и возвращал аналитический ответ. Чтобы рутина уходила в инструмент, а аналитик переставал быть «бутылочным горлышком». Вроде ничего нового, но в реальной инфраструктуре вскрывается много интересного: специфическая лексика, свойственная каждому из направлений бизнеса, громоздкие витрины, опыт работы с легаси системами и поведение LLM, которую сначала надо надрессировать.

https://habr.com/ru/companies/oleg-bunin/articles/981494/

#text2sql #large_language_models #open_source_llm #qwen #gpt #аналитика_данных #bird #spider #prompt_engineering #prompt_injection

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

Generative AI with Large Language Models in C#in 2026
https://devblogs.microsoft.com/dotnet/generative-ai-with-large-language-models-in-dotnet-and-csharp/

#microsoft #NET #AI #Azure #C #azure_openai #ChatGPT #Csharp #generative_ai #large_language_models #rag #semantic_kernel

Do the thinking models think?
https://bytesauna.com/post/consciousness
#ycombinator #AI_consciousness #machine_intelligence #large_language_models #ChatGPT_thinking #AI_hallucinations #autocomplete_debate #philosophical_zombie #Turing_test #von_Neumann #Shannon #AI_reasoning #human_vs_machine_intelligence #bottom_up_thinking #top_down_thinking #AI_understanding #AI_limitations #AI_future #human_AI_collaboration #AI_capabilities #LLM_intelligence #AI_cognition #AGI_debate

Do the Thinking Models Actually Think?
https://bytesauna.com/post/consciousness
#ycombinator #AI_consciousness #machine_intelligence #large_language_models #ChatGPT_thinking #AI_hallucinations #autocomplete_debate #philosophical_zombie #Turing_test #von_Neumann #Shannon #AI_reasoning #human_vs_machine_intelligence #bottom_up_thinking #top_down_thinking #AI_understanding #AI_limitations #AI_future #human_AI_collaboration #AI_capabilities #LLM_intelligence #AI_cognition #AGI_debate

Law & Practice Ensemble RAG. Как создать ИИ-ассистента, помогающего решать многоаспектные юридические задачи

В первой части мы кратко рассмотрели предпосылки и последствия ИИ‑трансформации деятельности юристов, а также предложили вариант архитектуры продвинутой RAG‑системы, учитывающей особенности юридической предметной области. Во этой части мы проведем обзор общих и юридических бенчмарков, которые целесообразно учитывать при оценке технических компонент RAG, а также системы в целом. В заключение рассмотрим, как самостоятельно подготовить тестовый датасет для оценки RAG‑системы с помощью фреймворка RAGAS и разберем итоговые результаты эксперимента.

https://habr.com/ru/companies/otus/articles/946354/

#RAG #retrievalaugmented_generation #LLM #Large_Language_Models #Эмбеддинги #Векторные_базы_данных #Векторные_хранилища #Индексация #Ранжирование

Law & Practice Ensemble RAG. Как создать ассистента, помогающего решать многоаспектные юридические задачи

Большие языковые модели ( LLM ) в последние несколько лет являются ключевым направлением искусственного интеллекта. Дальнейшее развитие LLM, очевидно, меняет сам способ взаимодействия с технологиями , снижая порог входа для представителей всех профессий, в том числе исконно гуманитарных.

https://habr.com/ru/companies/otus/articles/946012/

#RAG #RetrievalAugmented_Generation #llm #Large_Language_Models #языковые_модели #трансформеры #finetuning #эмбеддинги #dense_retrieval

[Перевод] Карьера вайб-кодера — это тупик

Сразу расставлю все точки над «и»: LLM полезны. Вопрос не в том, могут ли LLM писать код, они на это способны. Вопрос в том, почему вайб-кодинг может оказаться вашей худшей карьерной инвестицией. Я начал замечать перемены, когда темы бесед разработчиков полностью поменялись. Теперь они обсуждают лишь то, как заставить Claude написать код за них. Или конечную цель: как заставить ИИ делать всё без вмешательства человека. До недавнего времени я по большей мере игнорировал этот ажиотаж. Я читал заголовки, время от времени просил Claude или ChatGPT помочь мне в отладке, но ничего больше. Пришла пора учиться вайб-кодингу!

https://habr.com/ru/articles/932442/

#вайбкодинг #large_language_models #большие_языковые_модели #vibecoding #llmагент

[Перевод] Карьера вайб-кодера — это тупик

Сразу расставлю все точки над «и»: LLM полезны. Вопрос не в том, могут ли LLM писать код, они на это способны. Вопрос в том, почему вайб-кодинг может оказаться вашей худшей карьерной инвестицией. Я начал замечать перемены, когда темы бесед разработчиков полностью поменялись. Теперь они обсуждают лишь то, как заставить Claude написать код за них. Или конечную цель: как заставить ИИ делать всё без вмешательства человека. До недавнего времени я по большей мере игнорировал этот ажиотаж. Я читал заголовки, время от времени просил Claude или ChatGPT помочь мне в отладке, но ничего больше. Пришла пора учиться вайб-кодингу!

https://habr.com/ru/articles/932442/

#вайбкодинг #large_language_models #большие_языковые_модели #vibecoding #llmагент

От мозга к мультиагентным системам: как устроены Foundation Agents нового поколения

Аналитический центр red_mad_robot разобрал объёмную научную статью «Advances and Challenges in Foundation Agents» от группы исследователей AI из передовых международных университетов и технологических компаний. Работа предлагает новый взгляд на текущее состояние и развитие «интеллектуальных агентов», которые могут адаптироваться к множеству задач и контекстов. Рассказываем, какие идеи лежат в основе Foundation Agents, с какими проблемами предстоит столкнуться, и что ждёт нас в будущем.

https://habr.com/ru/companies/redmadrobot/articles/930916/

#ai #machine_learning #deep_learning #large_language_models #multiagent_systems #reinforcement_learning #prompt_engineering #rag #alignment #jailbreak

Large language models are improving exponentially
https://spectrum.ieee.org/large-language-model-performance
#ycombinator #2030 #ai_capabilities #exponential_growth #large_language_models #metr #task_completion_time #type_departments

Large Language Models Are Improving Exponentially
https://spectrum.ieee.org/large-language-model-performance
#ycombinator #2030 #ai_capabilities #exponential_growth #large_language_models #metr #task_completion_time #type_departments

So, can large language models play text games well? 🤔 Apparently, it takes a village (aka the Simons Foundation and a bunch of contributors) to figure out something a teenager already knows by instinct. 🎮 Spoiler alert: the answer is buried somewhere between a lot of numbers and acronyms that only a robot could love. 🤖
https://arxiv.org/abs/2304.02868 #large_language_models #text_games #AI_research #Simons_Foundation #gaming_insights #robot_intelligence #HackerNews #ngated

Использование больших языковых моделей (LLM) в Access Management

Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для повышения эффективности и стоит ли.

https://habr.com/ru/articles/915564/

#access_management #llm #большие_языковые_модели #аутентификация #авторизация #аудит_безопасности #машинное_обучение #галлюцинации_ии #large_language_models #ai

[Перевод] Как я нашёл уязвимость в ядре Linux при помощи модели o3

В этом посте я расскажу, как нашёл уязвимость нулевого дня в ядре Linux при помощи модели OpenAI o3. Уязвимость обнаружилась благодаря одному лишь API o3 — не потребовались никакая дополнительная настройка, агентские фреймворки и инструменты. Недавно я занимался аудитом уязвимостей ksmbd. ksmbd — это « сервер ядра Linux, реализующий в пространстве ядра протокол SMB3 для передачи файлов по сети ». Я приступил к этому проекту специально для того, чтобы взять отдых от разработки связанных с LLM инструментов, но после релиза o3 не мог избежать искушения и не использовать в качестве небольшого бенчмарка способностей o3 баги, найденные мной в ksmbd. В одном из следующих постов я расскажу о показателях o3 при обнаружении всех этих багов, а сегодня мы поговорим о том, как в процессе моего бенчмаркинга o3 обнаружила уязвимость нулевого дня. Найденной уязвимости присвоили обозначение CVE-2025-37899 (её патч выложен на Github ), это use-after-free в обработчике команды SMB logoff . Для понимания уязвимости необходимо знать о работе конкурентных подключений к серверу и о том, как они в определённых обстоятельствах могут обмениваться различными объектами. Модели o3 удалось разобраться в этом и найти место, где конкретный объект с автоматическим подсчётом ссылок освобождался, но продолжал оставаться доступным для другого потока. Насколько я понимаю, это будет первым публичным рассказом об уязвимости подобного типа, обнаруженной LLM.

https://habr.com/ru/articles/912916/

#openai_o3 #o3 #llm #уязвимости #useafterfree #large_language_models #большие_языковые_модели

Prompt-инженерия: уменьшение сложности промпта

Раздражает непредсказуемость ответов от LLM? Устали вкладывать бюджет в более мощные модели? Если ваша цель — стабильная автоматизация и надёжный клиентский опыт с помощью LLM, то, скорее всего, вы упираетесь в одну и ту же проблему: сложность промптов . Эта статья постарается помочь навсегда забыть о «случайных» ответах и вывести эффективность ваших LLM‑решений на новый уровень.

https://habr.com/ru/articles/913062/

#promptengineering #large_language_models #промптинжиниринг #промпты #языковые_модели

#KWIBlog:
In her text “New Reading Scenes,” former Thyssen@KWI Fellow
@KatiaSchwerzmann investigates the role of reading in the context of new developments in AI, stressing the need for ongoing investment in close and critical reading that considers AI practices and limitations.

🔎 https://blog.kulturwissenschaften.de/new-reading-scenes/

#LLM #large_language_models #AI #Closereading @sfb1567

Apple is looking to announce new access to its foundation models during WWDC June 9th. This arrangement will let developers integrate Apple Intelligence across their apps. Apple may be betting this is a way to help it catch up with its competitors in the AI space. https://www.theverge.com/news/670868/apple-intelligence-ai-third-party-developer-access-model #Apple #AI #LLMs #large_language_models #AppleIntelligence #WWDC

Osobiście nie jestem przeciwko modelom językowym typu chatGPT, Mistral, czy nasz polski Bielik. Tez w sumie nie obawiam się niepożądanych konsekwencji korzystania z nich, przynajmniej na tym poziomie, bo jak ktoś sam używa, to łatwo rozpoznać, co jest napisane przez taki model. Często też rezultaty są po prostu gorsze, niż jak samemu się zreliazuje jakiś projekt.

Ale fakt, jest to urocza zabawka i na uniwerku mamy z tego niezły fun, kiedy na obronie projektu, napisanego w większości przez chatGPT i tylko w połowie sprawdzonego przez nas, profesor mówi, żeby samemu sformułować jeszcze raz caly tekst. Najzabawniejsze jest to, że oni sobie zdają z tego sprawę i my też i końcowo dochodzimy do wniosku, że najlepiej samemu po prostu wszystko pisać, bo z modelami językowymi jest jeszcze więcej zbędnej pracy.

Serdeczne pozdrowienia dla mojego uniwersytetu i takie luźne, zdroworozsądkowe podejście.

#large_language_models #university

Why do LLMs have emergent properties?
https://www.johndcook.com/blog/2025/05/08/why-do-llms-have-emergent-properties/
#ycombinator #explainable_ai #large_language_models