Challenge accepted 💪
Will talk about my Christmas holiday project NanoSchnack @ Cloud Native Heidelberg meetup, Feb 26.
GPT-2 the Hard Way. Building a LLM from scratch.
#transformers #attention #tokens #embeddings #training #pytorch #h100 #inference
#Embeddings
Avi Chawla (@_avichawla)
임베딩 스택이 모델을 바꿀 때마다 100% 재인덱싱을 강제한다는 문제 제기. 많은 팀이 이를 불가피하다고 여기며, 예를 들어 대형 임베딩 모델로 RAG 파이프라인을 구성해 프로덕션에 배포한 뒤 시간이 지나 트래픽·요구사항이 바뀌면 전체 재인덱싱 비용과 운영 부담이 크게 증가한다는 점을 지적하고 있음.
via @dotnet : .NET AI Essentials – The Core Building Blocks Explained
https://ift.tt/CjSQkpt
#NET #DotNet #CSharp #AI #ArtificialIntelligence #MEAI #MicrosoftExtensionsAI #LLM #SemanticSearch #VectorData #Embeddings #AgentFramework #ModelContextProtocol #MCP #Mi…
RAG-системы: что это такое, принципы работы, архитектура и ограничения
Retrieval-Augmented Generation (RAG) всё чаще упоминается в контексте LLM и всё чаще фигурирует в требованиях к разработчикам, но за этим термином обычно скрывается довольно размытое представление о том, как такие системы реально устроены. В этой статье я разбираю RAG как архитектурный подход: зачем он вообще появился, какие задачи решает, как выглядит базовый пайплайн от данных до ответа модели и где на практике чаще всего возникают проблемы.
https://habr.com/ru/articles/989000/
#rag #llm #retrieval #nlp #embeddings #semanticsearch #informationretrieval
Github Awesome (@GithubAwesome)
1973년의 grep과 달리 현대 코드베이스는 의미 기반 검색이 필요하다고 지적하며, grepai가 코드 인덱싱에 벡터 임베딩을 사용해 'user authentication flow' 같은 의미 단위로 검색할 수 있게 하고 AI 에이전트에 더 나은 문맥을 제공하도록 설계되었다고 설명합니다.
[Перевод] Как сделать (очень) маленькие LLM действительно полезными
Команда AI for Devs подготовила перевод статьи о том, как выжать максимум из маленьких языковых моделей. Автор показывает, что даже очень компактные LLM могут быть полезны в реальных задачах — если правильно работать с контекстом, embeddings и RAG.
24 hours until the CfP for "Conf42 Machine Learning 2026" closes: https://papercall.io/cfps/6468/submissions/new
#cfp #conference #Inference #Training #Alignment #Drift #Embeddings #Automation #Bias #Latency #Interpretability #Scalability
RLM-Toolkit: Полное руководство по обработке 10M+ токенов
Почему LangChain не справляется с 10M+ токенов? Разбираемся в RLM — новой парадигме обработки контекста с InfiniRetri (100% accuracy на Needle-in-Haystack), CIRCLE-безопасностью и поддержкой 75+ провайдеров. Полный туториал с кодом.
https://habr.com/ru/articles/986280/
#RLM #LLM #RAG #InfiniRetri #LangChain #AI_Security #Python #контекст #токены #embeddings
Embedding — как машины понимают смысл текста
Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Цифровой объект можно представить числом: картинку, текст, аудио или видеофайл — практически всё что угодно. Для того чтобы ввести этот объект в нашу ML модель как некое понятие, мы должны преобразовать его в определённый набор чисел. По этому набор чисел мы сможем определить, что, например, этот объект «яблоко», а не «груша». С картинками все просто. В чёрно-белом изображении (в градациях серого) самый яркий пиксель имеет значение 1, самый тёмный — 0, а оттенки серого имеют значения от 0 до 1. Такое числовое представление упрощает обработку изображений. Преобразовав изображение в цифровую форму на основе значений пикселей, мы можем использовать его в качестве входных данных для обучения нашей модели, позволяя нейронной сети обучаться на значениях пикселей. Однако что делать с текстом? Как спроецировать буквы в числа?
https://habr.com/ru/companies/ruvds/articles/983958/
#embeddings #эмбеддинги #вектор #векторное_представление #машинное_обучение #ml #machine_learning #nlp #нлп #ruvds_статьи
🆕 New issue, new article!
We’re excited to open JCLS 2026, 5(1) with its very first publication:
“Encoding Imagism? Measuring Literary #Imageability, #Visuality and #Concreteness via Multimodal Word #Embeddings” by Bizzoni, Feldkamp & Nielbo. 📖✨
#JCLS #CCLS2025 #LiteraryStudies
Как затащить AI в Java/Kotlin проект
Мир Enterprise-разработки на Java/Kotlin и мир нейронных сетей кажутся параллельными вселенными. С одной стороны - статическая типизация, многопоточность, Spring-контейнеры, а с другой - Python-скрипты, тензорные операции и эксперименты в Jupyter Notebook. Между ними - пропасть, через которую многие команды не решаются перешагнуть. Однако необходимость строить этот мост возникает всё чаще. Заказчик хочет «искусственный интеллект» в новом фиче, аналитики мечтают о реализации чат-бота с преферансом и барышнями, а менеджеры слышали, что конкуренты уже всё автоматизировали. Как же совместить надежность и структуру JVM-проекта с гибкостью и мощью AI? В этой статье постараемся разобраться какие инструменты для этого есть на данный момент и как с ними работать.
https://habr.com/ru/articles/984544/
#AI #ИИ #Java #Kotlin #LLM #State_Graph #Vector_DB #Docling #Embeddings
金のニワトリ (@gosrum)
Qwen3-VL-Embedding을 사용해 문서·이미지 검색 애플리케이션의 디자인·UI/UX를 리프레시했습니다. 현재 동작 검증을 진행 중이며, 도입 방법과 사용법 등 문서 정리를 마친 뒤 GitHub에 공개할 예정이라고 알리고 있어 공개까지는 다소 시간이 걸릴 수 있다는 내용입니다.
Как я заменил BI-дашборд на AI-чат: архитектура RAG-системы для 600K записей
После 10 лет внедрения BI-систем (Qlik Sense, Power BI, Data Lens) я понял одну вещь: дашборд — это не решение. Это данные для решения. А между данными и решением — пропасть, которую преодолевает человек. В этой статье покажу, как построил RAG-систему с чат-интерфейсом для базы из 600 000 записей техники из Федресурса. Без философии — только архитектура, код и грабли.
https://habr.com/ru/articles/984162/
#RAG #LLM #texttoSQL #Claude_API #Qdrant #PostgreSQL #чатбот #embeddings #NLP #FastAPI
金のニワトリ (@gosrum)
Qwen3-VL-Embedding을 사용해 로컬에서 동작하는 이미지 검색 앱을 개발 중이라는 글입니다(Claude Code 활용). 맥에서 상시 구동하도록 설정 중이며, 사용해본 결과 매우 편리하다고 평가하고 스마트폰·PC의 모든 이미지를 DB에 등록해 검색하려는 계획을 밝히고 있습니다.
Adina Yakup (@AdinaYakup)
Alibaba의 Qwen이 Hugging Face에 Qwen3‑VL‑Embedding과 Qwen3‑VL‑Reranker 두 모델 시리즈를 공개했습니다. 2B/8B 크기, Apache-2.0 라이선스이며 30개 이상 언어를 지원하고 텍스트·이미지·스크린샷·비디오 등 임의의 멀티모달 조합을 처리합니다. Qwen3‑VL‑Embedding은 유연한 벡터 기능을 제공합니다.
Mantic.sh – Search 480k files in 0.46s without embeddings
https://github.com/marcoaapfortes/Mantic.sh
#HackerNews #Mantic.sh #Search #Speed #Files #Embeddings #GitHub
Обучение эмбеддингов GitHub репозиториев
У вас есть GitHub ? Ставите Stars ? Используя эту информацию можно многое про вас рассказать. В статье вы прочитаете как обучить эмбединги для 300к GitHub репозиториев и как их можно подгрузить прямо в браузере используя WASM для создания рекомендаций.
https://habr.com/ru/articles/983080/
#machine_learning #embeddings #wasm #pet_project #opensource
API mới giúp index video thành embeddings để dùng RAG cục bộ, tích hợp Whisper + OCR, xử lý cả giọng nói và nội dung hình ảnh (slide, giao diện). Đầu ra là JSON có chia đoạn, kèm embedding và thời gian, tương thích với Milvus, Weaviate. Phù hợp tìm kiếm ngữ nghĩa trên video nội bộ mà không cần đưa lên đám mây. Có demo trực tiếp. #RAG #LocalLLM #AI #videoindexing #embeddings #truyvấnvideo #AIcucbo #RAGcucbo
https://www.reddit.com/r/LocalLLaMA/comments/1q442q1/built_an_api_to_index_videos_into/
Базовый RAG-компонент для локального семантического поиска на Питоне
quad_rag_core — лёгкое Python-ядро для локального RAG, которое автоматически отслеживает изменения в папках, индексирует их в Qdrant и поддерживает эмбеддинги в актуальном состоянии. Изначально проект задумывался как плагин для MCP (Model Context Protocol), но стал универсальной основой для любой системы локального семантического поиска. Зачем это нужно В процессе работы с кодовой базой через LLM-агентов и при необходимости локального семантического поиска по файлам проекта обнаружилась проблема. Инструменты агентской разработки вроде Kilo Code предоставляют встроенную функцию семантического поиска, но в компании заявляют что в будущем эта функциональность может стать платной. Сразу задумался о том чтобы сделать свою подсистему поиска. Простые запросы к MCP-серверу на поиск и обновление тут не подойдут - система поиска должна иметь полный контроль над контекстом - она должна автоматически узнавать, что файл удалён, функция изменена или добавлен новый документ, без необходимости перезапуска индексации. От идеи к архитектуре В начале планировался простой MCP-сервер, который принимает команды поиска и обновления, индексирует текстовые файлы и PDF, использует Qdrant как векторное хранилище и эмбеддит локально. В ходе проектирования стало понятно: вся логика отслеживания файлов, парсинга, чанкинга и синхронизации с Qdrant — это переиспользуемое ядро, а не часть MCP-протокола. Так появился quad_rag_core — отдельный Python-модуль, который не знает ничего про MCP или другие внешние интерфейсы, но готов к ним подключаться.
https://habr.com/ru/articles/982476/
#rag #rag_ai #семантический_поиск #middleware #python #qdrant #embeddings
Client Info
Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst