🔍 Đã có công cụ CLI mới mang tên **semantica** – tìm file “theo nghĩa” thay vì tên chính xác!
🖥️ Python, dùng FastEmbed để vector hoá và FAISS (sắp chuyển sang usearch) để so sánh độ tương đồng.
⚙️ Chạy hoàn toàn offline trên CPU, không cần API key, biên dịch thành binary độc lập cho Windows & Linux.
💡 Thích hợp cho ai hay quên tên file, muốn tìm tài liệu cũ chỉ bằng mô tả ngắn.
#opensource #cli #semanticsearch #Python #FAISS #Linux #Windows #CôngCụMởNguồn #tìmfile #AI #độnghĩa
http
Công cụ **semantica** – tìm file bằng ý nghĩa, không cần nhớ tên chính xác. Dùng Python, FastEmbed + FAISS, chạy 100 % offline trên CPU, không cần API key. Đã hỗ trợ Windows & Linux (binary tự động). Thử trên laptop cũ, index 250 phút, sau đó tìm “internet service agreement terms” ngay lập tức. #semantica #filesearch #AI #Python #FAISS #Linux #Windows #CôngCụ #TìmKiếm #MởNguồn
Как мы сделали альтернативную систему метчинга товаров в X5 Digital: опыт, грабли и результат
Привет, Хабр! Меня всё ещё зовут Данила Федюкин, и я продолжаю быть тимлидом в X5 Digital. Руковожу командой, которая занимается метчингом. В прошлый раз я рассказывал, как мы перешли на собственную систему рекомендаций, а в этот раз о том, как делаем то же самое, но с метчингом товаров. X5 Digital – один из цифровых бизнесов Х5. Мы работаем в режиме Highload с RPS в 7500 и отвечаем за всю онлайн-доставку в более чем 1000 городах и населённых пунктах России. Этот канал постоянно растёт. В 2024 году покупатели Х5 совершили свыше 119,5 млн заказов продуктов на дом. Мы делаем собственную in-house WMS для дарксторов, приложения для сборщиков и курьеров, CRM, каталоги товаров и другие онлайн-продукты, а ещё мобильное приложение для торговых сетей. Всё это, отталкиваясь от разных форматов доставки. В «Перекрёстке» среднее время доставки CTD (Click-to-Delivery — от оформления заказа до его получения клиентом) сократилось до 45 минут, в «Чижике» — до 37 минут, а в «Пятёрочке» порядка 40% заказов доставляются клиентам менее чем за 20 минут.
https://habr.com/ru/companies/X5Tech/articles/977626/
#машинное_обучение #nlp_обработка_текста #матчинг_товаров #рекомендации #векторный_поиск #faiss #hnsw #e5 #bert #onnx
Как превратить сценарного чат-бота в умного бота на основе ИИ
Привет, Хабр! На связи Иван Жирнов и Степан Рыбалов, тимлид и QA группы разработки чат-ботов в компании «Передовые Платежные Решения». В работе мы используем чат-боты собственной разработки. До AI-революции чат-боты были сценарные и весьма ограниченные. С нейросетями же их возможности стали головокружительно шире. В этой статье мы расскажем о том, как и зачем перешли на чат-ботов с ИИ, чтобы наш опыт мог помочь в проекте и вам. Ежемесячно клиенты генерируют более 73 тысяч диалогов в текстовых ботах, и более 92% этих диалогов обрабатывается без участия человека — в чатах, мобильном приложении и личном кабинете. Голосовой чат-бот на горячей линии получает в месяц более 15 тысяч звонков, и здесь автоматизация достигает 20–30%. Именно голосовой бот навел нас на мысли об ИИ: здесь вопросы обычно оказывались сложнее и индивидуальнее. Обсуждать переход мы начали в четвертом квартале 2024 года. Нас привлекла возможность LLM решать комплексные вопросы из одного запроса клиента. Сценарный бот же реагирует только на одну команду за раз, выдает целый список возможных связанных вопросов, из которых пользователю снова приходится выбирать. Потом, вероятно, выбирать еще и еще… так что терпения хватает не у всех. Тогда клиент в лучшем случае обращается к голосовому боту или попадает к оператору поддержки. GPT же может сможет понять контекст, разбить сложный вопрос на несколько простых и собрать полноценный ответ.
https://habr.com/ru/articles/976782/
#чатбот #llm #техподдержка #faiss #мультиагентная_архитектура
Một dự án nén vector mới đạt tỷ lệ nén cao hơn FAISS với độ chính xác tương đương đã công khai repo GitHub! Ứng dụng cho lưu trữ lạnh, RAG, và search. Hiện đang tìm góp ý kỹ thuật để kiểm chứng hiệu quả và độ ổn định trên hệ thống thực tế. Hashtag: #AI #VectorCompression #FAISS #MachineLearning #PhiEngine #NénVector #HỌCMÁY
https://www.reddit.com/r/LocalLLaMA/comments/1pnzex8/feedback_wanted_vector_compression_engine/
Công cụ mới `local_faiss_mcp` là một server MCP nhỏ gọn, giúp triển khai RAG cục bộ với FAISS mà không cần CSDL bên ngoài. Sử dụng `all-MiniLM-L6-v2` cho embedding, hoạt động hoàn toàn offline, không cần GPU (mặc định) và dễ cài đặt. Lý tưởng cho việc hỏi đáp tài liệu cục bộ.
#RAG #FAISS #LocalLLaMA #AI #Tool #OpenSource #RAGcụcbộ #TríTuệNhânTạo #CôngCụAI #MãNguồnMở
todays update
* replaced the embed with a real vectore db - #faiss
* no more specificing database - now in ~/.local/share/semantic_code_search
* one big database for all code
* search - specify which files to search and/or specific language(s).
* updating of code only update the file you changed
Discover how a vector store can act as a model's local memory in our new LLMOps guide. Learn to set up FAISS with LangChain, generate embeddings in Python, and boost your OpenAI workflows. Turn your LLM into a smarter, self‑retrieving system—read the full walkthrough now! #LLMOps #VectorStore #FAISS #LangChain
🔗 https://aidailypost.com/news/llmops-guide-shows-how-vector-store-becomes-models-local-memory
🚀 Introducing Lucene-on-Faiss
⚡ 2x boost in search throughput
💡 Decrease memory limitations
#OpenSearch #VectorSearch #Lucene #Faiss #AI #GenerativeAI #ANN #SearchTech
Три сказа о построении RAG: От выбора модели до форматирования базы знаний
Привет! Меня зовут Александр Золотых, уже два года я работаю во ВкусВилле разработчиком ИИ-решений. В этой статье хочу рассказать, как мы сделали карманного консультанта по клиентократии — и зачем вообще он понадобился. ВкусВилл работает по клиентократии — модели управления, которую развивает и распространяет система управления Beyond Taylor. Основная особенность клиентократии — фокус на клиенте, когда все процессы компании выстраиваются для удовлетворения его потребности. Модель инновационная: погружаешься, и возникает множество вопросов. Конечно, лучше спросить и узнать, чем не спросить и не узнать, но не всем и не всегда это просто. Значит, нужно снижать порог входа и сделать описание модели ближе к изучающему. Именно из этого понимания у нашей команды и появилась идея карманного консультанта — инструмента, который готов отвечать на все «глупые» и каверзные вопросы. Мы поделились замыслом с коллегами из Beyond Taylor, получили их поддержку и приступили к реализации. Так родилась наша первая задача с тем, что сейчас называется RAG (Retrieval-Augmented Generation). Конечно, есть готовые решения (Notebook LM, Нейроэксперт), но они имеют несколько минусов:
https://habr.com/ru/companies/vkusvill/articles/944202/
#rag #llm #langchain #вкусвилл #json #faiss #embeddings #nlp
Okay, Back of the napkin math:
- There are probably 100 million sites and 1.5 billion pages worth indexing in a #search engine
- It takes about 1TB to #index 30 million pages.
- We only care about text on a page.
I define a page as worth indexing if:
- It is not a FAANG site
- It has at least one referrer (no DD Web)
- It's active
So, this means we need 40TB of fast data to make a good index for the internet. That's not "runs locally" sized, but it is nonprofit sized.
My size assumptions are basically as follows:
- #URL
- #TFIDF information
- Text #Embeddings
- Snippet
We can store an index for 30kb. So, for 40TB we can store an full internet index. That's about $500 in storage.
Access time becomes a problem. TFIDF for the whole internet can easily fit in ram. Even with #quantized embeddings, you can only fit 2 million per GB in ram.
Assuming you had enough RAM it could be fast: TF-IDF to get 100 million candidated, #FAISS to sort those, load snippets dynamically, potentially modify rank by referers etc.
6 128 MG #Framework #desktops each with 5tb HDs (plus one raspberry pi to sort the final condidates from the six machines) is enough to replace #Google. That's about $15k.
In two to three years this will be doable on a single machine for around $3k.
By the end of the decade it should be able to be run as an app on a powerful desktop
Three years after that it can run on a #laptop.
Three years after that it can run on a #cellphone.
By #2040 it's a background process on your cellphone.
Сравниваем быстродействие новой функциональности ClickHouse по поиску ближайших векторов с другими решениями
Всем привет! Меня зовут Диана Бутько, я студентка 3 курса, изучаю информационные системы и программирование. В InfoWatch я пришла на практику, и одной из моих задач стал сравнительный анализ различных методов поиска похожих векторов. Это один из ключевых аспектов машинного обучения и анализа данных, используемых в рекомендательных системах, кластеризации, семантическом поиске и других областях. Но чем больше объем данных, тем важнее становится выбор инструментов: полный перебор векторов требует больших вычислительных ресурсов, а в других алгоритмах порой необходимо балансировать между точностью и скоростью поиска. В этой статье я сравниваю пять методов поиска похожих векторов: — полный перебор по евклидову расстоянию с реализацией в Python; — FAISS с индексами IndexFlatL2 (полный перебор, евклидово расстояние) и IndexIVFFlat (сегментирование по ячейкам, евклидово расстояние); — векторный поиск в ClickHouse с индексом HNSW и метриками расстояния L2Distance (евклидово расстояние) и cosineDistance (косинусное сходство).
Как я победил в RAG Challenge: от нуля до SoTA за один конкурс
Когда новичок пытается построить свою первую вопросно-ответную LLM систему, он быстро узнаёт, что базовый RAG - это для малышей и его нужно "прокачивать" модными техниками: Hybrid Search, Parent Document Retrieval, Reranking и десятки других непонятных терминов. Глаза разбегаются, наступает паралич выбора, ладошки потеют. А что, если попробовать их все? Я решил потратить на подготовку к соревнованию 200+ часов и собственноручно проверить каждую из этих методик. Получилось настолько удачно, что я выиграл конкурс во всех номинациях. Теперь рассказываю, какие техники оказались полезными, а какие нет, и как повторить мой результат.
https://habr.com/ru/articles/893356/
#RAG #Docling #векторный_поиск #retrieval_augmented_generation #question_answering #LLM #FAISS #GPT #ChatGPT #парсинг_PDF
Миллиарды векторов и немного магии: превращаем сырые данные с маркетплейсов в пригодные для анализа
Привет, Хабр! Я — Игорь Старун, BigData Lead в MPSTATS. Я уже 3 года занимаюсь анализом данных на маркетплейсах, штудируя гигантские объёмы информации и превращая их из непотребного и нечитаемого вида в удобоваримый и анализируемый. Моя задача — собрать и подготовить данные так, чтобы помочь продавцам на маркетплейсах разобраться, что происходит с их товарами, конкурентами и продажами, чтобы они не утонули в хаосе карточек, цен и остатков. В этой статье я расскажу, как мы перерабатываем эти объемы грязных данных и структурируем для дальнейшего анализа. Данные о товарах – это основа всего. Каждую неделю мы обходим более 200 миллионов карточек с Wildberries и Ozon. Названия, описания, характеристики, фотографии — всё это мы аккуратно собираем и складываем в базы данных (для разных задач мы используем ClickHouse, Postgres, MySQL и MongoDB) и облачные хранилища. Зачем? Чтобы потом сделать с этим что-то умное и полезное. Читать дальше
https://habr.com/ru/companies/mpstats/articles/884344/
#аналитика #маркетплейсы #эмбеддинги #faiss #семантический_поиск #обработка_изображений #seoоптимизация #big_data #искусственный_интеллект #нейросети
#Azure #MachineLearning supports two vector stores that contain your supplemental data used in a #RAG workflow: #Faiss & #AzureAISearch https://learn.microsoft.com/en-us/azure/machine-learning/concept-vector-stores?view=azureml-api-2
🚀 #Rocketnotes: A modern note-taking solution combining #Markdown and #AI capabilities
📝 Core Features:
• Code syntax highlighting, #Katex support, and #Mermaid diagram integration
• Hierarchical document tree with drag-and-drop functionality
• Document sharing and content search capabilities
🤖 #AI Integration:
• #LLM-powered text completion similar to GitHub Copilot
• Chat functionality with documents using serverless RAG pipeline
• Semantic search powered by #langchain and #faiss
💻 Technical Implementation:
• Built as web-based application with 100% serverless architecture
• Supports both cloud (#OpenAI, #Anthropic) and local deployment (#Ollama)
• #opensource with MIT license
🔧 Deployment Options:
• Free signup available
• Local deployment using Docker
• AWS cloud hosting support
Learn more: https://github.com/fynnfluegge/rocketnotes
Ускорение и облегчение моделей для поддержания диалога виртуальных ассистентов Салют
Привет, Хабр! Меня зовут Александр Абрамов и я ML Lead продукта в SberDevices. Эта статья — про обучение core-моделей retrieval-based диалоговых систем, поговорим про хинты для ускорения обучения и сходимости, также затрону тему общей схемы inference и оптимизации её компонентов. Речь пойдёт о ML с позиции пайплайнов и продакшена виртуального ассистента Салют.
https://habr.com/ru/companies/oleg-bunin/articles/834728/
#NLP #retrieval #виртуальные_ассистенты_салют #machinelearning #архитектура #inference #faiss #консистентность #bert #gpt
[ Implementing semantic cache to improve a RAG system with FAISS. - Hugging Face Open-Source AI Cookbook ]
https://huggingface.co/learn/cookbook/semantic_cache_chroma_vector_database #RAG #ChromaDB #FAISS #Cache
RAG: полный гайд
Если, открывая холодильник вы еще не слышали от него про RAG, то наверняка скоро услышите. Однако, в сети на удивление мало полных гайдов а не обрывочных кусков. Базируясь на опыте нашей работы, я составил гайд который покрывает эту тему наиболее полно. Итак зачем нужен RAG?
