Ứng dụng Next.js chỉ dùng tìm kiếm từ khóa (BM25) nhanh nhưng không hiểu ý nghĩa. Vector search với ELSER cho phép tìm kiếm ngữ nghĩa, cải thiện độ liên quan khi câu truy vấn khác từ khóa. Kết hợp cả BM25 và semantic (hybrid) mang lại tốc độ + độ chính xác tối ưu. Nên triển khai pipeline ELSER, tạo trường sparse_vector và dùng bool‑should. #Nextjs #VectorSearch #Elasticsearch #SemanticSearch #BM25 #AI #CôngNghệ #SearchEngine #TìmKiếm
https://dev.to/ubcodes/keywords-are-not-enough-why-your-nextj
🚀 **Cập nhật `pg_search`: Hỗ trợ tìm kiếm facet** với giao diện tùy chỉnh, kết hợp lập kế hoạch và quét trực tiếp để tối ưu hóa BM25 index (dựa trên Tantivy). Kết quả trả về JSON kèm thống kê nhanh nhờ cấu trúc cột. #pg_search #PostgreSQL #TìmKiếmTốiƯu #BM25 #FacetedSearch #CơSởDữLiệu #DevUpdate
(*tags: #postgresql #facetsearch #tantivy #databases #developernews*)
New research shows how hierarchical retrieval can slash noise and keep prompt length in check for massive corpora. By pairing BM25 with dense embeddings, it trims latency and metadata bloat while preserving RAG relevance. Curious how this reshapes context size limits? Read on! #HierarchicalRetrieval #BM25 #RAG #ContextSize
🔗 https://aidailypost.com/news/hierarchical-retrieval-cuts-noise-controls-context-size-large-corpora
🌱 Unser Gehirn: der Suchalgorithmus 🌍
Wie kommt die Reihenfolge unserer Suchergebnisse zustande?
Das Ranking auf umwelt.info basiert auf fünf unterschiedlichen Faktoren: BM25-Ranking, Aktualität, Metadatenqualität, Popularität und Status.
Wie wir die unterschiedlichen Faktoren gewichten und was hinter den Begriffen steckt erfährst Du im Portal: https://umwelt.info/de/artikel/ueber-das-ranking-unserer-suchergebnisse
#Suchmaschine #umwelt #natur #daten #Metadaten #FAIRData #openCode #openData #opensource #bm25
We've been told embedding search strictly superior to BM25 and all other keyword-search algorithms. Then why is it still used in so many modern search pipelines, especially for RAG?
In this post I'll explain you what hybrid search is and why keyword search is still so useful to improve your search results.
"pg_textsearch trong Postgres 공식 hỗ trợ ranking BM25 hoàn chỉnh và tim kiếm hợp tác. Nâng cao độ chính xác tìm kiếm cho cơ sở dữ liệu! #PostgreSQL #BM25 #TìmKiếm #CơSảnDữLiệu #XếpX满"
🚀 Tôi đã hoàn thànhстер structure một moteur tìm kiếm độc lập bằng Java! Sử dụng算法 TF-IDF và BM25, hỗ trợ token hóa, xóa từ trống, và ranking văn bản. Hoàn hảo bằng Java 21, không dùng thư viện bên outsourcing. versione opensourcerecipes trong GitHub. Learn rao về thông tin trích xuất và cơ sở dữ liệu!
#SearchEngine #Java #TFIDF #BM25 #OpenSource #LearningProject #TiemKiem #JavaCor #LapTrinh #NgoQuyet
https://www.reddit.com/r/opensource/comments/1o5wf1y/built_my_own_search_engine_from_scratc
Разбираем на запчасти поисковый сервис в Яндекс Лавке
Привет! Меня зовут Николай Смирнов, я ML-инженер в команде поиска Яндекс Лавки. В этой статье я расскажу немного о закулисье: — Как наша команда шаг за шагом строила поисковый сервис, начиная с алгоритма Ахо — Корасик, SaaS-решений и Маркета, и дошла до собственной архитектуры на C++ с userver и многослойным «бургером» из ML-моделей. — Зачем поиску Лавки понадобилось сразу несколько технологий — BM25, DSSM, BERT и CatBoost — и чем полезна каждая из них. — Как наш поиск собирает данные о вас и о товарах и почему ML-модели приходится дообучать. А ещё вместе «сломаем» прод — посмотрим, что произойдёт, если выключить какую-нибудь из моделей, и почему даже самые продвинутые нейросети не являются серебряной пулей. В общем, будет немного истории, самое интересное из архитектуры, инженерные находки и живые примеры того, как поиск в Лавке принимает решения. Если интересно, как на самом деле работает поиск, — погнали!
https://habr.com/ru/companies/yandex/articles/924198/
#поиск #mlops #ml_design #bm25 #DSSM #catboost #яндекславка #machinelearning
[Перевод] Я сделал поисковик хуже Elasticsearch
В этой статье я хочу поделиться своим стыдом, вызванным попыткой создания библиотеки поиска. В этом стыде и вы можете прочувствовать смирение и осознание того, что реальный качественный поисковый движок, а не создаваемый как хобби-проект, должен делаться для того, чтобы лексический поиск был быстрым. BEIR — это бенчмарки поиска информации, ориентированные на сценарии использования в формате «вопрос-ответ». Мой хобби-проект SearchArray добавляет в Pandas полнотекстовый поиск. Поэтому естественно, чтобы ощутить трепет от моих потрясающих навыков разработчика, я решил использовать BEIR для сравнения SearchArray с Elasticsearch (с тем же запросом + токенизацией). Поэтому я потратил субботу на интеграцию SearchArray в BEIR и измерение релевантности и производительности с корпусом MSMarco Passage Retrieval (8 миллионов документов). Барабанная дробь...
🌗 PostgreSQL BM25 全文搜尋：透過這些技巧加速效能
➤ 破解效能慢的迷思，提升 PostgreSQL 全文搜尋的真實速度
✤ https://blog.vectorchord.ai/postgresql-full-text-search-fast-when-done-right-debunking-the-slow-myth
這篇文章探討了 PostgreSQL 內建全文搜尋（FTS）的效能問題，並針對 Neon 公司先前分析中使用的基準測試設定提出修正。文章指出，Neon 的基準測試可能未採用最佳化設定，導致標準 FTS 效能顯著落後於使用 Rust 語言的 Tantivy 函式庫所建構的 pg_search 擴充功能。透過預先計算並儲存 `tsvector`，以及關閉 GIN 索引的 `fastupdate` 選項，標準 FTS 的效能可提升約 50 倍。此外，文章也探討了排序效能（`ts_rank`）的限制，並推薦使用 VectorChord-BM25 擴充功能以獲得更快速、更具相關性的搜尋結果。
+
#PostgreSQL #全文搜尋 #BM25 #效能優化
🚀✨ Wow, #PostgreSQL just got a shiny new toy to play well with others! Apparently, adding #BM25 ranking makes it 3x faster than Elasticsearch—because, you know, exaggerated #performance boasts never get old. 🤔🔍 So, strap on folks, because your slightly quicker searches in databases are the next big thing! 😂📚
https://blog.vectorchord.ai/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch #Elasticsearch #database #search #speed #HackerNews #ngated
BM25 in PostgreSQL – 3x Faster Than Elasticsearch — https://blog.vectorchord.ai/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch
#HackerNews #BM25 #PostgreSQL #Elasticsearch #FastSearch #DatabaseOptimization
Do lots of metadata really help in semantic search?
https://old.reddit.com/r/MachineLearning/comments/1h6f39a/d_do_lots_of_metadata_really_help_in_semantic
Comment: new thread on utility of metadata, BM25, LLM, search, semantics ...
[Перевод] Разбираем алгоритм полнотекстового поиска BM25
BM25, или Best Match 25 — это широко используемый алгоритм полнотекстового поиска. Среди прочего, он по умолчанию применяется в Lucene/Elasticsearch и SQLite. В последнее время в рамках «гибридного поиска» часто начали комбинировать полнотекстовый поиск и поиск по схожести векторов. Мне захотелось понять, как работает полнотекстовый поиск и в частности BM25, поэтому в этой статье я постараюсь разобраться в этом.
https://habr.com/ru/articles/860830/
#bm25 #поисковые_алгоритмы #релевантность #полнотекстовый_поиск #алгоритмы_поиска
Разбираемся с Vespa. Часть 2
Из этой статьи вы узнаете: 1) Что такое Document и Query Processing. 2) Как обрабатывается текст Vespa. Что такое токенизация и стемминг. 3) Какой из обработчиков текста лучше подходит для русского языка. 4) Как выполнить текстовый поиск. 5) Как происходит ранжирование результата.
https://habr.com/ru/companies/sportmaster_lab/articles/848992/
[Перевод] Новая методика существенно повышает эффективность систем RAG в поиске необходимых документов
В новой работе исследователи из Корнеллского университета представляют «контекстные эмбеддинги документов» — технику, повышающую эффективность моделей эмбеддингов путем учета контекста, в котором извлекаются документы.
https://habr.com/ru/articles/850076/
#rag #llm #эмбеддинги #искусственный_интеллект #нейросети #bm25
Как найти иголку в стоге сена? Или обозор Retrieval Algorithms
Появление трансформеров, а впоследствии LLM (Large Language Models) привело к активному распространению чат-ботов и различных ассистентов помогающих в получении информации или генерации контента. Но несмотря на то что LLM способны по запросу генерировать человекоподобные тексты, они подвержены галлюцинациям . Естественным кажется желание уменьшить количество не достоверных ответов. Для этого мы можем либо дообучить LLM на наших данных, либо использовать Retrieval Augmented Generation (RAG) . RAG - это способ генерации текстов на новых данных без дообучения модели, с помощью добавления релевантных документов в промпт модели. Документы для генерации ищутся с помощью retrieval системы, после чего объединяются в один промпт и подаются в LLM для последующей обработки. В этой статье я решил собрать информацию о всех наиболее известных и применяемых алгоритмах поиска, с описаниями и материалами для более глубокого изучения.
https://habr.com/ru/articles/840268/
#bm25 #tfidf #hnsw #hnswlib #kd_tree #ann #product_quantization #LSH
Postgres as a search engine
https://anyblockers.com/posts/postgres-as-a-search-engine
https://news.ycombinator.com/item?id=41343814
Build a retrieval system with semantic, full-text, & fuzzy search in Postgres to be used as a backbone in RAG pipelines.
We’ll combine 3 techniques:
* full-text search with tsvector
* semantic search with pgvector
* fuzzy matching with pg_trgm
* bonus: BM25
https://en.wikipedia.org/wiki/Okapi_BM25
https://blog.paradedb.com/pages/elasticsearch_vs_postgres
https://news.ycombinator.com/item?id=41173288
#RDBMS #postgres #PostgreSQL #databases #search #SearchEngine #LLM #RAG #BM25
Full Text Search over Postgres: Elasticsearch vs. Alternatives - ParadeDB
Link📌 Summary:
Он победил LLM RAG: реализуем BM25+ с самых азов
Привет, меня зовут Борис. Я автор телеграм канала Борис опять . Периодически мне на глаза попадается что-то интересное и я глубоко в этом закапываюсь. В данном случае это алгоритм поиска BM25+ , который победил продвинутые методы векторного поиска на LLM. Разберемся, что это за зверь и почему он так хорошо работает. В этой статье мы реализуем его на Python с нуля. Начнем с самого простого поиска, перейдем к TF-IDF, а затем выведем из него BM25+. Статья подойдет тем, кто вообще ничего не знает о поиске, а более опытные ребята могут пролистать до реализации алгоритма. Код доступен в Google Collab .
