NEWAVE. Делаем интеллектуальный ретривал музыки
Двуэнкодерные нейросети, контрастивное обучение, десять датасетов и late fusion. Как мы строили ML-систему ретривала, понимающую человеческий язык вместо фильтров Ну и как же?
https://habr.com/ru/articles/989756/
#CLAP #biencoder #contrastive_learning #retrieval #feature_engineering #ML #DL #machine_learning #project #deep_learning
Как AI VK построили единую платформу для рекомендаций, поиска и рекламы в продуктах с многомиллионной аудиторией
Привет! На связи команда рекомендаций AI VK. Фактически в каждом продукте есть и рекомендации и поиск, и чтобы каждой команде не приходилось изобретать свой «велосипед», мы разработали единую Discovery-платформу. С ней команды могут «по кнопке» запускать рекомендации, тестировать модели, а также делиться лучшими решениями. В статье поделились подробностями о том, что из себя представляет единая Discovery-платформа и какие результаты уже заметны. Переходите под кат, будет интересно ⬇️ Про Discovery-платформу
#ai_vk #discovery #discoveryплатформа #Stream_Flow #Profile_Stream #Cloud_Training #Discovery_Runtime #Feature_Flow #Inference_Platform #Retrieval
Как AI VK построили единую платформу для рекомендаций, поиска и рекламы в продуктах с многомиллионной аудиторией
Привет! На связи команда рекомендаций AI VK. Фактически в каждом продукте есть и рекомендации и поиск, и чтобы каждой команде не приходилось изобретать свой «велосипед», мы разработали единую Discovery-платформу. С ней команды могут «по кнопке» запускать рекомендации, тестировать модели, а также делиться лучшими решениями. В статье поделились подробностями о том, что из себя представляет единая Discovery-платформа и какие результаты уже заметны. Переходите под кат, будет интересно ⬇️ Про Discovery-платформу
https://habr.com/ru/companies/vk/articles/990514/
#ai_vk #discovery #discoveryплатформа #Stream_Flow #Profile_Stream #Cloud_Training #Discovery_Runtime #Feature_Flow #Inference_Platform #Retrieval
RAG-системы: что это такое, принципы работы, архитектура и ограничения
Retrieval-Augmented Generation (RAG) всё чаще упоминается в контексте LLM и всё чаще фигурирует в требованиях к разработчикам, но за этим термином обычно скрывается довольно размытое представление о том, как такие системы реально устроены. В этой статье я разбираю RAG как архитектурный подход: зачем он вообще появился, какие задачи решает, как выглядит базовый пайплайн от данных до ответа модели и где на практике чаще всего возникают проблемы.
https://habr.com/ru/articles/989000/
#rag #llm #retrieval #nlp #embeddings #semanticsearch #informationretrieval
Почему ваш RAG не найдёт нужные документы: математический потолок embedding-моделей
Все говорят про embedding-модели в RAG: бенчмарки MTEB, размеры моделей, chunking-стратегии. Но никто не задаёт главный вопрос: а сколько вообще документов может найти single-vector retrieval? Google DeepMind посчитали. Оказалось, что даже 4096-мерные эмбеддинги упираются в математический потолок — есть задачи, где они физически не смогут найти нужный документ из топ-2, даже если модель идеально обучена. В статье разбирается исследование LIMIT, показаны примеры, где dense retrieval проваливается (а BM25 справляется), и объяснено, почему для production-систем нужен гибридный поиск, а не слепая вера в SOTA-эмбеддинги.
https://habr.com/ru/articles/987954/
#RAG #embedding #retrieval #machine_learning #BM25 #поиск #нейросети #векторные_базы_данных
A useful exploration of #AI assistants in #search, using the Primo Research Assistant (PRA) as a case study. This is especially relevant to research #libraries because, anecdotally at least, many libraries have disabled the PRA. The results here suggest a more nuanced approach to whether institutions should choose to enable or disable.
AI-Infused Discovery Environments
Information #Retrieval Boon or Overpromised Hype? https://doi.org/10.5860/ital.v44i4.17465 #InformationRetrieval #DigitalLibraries
GibRAM an in-memory ephemeral GraphRAG runtime for retrieval
https://github.com/gibram-io/gibram
#HackerNews #GibRAM #GraphRAG #in-memory #runtime #retrieval #ephemeral #technology
Manuel Faysse (@ManuelFaysse)
ViDoRe V3 논문 공개: AI 에이전트와 12,000시간 이상의 인간 주석을 활용해 '현실적인' 검색(retrieval) 벤치마크를 확장한 방법을 상세히 설명. V3 점수는 이미 Cohere와 Alibaba_Qwen의 최근 Visual Document Retrieval 릴리스에서 보고되었으며, 관련 논문은 arXiv에 게시됨.
Sundar Pichai (@sundarpichai)
Google의 Gemini 앱(@GeminiApp)이 사용자 요청에 응답해 'Personal Intelligence' 기능을 도입했습니다. 사용자는 이제 Google 앱에 안전하게 연결할 수 있어 더 유용한 경험을 받을 수 있으며, Personal Intelligence는 복잡한 출처에 대한 추론 능력과 정보 검색(retrieval)을 결합해 개인화된 지원을 제공합니다.
A cool paper with thought provoking perspectives, by an old colleague!
"This paper proposes that information access systems should be seen not just as #retrieval engines but as didactic environments with the potential to #teach, guide, and #scaffold."
[2601.08035] From Tool to Teacher: Rethinking Search Systems as Instructive Interfaces
https://arxiv.org/abs/2601.08035 #search #HCI #informationretrieval #pedagogy #CHIIR2026
A quotation from Arthur Conan Doyle
You see, I consider that a man’s brain originally is like a little empty attic, and you have to stock it with such furniture as you choose. A fool takes in all the lumber of every sort that he comes across, so that the knowledge which might be useful to him gets crowded out, or at best is jumbled up with a lot of other things, so that he has a difficulty in laying his hands upon it. Now the skilful workman is very careful indeed as to what he takes into his brain-attic. He will have nothing but the tools which may help him in doing his work, but of these he has a large assortment, and all in the most perfect order. It is a mistake to think that that little room has elastic walls and can distend to any extent. Depend upon it there comes a time when for every addition of knowledge you forget something that you knew before. It is of the highest importance, therefore, not to have useless facts elbowing out the useful ones.
Arthur Conan Doyle (1859-1930) British writer and physician
Story (1886-04), “A Study in Scarlet,” Part 1, ch. 2 [Holmes], Beeton’s Christmas Annual, Vol. 28 (1887-11-21)
More about this quote: wist.info/doyle-arthur-conan/8…
#quote #quotes #quotation #qotd #arthurconandoyle #sherlockholmes #brain #facts #memory #mind #organization #retrieval #storage #trivia #information #knowledge
Main Labs (@MainLabs_AI)
컨텍스트 검색(context retrieval) 아키텍처에 대한 긍정적 평가이지만 여전히 더 어려운 문제가 남아있다는 지적입니다. 파일시스템은 어떤 정보가 존재하고 어떻게 조직할지 해결하지만, 사용자가 실제로 무엇을 원하는지와 그들의 작업 방식을 파악하는 문제는 해결하지 못한다고 말합니다.
Tìm kiếm 40 triệu văn bản trong chỉ 200ms bằng server CPU thông thường! Kỹ thuật mới sử dụng mã hóa nhúng (embedding) nhị phân và chấm điểm lại bằng int8 giúp tăng tốc độ và giảm bộ nhớ đáng kể. #Retrieval #AI #MachineLearning #TìmKiếm ThôngMinh
Avi Chawla (@_avichawla)
Meta가 새로운 RAG 접근법인 REFRAG를 공개했습니다. REFRAG는 LLM에 모든 청크와 토큰을 그대로 넣지 않고 벡터 수준에서 컨텍스트를 압축·필터링해 토큰 사용량을 줄이는 방식으로 설계되어 효율적인 검색-증강 생성(RAG)을 목표로 합니다. 작성자는 이 접근법을 흥미롭다고 평가하며 관련 내용을 정리해 다뤘습니다.
https://en.wikipedia.org/wiki/Vincent_Placcius#/media/File:Houghton_GC6.P6904.689d_-_Placcius,_154.jpg I was today years old when I learned about Vincent Placcius and his library closet for #information #storage and #retrieval. Now it's your turn.
WarpGrep - công cụ truy xuất dữ liệu được đào tạo bằng RL, giúp giảm thiểu tồn dư ngữ cảnh và cải thiện hiệu suất của mô hình. #WarpGrep #RL #MôHìnhHọcMáy #TruyXuấtDữLiệu #AI #TríTuệNhânTạo #VietAI #MachineLearning #Retrieval #Cognition #MCP
https://www.reddit.com/r/LocalLLaMA/comments/1pepgto/warpgrep_cognitions_swegrep_via_mcp_in_claude/
For the 'to read' pile... 👍😀
"We present ORKG reborn, an emerging digital library that supports #finding, accessing, and #reusing accurate, fine-grained, and #reproducible machine-readable expressions of scientific #knowledge that relate #scientific statements and their supporting evidence in terms of data and code".
Advancing Scientific Knowledge #Retrieval and Reuse with a Novel #DigitalLibrary for Machine-Readable Knowledge
https://arxiv.org/abs/2511.08476 #openresearch #OpenScience
Leseempfehlung zum Wochenschluss: COAR hat ein Paper zu Semantic Multilingual Search veröffentlicht – „searching by meaning, not words“. Mit dieser Methode soll das Retrieval von Inhalten in anderen Sprachen und Schriftsystemen verbessert werden.
Auch innerhalb der gleichen Sprache sehe ich noch viel Potenzial, Publikationen anzuzeigen, die inhaltlich, aber nicht im Wortlaut mit der Suchanfrage übereinstimmen.
We've been told embedding search strictly superior to BM25 and all other keyword-search algorithms. Then why is it still used in so many modern search pipelines, especially for RAG?
In this post I'll explain you what hybrid search is and why keyword search is still so useful to improve your search results.
Pyversity – Fast Result Diversification for Retrieval and RAG
https://github.com/Pringled/pyversity
#HackerNews #Pyversity #Fast #Result #Diversification #Retrieval #RAG
