#embedding

Rost Glukhovros@techhub.social
2025-06-19
Rost Glukhovros@techhub.social
2025-06-14

Qwen3 Embedding & Reranker Models on Ollama: State-of-the-Art Performance
glukhov.org/post/2025/06/qwen3
#Qwen3 #Embedding #Reranker #LLM #AI #ollama

Inautiloinautilo
2025-06-10
2025-05-03

Mem-векторы: как сохранить 1500 токенов в одном векторе и зачем это нужно

Каждый, кто работал с большими языковыми моделями (LLM), знает про ограничение длины контекста: модель не может напрямую обработать текст, превышающий определённое число токенов. Это накладывает ограничения на работу с длинными документами и обширным контекстом. Но что если бы мы могли упаковать длинный текст в один-единственный вектор и скормить его модели как обычный токен? Звучит фантастично, однако свежие исследования показывают, что это возможно – такие “mem-векторы” позволяют сохранить сотни и даже полторы тысячи токенов информации в одном эмбеддинге. Это принципиально иной подход, нежели классическое сжатие данных, и он сулит интересные применения. Mem-вектор (от “memory vector”) – это специально обученный вектор, который хранит содержание целого текста. Идея в том, что если модель умеет предсказывать текст, то можно подобрать такой вектор на входе, при котором замороженная (неизменяемая) LLM сама декодирует исходный текст . Иначе говоря, mem-вектор играет роль «семени», из которого предобученная модель порождает заложенное в нём сообщение. В этой статье разберём, как это работает, почему вообще возможно “запихнуть” роман в один вектор и какие ограничения при этом появляются. Также сравним mem-подход с классическими алгоритмами сжатия (Huffman, арифметическое кодирование, zlib и др.), обсудим последние научные работы на эту тему и возможные применения: от Retrieval-Augmented Generation (RAG) до передачи новых знаний замороженным моделям. Центральная мысль: mem-векторы – это не просто компрессия текста, а способ напрямую скормить модели смысл и знания, минуя последовательное чтение токенов . Разбираемся далее

habr.com/ru/articles/906592/

#memвектор #llm #энтропия_текста #компрессия #RAG #embedding #hidden_capacity #NLP

2025-04-27

'Variance-Aware Estimation of Kernel Mean Embedding', by Geoffrey Wolfer, Pierre Alquier.

jmlr.org/papers/v26/23-0161.ht

#embeddings #embedding #empirical

MrsNo1SpecialMrsNo1Special
2025-04-27

Proactive culture is the real preparation. Building a proactive security culture means embedding readiness into everyday operations. It’s not just about preparing for the “what ifs” — it’s about creating an environment where users, teams, and leaders are already aligned before a breach...

medium.com/readers-club/reacti

:rss: Qiita - 人気の記事qiita@rss-mstdn.studiofreesia.com
2025-04-24
2025-04-04

How to speak in ways AI bots won’t understand.

今朝毎朝ボット

youtube.com/watch?v=F4KQ8wBt1Q
#ai #llm #machinelearning #embedding #context

2025-02-22

#AI and #RAG - Learning the basics: What exactly is an #embedding and how to use them in #MariaDB?
youtube.com/watch?v=XkB2DLK60JU

2025-02-14

GitHub - lancedb/lancedb: Developer-friendly, serverless vector database for AI applications. Easily add long-term memory to your LLM apps! github.com/lancedb/lancedb #persistence #OpenSource #embedding #database #GitHub #search #vector #ai

:rss: Qiita - 人気の記事qiita@rss-mstdn.studiofreesia.com
2025-02-07

💟🎉初めてのAI開発!ワクワクしながら作った問い合わせ対応チャットボット🎉💟
qiita.com/SatoRyota_zvc/items/

#qiita #Python #AI #chatbot #OpenAI #embedding

2025-02-03

So basically face recognision is: compare current #embedding distance to database of embeddings and closest is considered a match?
#facerecognition #opencv

LinoTadroslinotadros
2025-01-30

Video: Using an external Azure AI Search Vector store in Azure AI Foundry Prompt Flow.
youtu.be/v3hcfY1oe_k?si=GlAApF
@thetrainingboss

Client Info

Server: https://mastodon.social
Version: 2025.04
Repository: https://github.com/cyevgeniy/lmst