От «яблока» до «королевы»: как нейросети учатся понимать смысл слов через эмбеддинги

Представьте, что вы объясняете ребёнку, что такое «яблоко». Вы покажете картинку, дадите попробовать, расскажете, что оно круглое, сладкое, растёт на дереве, а теперь попробуйте объяснить это нейросети. Она не видит, не пробует, но она понимает только числа. Как же тогда заставить машину понять, что «яблоко» ближе к «груше», чем к «трактору»? Ответ на самом деле кроется в элегантном приёме, который произвёл революцию в NLP- векторных представлениях слов , или эмбеддингах . Проблема «слепого» кодирования: почему one-hot не работает Самый наивный подход- это пронумеровать все слова в словаре и закодировать каждое вектором из нулей и одной единицы:

https://habr.com/ru/articles/992928/

#эмбеддинги #word2vec #nlp #машинное_обучение #векторные_представления #косинусное_сходство #обработка_естественного_языка #нейросети #нейросеть #нейросети_python

Piotr Migda tries to explain vector math magic in 'king – man + woman = queen' using #word2vec 🤓, but it's basically just a linguistic Ouija board session. 🤔 Spoiler alert: it's still math, not #sorcery. 🧙‍♂️✨
https://p.migdal.pl/blog/2017/01/king-man-woman-queen-why/ #PiotrMigda #vectorMath #linguisticOuijaBoard #mathNotMagic #HackerNews #ngated

Word2vec-style vector arithmetic on docs embeddings

https://technicalwriting.dev/embeddings/arithmetic/index.html

#HackerNews #Word2vec-style #vector #arithmetic #on #docs #embeddings #Word2vec #vectorarithmetic #docsembeddings #NLP #MachineLearning

🌘 文件嵌入的word2vec風格向量運算
➤ 探討文件嵌入的類比推理與語義操作
✤ https://technicalwriting.dev/embeddings/arithmetic/index.html
本實驗探討了類似word2vec的向量加減法是否適用於技術文件嵌入。作者使用現代嵌入模型生成文件級別的向量，並進行了兩類實驗：同主題不同領域（將Supabase的文件嵌入替換為Angular的術語）和不同主題同領域（將Supabase的文件嵌入中的「測試」概念替換為「向量」）。實驗結果顯示，在特定任務類型（自訂任務類型）下，向量運算能成功捕捉到預期的語義變化，尤其是在同主題不同領域的實驗中，產生的向量與目標領域的測試文件高度相似。而在不同主題同領域的實驗中，即使不更改任務類型，向量運算也能準確地識別出與「向量」相關的嵌入。這證明瞭向量運算在文件嵌入中的潛力，以及任務類型對嵌入模型輸出結果的重要性。
+ 這篇文章很有啟發性！我一直認為word2vec的向量運算只適用於單詞，沒想到應用在文件層級也能有如此有趣且有意義的結
#自然語言處理 #文件嵌入 #向量運算 #word2vec

Upgrading from word2vec to OpenAI #code #ml #openai #ithcwy #word2vec Using the Open AI embeddings API to find better related posts for a blog.

https://fed.brid.gy/r/https://ithoughthecamewithyou.com/post/upgrading-from-word2vec-to-openai

Pre #2020: #Factorizing Tools

These #AI wre #DeepLearning breakthroughs. #Word2Vec, #DeepDream and #AlphaGo solved novel, previously unsolvable, problems.

If you weren't in the field, you might not think these were AI, and #GPT 2 might have surprised you.

GPTのしくみ入門：AIはどのように言葉を「理解」し、「生み出している」のか？
https://qiita.com/KYoshiyama/items/d86ae5afc29650f0b924?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #word2vec #Transformer #ChatGPT #LLM #ContextualEmbedding

[Перевод] Простой механизм поиска с нуля

Мы с Крисом недавно «с нуля» буквально за пару часов создали механизм поиска для моего блога. Основную часть проделал именно Крис, так как до этого с word2vec я был знаком лишь отдалённо. Разработанный нами поисковик основывается на векторных представлениях (эмбеддингах) слов. Принцип здесь следующий. Функция получает слово и отображает его в N-мерное пространство (в данном случае N=300 ), где каждое измерение отражает определённый оттенок смысла. Вот хорошая статья (англ.) о том, как обучить собственную модель word2vec, и её внутреннем устройстве. Суть работы созданного нами поиска заключается в преобразовании моих статей, а точнее составляющих их слов, в эмбеддинги, сохраняемые в общем пространстве. Затем при выполнении конкретного поиска текст его запроса преобразуется аналогичным образом и сопоставляется с векторами статей. В результате этого сопоставления, используя метрику косинусного сходства , мы ранжируем статьи по их релевантности запросу. Уравнение ниже может показаться пугающим, но в нём говорится, что косинусное сходство, представляющее косинус угла между двух векторов cos(theta) , определяется в виде скалярного произведения, поделённого на произведение величин каждого вектора. Разберём всё это подробнее.

https://habr.com/ru/companies/ruvds/articles/920174/

#ruvds_перевод #поиск #word2vec #эмбеддинги #косинусное_сходство #векторизация

9. TL;DR
Word2Vec was more than just a way to embed words.
It showed us that contrastive learning works — and it’s now everywhere in LLMs and beyond.

#LLM #AI #Embeddings #NLP #MachineLearning #Word2Vec #ContrastiveLearning

This was shared by someone recently, but I can't find it now. Otherwise, I would have boosted or h/t the original post.
A simple search engine from scratch
#search #word2vec
https://bernsteinbear.com/blog/simple-search/

🚀 Wow, two tech wizards defy all odds and cobble together a "search engine" for a blog using word2vec—a tool they just heard about. 🤯 In a Herculean effort that took mere hours, they bravely ventured into the N-dimensional wilderness, emerging victorious with a masterpiece that finds... things. 🧐🔍
https://bernsteinbear.com/blog/simple-search/ #techinnovation #word2vec #searchengine #codingadventure #Ndimensionalvictory #blogtools #HackerNews #ngated

История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима

Доброго времени суток, «Хабр»! В предыдущей части мы рассмотрели историю языковых моделей от робких шагов Маркова до долгой краткосрочной памяти. Сегодня мы продолжим, пройдемся по ключевым архитектурам последних лет и разберём, как модели научились интерпретировать контекст, предсказывать и даже спорить логически. Пристегните токены — вход в зону трансформаций!

https://habr.com/ru/companies/bothub/articles/909100/

#word2vec #трансформер #токенизация #bert #chatgpt #t5

Next stop in our NLP timeline is 2013, the introduction of low dimensional dense word vectors - so-called "word embeddings" - based on distributed semantics, as e.g. word2vec by Mikolov et al. from Google, which enabled representation learning on text.

T. Mikolov et al. (2013). Efficient Estimation of Word Representations in Vector Space.
https://arxiv.org/abs/1301.3781

#NLP #AI #wordembeddings #word2vec #ise2025 #historyofscience @fiz_karlsruhe @fizise @tabea @sourisnumerique @enorouzi

Ведущий разработчик ChatGPT и его новый проект — Безопасный Сверхинтеллект

Многие знают об Илье Суцкевере только то, что он выдающийся учёный и программист, родился в СССР, соосновал OpenAI и входит в число тех, кто в 2023 году изгнал из компании менеджера Сэма Альтмана. А когда того вернули, Суцкевер уволился по собственному желанию в новый стартап Safe Superintelligence («Безопасный Сверхинтеллект»). Илья Суцкевер действительно организовал OpenAI вместе с Маском, Брокманом, Альтманом и другими единомышленниками, причём был главным техническим гением в компании. Ведущий учёный OpenAI сыграл ключевую роль в разработке ChatGPT и других продуктов. Сейчас Илье всего 38 лет — совсем немного для звезды мировой величины.

https://habr.com/ru/companies/ruvds/articles/892646/

#Илья_Суцкевер #Ilya_Sutskever #OpenAI #10x_engineer #AlexNet #Safe_Superintelligence #ImageNet #неокогнитрон #GPU #GPGPU #CUDA #компьютерное_зрение #LeNet #Nvidia_GTX 580 #DNNResearch #Google_Brain #Алекс_Крижевски #Джеффри_Хинтон #Seq2seq #TensorFlow #AlphaGo #Томаш_Миколов #Word2vec #fewshot_learning #машина_Больцмана #сверхинтеллект #GPT #ChatGPT #ruvds_статьи

@futurebird @krozruch That might be very interesting trained on large enough corpus... Who, for instance is exactly between A and B in "thought-space" and can they understand both sides and help bridge communication? Who is in the space further along the distance from group A and B but more extreme in both directions? Think #Word2Vec math... with writers voices and thinking. Then feed #politicians words in and see where they are relative to public thoughtspace, etc..

https://fchollet.substack.com/p/how-i-think-about-llm-prompt-engineering

"Word2vec enabled you to do basic things like plural(cat) → cats or male_to_female(king) → queen. Meanwhile LLMs can do pure magic — things like write_this_in_style_of_shakespeare(“…your poem…”) → “…new poem…”. And they contain millions of such programs."

#AI #LLM #word2vec #VectorPrograms

An In-Depth Guide to Contrastive Learning: Techniques, Models, and Applications
https://myscale.com/blog/what-is-contrastive-learning/
#ycombinator #myscale #myscale_database #myscale_vector_database #myscale_ai #myscale_vector #myscale_illustration #image_search #vector #search_console #database #sql #search_engine #gpt_4 #gpt_3 #dbms #high_performance #vector_images #vector_art #vector_graphics #llm #word2vec

#WordEmbeddings - läuft...

#word2vec #ki #ai

LangChain vs. LlamaIndex
https://myscale.com/blog/llamaindex-vs-langchain-detailed-comparison/
#ycombinator #myscale #myscale_database #myscale_vector_database #myscale_ai #myscale_vector #myscale_illustration #image_search #vector #search_console #database #sql #search_engine #gpt_4 #gpt_3 #dbms #high_performance #vector_images #vector_art #vector_graphics #llm #word2vec

By vector math, recall #word2vec and nearest word to "king" - "man" + "woman" = "queen".

Learn a #vector representation for writers, philosophers, #political leaders and voices.

Map them and show a visualization of where major figures fall on this vector-space of their words.

Plug in writers who's ideas you like, average them and find the vector at the center and find others in that thought space.

Do the reverse - map voices you hate and see where they are and who's in between, etc.