Running GPT-2 in WebGL: Rediscovering the Lost Art of GPU Shader Programming
https://nathan.rs/posts/gpu-shader-programming/
#HackerNews #Running #GPT-2 #in #WebGL #Rediscovering #the #Lost #Art #of #GPU #Shader #Programming #GPU #Shader #Programming #WebGL #GPT2 #MachineLearning
GPT-2 implemented using graphics shaders
https://github.com/nathan-barry/gpt2-webgl
#HackerNews #GPT2 #GraphicsShaders #AIImplementation #WebGL #HackerNews
OpenAI will wieder open werden!
🧠 #OpenAI plant in den kommenden Monaten die Veröffentlichung eines neuen „offenen“ Sprachmodells, das erstmals seit #GPT2 frei verfügbar sein soll.
📋 Über ein Formular sammelt das Unternehmen derzeit #Feedback von Entwicklern und Forschern, um die Wünsche der Community in die Entwicklung einfließen zu lassen.
🏁 OpenAI reagiert damit auf den wachsenden Druck durch Konkurrenten wie #Meta und #DeepSeek, die mit offenen Modellen große Erfolge feiern. (1/2)
Moore’s Law for AI agents: the length of tasks that AIs can do is doubling about every 7 months.
These results appear robust. The authors were able to retrodict back to GPT-2. They further ran experiments on SWE-bench Verified and found a similar trend.
Read more: https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks
#AIBoom #AI #AIAgents #AIAgent #ArtificialIntelligence #GPT2 #MooreLaw #Tasks #DL #ML #Pustam #Raut #AIRevolution
Дообучаем языковую модель GPT2 с помощью Torch
Дообучаем языковую модель GPT2 с помощью Torch Доброго времени суток, в этой статье я хочу поговорить о дообучения языковых моделей. В интернете уже много информации на эту тему, но большинство подобных статей затрагивают ее поверхностно. Сегодня я попробую разобраться в этом подробнее.
https://habr.com/ru/articles/859250/
#языковые_модели #python #python3 #pytorch #дообучение #gpt #gpt2 #языковая_модель
Demystifying the Embedding Space of Language Models
GPT-2 is trying to figure out who and what it its.
https://largelanguage.bandcamp.com/track/i-want-to-know
From Large Language.
#gpt2 #llband
KI verstehen mit Excel: Diese Excel-Tabelle zeigt dir, wie GPT-2 funktioniert
https://t3n.de/news/ki-verstehen-mit-excel-tabelle-gpt-2-1614586/ #KI #GPT2 #Excel
Действительно ли большие языковые модели галлюцинируют? Эксперимент
Существует мнение, что основная проблема больших языковых моделей — в склонности к галлюцинациям. Когда нейросеть генерирует текст с информацией, не связанной с запросом. Меня зовут Полина, я инженер по разработке ПО искусственного интеллекта в YADRO. Вместе с коллегами я разрабатываю системы на базе генеративных моделей, в том числе вопросно-ответных ассистентов. В рамках одного из проектов мы вместе с экспертом команды Андреем Соколовым задались вопросом: действительно ли проблема галлюцинаций так актуальна для современных предобученных LLM в вопросно-ответном сценарии. Для этого мы провели эксперимент на собранном датасете. Попутно рассказали про модели-трансформеры и дали строгое определение понятию «галлюцинации LLM». Все подробности — под катом.
https://habr.com/ru/companies/yadro/articles/837744/
#машинное_обучение #искусственный_интеллект #обучение #галлюцинации #llm #большие_языковые_модели #gpt2
Дообучение модели GPT-2 (RUS) для генерации описаний заведений на основании названия, рубрики и оценки
В данной работе представлен процесс дообучения модели генерации текста на основе архитектуры GPT-2. Целью работы является демонстрация возможностей применения дообученной модели для генерации текстов, соответствующих определённым наименованиям заведений, рубрикам и оценкам, выставленных пользователями. Используя предварительно подготовленный датасет, который включал названия заведений, отношение к определённым рубрикам и рейтинг, мы обучили модель на генерацию описательных текстов, которые могли бы отражать характер и уровень заведений в зависимости от их оценочной характеристики.
https://habr.com/ru/articles/823952/
#finetuning #gpt #gpt2 #natural_language_processing #text_generation #русский_язык #дообучение #языковая_модель
The next chapter in Karpathy's tutorial explains how to reproduce a model closely resembling #OpenAI's original #GPT2.
...but I'm *NOT* trying this on a desktop with a single GPU. The README informs us that this training takes about 4 days on a beefy node with 8 x A100 40GB. Nope!
https://github.com/karpathy/nanoGPT?tab=readme-ov-file#reproducing-gpt-2
#AI #LLM #GPT
Single brain implant restores bilingual communication to paralyzed man
https://arstechnica.com/science/2024/05/single-brain-implant-gives-paralyzed-man-bilingual-communication/ #psychology #BrainImplant #biliungual #communication #BRAVO #GPT2
"#llm.c takes a simpler approach by implementing the neural network training algorithm for #GPT2 directly [in a single file of 1,000 lines of #C]" https://hackaday.com/2024/04/28/train-a-gpt-2-llm-using-only-pure-c-code/
KINEWS24 News Flash
- Atlassian Rovo
- Sam Altman MIT Technology Review
- Microsoft & Sanctuary AI
- MIT KAN Forschung
- GPT2 - schlägt alle anderen LLMs
- CRISPR-GPT
Alle News hier!
#gpt2 #sama #Microsoft #CRISPRGPT #AI #KI #ArtificialInteligence
謎の #生成AI ｢ #gpt2 ｣ 登場で騒然 次世代のGPT ? アルトマンCEOも言及
ITmedia
https://goo.gl/alerts/xxbbgK
There is a mysterious new chatbot from OpenAI on https://chat.lmsys.org/ , it's called GPT2 not to be confused with the old model with the same name.
This models seems to do several things better then GPT-4.
Everybody is speculating what it is and what it is not. 😀
#GPT2 #OpenAI #AI
How to break an AI (the illustrated guide 🤖 )
I am posting this for fun, to show how fragile #AI systems are, and how ridiculous it is to imply that they are intelligent or could wipe us out.
1) Grab a model. For this demo, I will take GPT2 because it fits on my laptop.
2) Copy-paste code for running and fine-tuning the AI. You can take mine here, which will also download #GPT2 for you: https://github.com/possible-worlds-research/AI-buster.
Optional: see how the model, for now, is working as it should… 1/4
