Continuous Thought Machine: как Sakana AI научила модель думать тиками

Аналитический центр red_mad_robot продолжает следить за архитектурными прорывами в мире AI. В этот раз — экспериментальная модель от команды Sakana AI , которая предлагает мыслить не в терминах слоёв, а в терминах времени. Их Continuous Thought Machine (CTM) — попытка встроить в нейросеть внутреннюю динамику, вдохновлённую человеческим мозгом. Разбираем, как устроена архитектура, что такое «внутренние тики» и зачем нейросети синхронизировать собственные мысли — на примерах из CV, сортировки, Q&A и RL.

https://habr.com/ru/companies/redmadrobot/articles/916364/

#ai #sakana #ctm #ml #lstm #sakanaai #architecture #cifar10 #nlm

#TimeSeries #xLSTM #TiReX #Forecasting #LSTM #HopfieldNet #ConformalPrediction #SeppHochreiter #GIFT #AI #ML #ChickenCoopNoMore 🐔🔥

Анализ и прогнозирование погодных условий

Настоящее исследование посвящено комплексному анализу глобальных климатических изменений на основе исторических метеорологических данных за период с 1950 по 2024 год. Мы фокусируемся на шести ключевых странах, представляющих основные климатические зоны планеты.

https://habr.com/ru/articles/913712/

#Прогнозирование_погоды #Meteostat #postgresql #lstm #xgboost

If #AI were a historical timeline, #RNN and #LSTM were the early trailblazers—laying the foundation for the rise of #GPT and #BERT, the transformers that reshaped how machines understand and generate human language.

Multimodal Stock Price Prediction https://youtu.be/cxHjX4xjvhw?feature=shared via @YouTube #chatgpt #financialforecasting #stockmarket #deeplearning #finbert #lstm

https://www.youtube.com/watch?v=cxHjX4xjvhw&utm_source=flipboard&utm_medium=activitypub

Posted into NOSACAPITALISTA @nosacapitalista-OluOyekanmi

UEBA в кибербезе: как профилирование поведения пользователей на основе Autoencoder помогает выявлять угрозы и аномалии

В современном мире количество атак растёт пропорционально количеству внедрений новых технологий, особенно когда технологии ещё недостаточно изучены. В последнее время атаки становятся всё более разнообразными, а методы их реализации — всё более изощрёнными. Дополнительные проблемы несут и методы искусственного интеллекта, которыми вооружаются специалисты RedTeam. В руках опытного специалиста эти инструменты становятся реальной угрозой безопасности потенциальных целей. Большинство средств информационной безопасности основаны на корреляционных или статистических методах, которые в современных реалиях часто оказываются неэффективными. Что же тогда остаётся специалистам BlueTeam?

https://habr.com/ru/companies/gaz-is/articles/899058/

#газинформсервис #информационная_безопасность #ueba #поведенческая_аналитика #lstm #autoencoder #falco

A Hierarchical conv-LSTM and LLM Integrated Model for Holistic Stock For... https://youtu.be/G-MLSchOaCo?feature=shared via @YouTube #neuralnetworks #stockmarketpredictions #llm #lstm #cnn

https://www.youtube.com/watch?v=G-MLSchOaCo&utm_source=flipboard&utm_medium=activitypub

Posted into AIOLOGY @aiology-OluOyekanmi

Первая ИИ-модель для обучения на тексте

Привет, будущие разработчики! Сегодня я расскажу вам, как создать свою первую модель искусственного интеллекта. Это материал совсем для начинающих, так что не переживайте — никаких сложных терминов и запутанных выражений. Всё, что понадобится, — ваши идеи и немного кода. Будем писать на Python и использовать TensorFlow — мощную библиотеку от Google для машинного обучения.

https://habr.com/ru/companies/otus/articles/885390/

#python #ИИ #tensorflow #машинное_обучение #ИИ_модель #lstm

Training 5 different LSTM models with Python3, PyTorch, and FreeBSD. I turned off X to reclaim more resources during model training. Since I did not know how to screen capture in CLI mode, let's settle with phone's camera. #LSTM #FreeBSD #NeuralNetwork

Сердце насоса склонно к износу: предиктивная аналитика как гарант надёжности оборудования

Износ, старение и простои насосного оборудования создают серьёзные проблемы для многих предприятий, влияя на производительность и увеличивая затраты. В этой статье мы расскажем о нашем опыте использования предиктивного анализа на основе нейросетей LSTM для прогнозирования состояния насосов. Узнать об опыте

https://habr.com/ru/articles/857442/

#прогнозирование_временных_рядов #анализ_данных #машинное_обучение #автоматизация_производства #lstm #техническое_обслуживание #насосное_оборудование #предсказательная_аналитика #цифровизация_ТОиР #SAFE_PLANT

'MLRegTest: A Benchmark for the Machine Learning of Regular Languages', by Sam van der Poel et al.

http://jmlr.org/papers/v25/23-0518.html

#lstm #mlregtest #rnn

憒�雿���曉�唳�踵��銝箔��隞���箔�����������蝛嗡��銝�嚗� - @Thoughts Memo | FxZhihu

Link

Продолжение исследования RNN

С прошлой статьи я внёс несколько изменений: 1. Планировщик был сломан и не изменял скорость. Починил. 2. Остаточное соединение через умножение. 3. WindowedDense для выходной проекции. 4. Добавил clipnorm 1, cutoff_rate 0.4 Как обычно это всё добавляет стабильности и 1% точности. WindowedDense по неизвестной мне причине добавляет SMR стабильность.

https://habr.com/ru/articles/851182/

#rnn #lstm #gru #slr #smr #msmr #tensorflow #python #transformer #исследование

Рекурретные нейронные сети наносят ответный удар

Рекуррентные нейронные сети (RNN), а также ее наследники такие, как LSTM и GRU, когда-то были основными инструментами для работы с последовательными данными. Однако в последние годы они были почти полностью вытеснены трансформерами (восхождение Attention is all you need ), которые стали доминировать в областях от обработки естественного языка до компьютерного зрения. В статье " Were RNNs All We Needed ?" авторы пересматривают потенциал RNN, адаптируя её под параллельные вычисления. Рассмотрим детальнее, в чем же они добились успеха.

https://habr.com/ru/articles/848480/

#рекуррентные_нейронные_сети #lstm #gru #трансформеры

HIRING: Machine Learning Engineer, Web Ads and Open-loop E-Commerce -USDS / Mountain View
💰 USD 228K+

👉 https://ai-jobs.net/J354613/

#Architecture #ComputerScience #DeepLearning #Ecommerce #Engineering #Linux #LSTM #MachineLearning #MLmodels #MXNet

xLSTM is a combination of transformer technology and long-term memory. The result is an architecture that performs better in terms of performance and scalability than the transformers currently in use, the researchers write.

https://arxiv.org/abs/2405.04517

#LSTM #LLM #DeepLearning #artificialintelligence

The Inventor of LSTM Unveils New Architecture for LLMs to Replace Transformers
https://zurl.co/Y8Ua
#ai #genai #llm #lstm

Interesting if not ironic proof that OpenAI does not employ LSTM ;> @jason_koebler @openai @404mediaco #lstm #openai #closedai #copywrong https://www.404media.co/openai-files-copyright-claim-against-chatgpt-subreddit/

Das war eine sehr unterhaltsame Recherche, bei der ich Sepp Hochreiter getroffen habe - ein Pionier des maschinellen Lernens, der mit seiner alten Idee (#lstm) jetzt OpenAi „vom Markt fegen“ will.

Ob dieser alte Algorithmus wirklich das Zeug dazu hat, große Sprachmodelle zu revolutionieren, kann ich schwer einschätzen. Was mir aber immer klarer wurde in letzter Zeit: Transformermodelle sind an ihrer Grenze. Von daher wird sich was bewegen müssen.

https://www.zeit.de/digital/2024-05/sepp-hochreiter-kuenstliche-intelligenz-chatgpt-nxai-lstm/komplettansicht

#chatGPT #openAi

The Inventor of #LSTM Unveils New Architecture for #LLMs to Replace Transformers

One of the most important aspects of the xLSTM architecture is its flexible ratio of MLSTM and SLSTM blocks.

https://analyticsindiamag.com/the-inventor-of-lstm-unveils-new-architecture-for-llms-to-replace-transformers/?utm_source=flipboard

#AI