Генетический алгоритм в помощь Adam — супер, но есть нюанс

Хабр привет! Это моя первая статья и я хотел бы начать ее с такого интересного эксперимента как "сбор гибрида для обучения нейронных сетей с помощью генетического алгоритма" и дополнительно рассказать про библиотеку Deap. Давайте определим из чего у нас будет состоять наш гибрид (как можно понять из названия) - это: 1) Обычный проход градиентного спуска ...

https://habr.com/ru/articles/909124/

#искусственный_интеллект #алгоритмы #генетические_алгоритмы #обучение_нейронных_сетей #нейронные_сети #нейронные_сети_и_машинное_обучение #машинное_обучение #mnist

[Перевод] Нейронные сети (инференс MNIST) на «3-центовом» микроконтроллере

Вдохновившись на удивление высокой производительностью нейронных сетей и обучением с учётом квантования на микроконтроллере CH32V003 , я захотел выяснить, как далеко эту идею можно развить. Насколько можно сжать нейронную сеть с сохранением высокой точности тестов на датасете MNIST? Когда речь идёт о крайне дешёвых микроконтроллерах, сложно предположить что-то более подходящее, чем 8-битные Padauk . Эти устройства оптимизированы под простейшие и самые дешёвые приложения из доступных. Самая мелкая модель серии, PMS150C, оснащена однократно программируемой памятью в 1024 13-битных слова и 64 байтами RAM — на порядок меньше, чем в CH32V003. Кроме того, эта модель в противоположность намного более мощному набору инструкций RISC-V содержит коммерческий регистр-аккумулятор на основе 8-битной архитектуры. Возможно ли реализовать механизм инференса MNIST, способный классифицировать рукописные числа, также и на PMS150C?

https://habr.com/ru/companies/ruvds/articles/853050/

#ruvds_перевод #машинное_обучение #микроконтроллеры #PMS150C #mnist #CH32V003

Mojo: убийца Python и будущее Ai?

Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft, и сегодня мы погрузимся в Mojo. Я уже делал обзор данного языка программирования и рассмотрел его преимущества, примеры использования, а также провел сравнение с Python. Теперь давайте посмотрим, как обучить простую сверточную нейронную сеть, и разберём один из методов машинного обучения — линейную регрессию. В качестве примеров задач возьмем стандартные соревнования машинного обучения: предсказание стоимости жилья и классификацию рукописных цифр MNIST. Для проведения экспериментов на Python используем фреймворк машинного обучения PyTorch. А на Mojo — фреймворк машинного обучения Basalt.

https://habr.com/ru/companies/oleg-bunin/articles/843044/

#mojo #машинное+обучение #python #искусственный_интеллект #нейросети #программирование #mnist #pytorch #basalt #Housing_Prices_Dataset

ED法でmnistを学習する(BCELoss)
https://qiita.com/malt03/items/ad8eae77c46496e304c2?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Rust #MNIST #ED法

BitNet b1.58(BitLinear)を実装してMNISTで検証してみた(Tensorflow/Torch)
https://qiita.com/pocokhc/items/09128e92654783a5fa5b
#AI #BitNet #MNIST #learning

@lowd I remember when most ML applications were variations on #MNIST. And #Imagenet, but I only had enough computer at the time to play around with Mnist. But yea, even then "Recommendation Engines" were starting to be the first things anyone mentioned because it was low hanging fruit - something of immediately obvious commercial value with terrific training data and an easy task for deployment.

The #Wasserstein #metric (#EMD) can be used, to train #GenerativeAdversarialNetworks (#GANs) more effectively. This tutorial compares a default GAN with a #WassersteinGAN (#WGAN) trained on the #MNIST dataset.

🌎 https://www.fabriziomusacchio.com/blog/2023-07-29-wgan/

#MachineLearning

Elixir Axon で MNIST （手書き数字）の画像分類モデルをトレーニングする
https://qiita.com/RyoWakabayashi/items/aecafd1b079c59495a9e?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items
#qiita #Elixir #MNIST #Axon #Livebook

I experimented with using Large Language Models to solve a complex #imagerecognition problem.

The generated machine learning model by ChatGPT using a few prompts was able to detect #MNIST handwritten digits with an accuracy of 98%.

Read on if you want to learn how I did this.

#AI #artificialintelligence #deeplearning #neuralnetworks #bingai #bingchat #convolutionalneuralnetworks #LLMs #computervision

https://blog.gopenai.com/using-chatgpt-to-solve-the-mnist-image-recognition-problem-with-deep-learning-ai-796153d80193

Using ChatGPT to solve the MNIST Image Recognition Problem with Deep Learning AI

#computervision #ChatGPT #OpenAI #NeuralNetworks #MNIST #PromptEngineering #ImageRecognition #DeepLearning #AI

https://www.linkedin.com/pulse/using-chatgpt-solve-mnist-image-recognition-problem-deep-paul-ekwere?utm_source=share&utm_medium=member_android&utm_campaign=share_via

@Sardonicus I d love to know how #ml algorithms trained on the #mnist dataset would perform with those images.

It's hard to assess #Continual #Learning models and disentangle #hype from #progress, as the eval landscape is fragmented.

Even when learning from #MNIST to tiny #ImageNet (and back) #sota models tend to #catastrophic #forget a lot!

cc @ContinualAI

👉https://arxiv.org/abs/2303.11076

Micrograd is very simple, only fully connected layers. So first trying to find out if it can even learn numbers based on MNIST dataset.

Then I hope to at least be able to verfit, so the essence works. Then I'll have the challenge of trying to make it work for every icon in the app.

Presumably I have to create/generate a huge set of icon images to train on..

#ux #micrograd #reactNative #MLP #MNIST #TinyUX #Karpathy #ai #NeuralNet

Deep learning series:
Project setup (CNN for MNIST)

https://youtu.be/2JkJZQP9dHg

#DeepLearning #MachineLearning #artificalintelligence #mnist

Nothing like the #Kaggle #fashion #MNIST variant to make me feel like a real Elle Woods over here doing t-SNE on purses and saliency maps on ankle boots 😅

https://github.com/janeadams/fashion_model_analysis/

#MachineLearning #WomeninSTEM #AI #ML #tsne #pca #WiDS #Python

@ilennaj And you are the author of this most spectacular arXiv paper: "Can single neurons solve MNIST? the computational power of biological dendritic trees" Jones & Kording 2020 https://arxiv.org/abs/2009.01269 Hats off to you & @kordinglab ! And welcome.

#neuroscience #dendrites #MNIST

PS: subsequently published as "Might a Single Neuron Solve Interesting Machine Learning Problems Through Successive Computations on Its Dendritic Tree?" Jones & Kording 2021 https://direct.mit.edu/neco/article/33/6/1554/100576/Might-a-Single-Neuron-Solve-Interesting-Machine

#AI demystified: a decompiler

To prove that any "artificial neural network" is just a statistically programmed (virtual) machine whose model software is a derivative work of the source dataset used during its "training", we provide a small suite of tools to assemble and program such machines and a decompiler that reconstruct the source dataset from the cryptic matrices that constitute the software executed by them.

Finally we test the suite on the classic #MNIST dataset and compare the decompiled dataset with the original one.

#ArtificialIntelligence
#MachineLearning
#ArtificialNeuralNetworks
#microsoft
#GitHubCopilot
#Python
#StatisticalProgramming
#VectorMappingMachine

http://www.tesio.it/2021/09/01/a_decompiler_for_artificial_neural_networks.html

手書きの回路図をアップロード
AIが画像認識して、それぞれのICやパッシブ部品、アクティブ部品に自動変換
キレイな図ができる

そういうツールはもうあるかもしれない

#deeplearning #MNIST #Machinelearning