(more Linux and FOSS news in previous posts of thread)

Ollama launches experimental local image generation on macOS with Z-Image Turbo and FLUX.2:
https://alternativeto.net/news/2026/1/ollama-launches-experimental-local-image-generation-on-macos-with-z-image-turbo-and-flux-2/

Penpot 2.13 update: box shadow tokens, improved i18n, and enhanced file management:
https://alternativeto.net/news/2026/1/penpot-2-13-update-box-shadow-tokens-improved-i18n-and-enhanced-file-management/

Radicle 1.6.0 Amaryllis released: major updates and Windows build support:
https://alternativeto.net/news/2026/1/radicle-1-6-0-amaryllis-released-major-updates-and-windows-build-support/
(Never heard of this Git platform before, but I find the concept of peer-to-peer based code sharing platform pretty interesting, never seen such thing before, so I thought I include it here.)

Rust 1.93 brings musl 1.2.5, allocator improvements, and cfg attributes on asm! lines:
https://alternativeto.net/news/2026/1/rust-1-93-brings-musl-1-2-5-allocator-improvements-and-cfg-attributes-on-asm-lines/

jQuery 4.0 trims legacy code, drops deprecated APIs, migrates to ES modules, and more:
https://alternativeto.net/news/2026/1/jquery-4-0-trims-legacy-code-drops-deprecated-apis-migrates-to-es-modules-and-more/

Scala 3.8 requires JDK 17, standard library now built with Scala 3:
https://alternativeto.net/news/2026/1/scala-3-8-requires-jdk-17-standard-library-now-built-with-scala-3/

Swift cross platform framework, Skip, is now free and open source with licensing removed:
https://alternativeto.net/news/2026/1/swift-cross-platform-framework-skip-is-now-free-and-open-source-with-licensing-removed/

PyTorch 2.10 Released With More Improvements For AMD ROCm & Intel GPUs:
https://www.phoronix.com/news/PyTorch-2.10-Released

GNU C Library 2.43 Released With More C23 Features, mseal & openat2 Functions:
https://www.phoronix.com/news/GNU-C-Library-Glibc-2.43

AMD Ryzen AI Software 1.7 Released For Improved Performance On NPUs, New Model Support:
https://www.phoronix.com/news/AMD-Ryzen-AI-Software-1.7

ReactOS Celebrates 30 Years In Striving To Be An Open-Source Windows Implementation:
https://www.phoronix.com/news/ReactOS-30-Years-Old

ReactOS For "Open-Source Windows" Achieves Massive Networking Performance Boost:
https://www.phoronix.com/news/ReactOS-Async-Net-Connect

DragonFlyBSD Now Allows Optional AMD GCN 1.1 Support In AMDGPU Driver:
https://www.phoronix.com/news/AMD-CIK-AMDGPU-DragonFlyBSD

ChaosBSD Is A New BSD For "Broken Drivers, Half-Working Hardware, Vendor Trash" Test Bed:
https://www.phoronix.com/news/ChaosBSD
(Interesting concept, never seen such a system before, not even on Linux land with its few thousand distros lol)

#WeeklyNews #OpenSource #FOSSNews #FOSS #AI #Ollama #Penpot #Radicle #Rust #jQuery #Scala #Swift #PyTorch #GNUCLibrary #AMDRyzenAI #ReactOS #DragonflyBSD #BSD #ChaosBSD #Dev #FosseryTech

think independent (@ThinkIndepende2)

작성자가 PyTorch 코드를 JAX 또는 XLA 코드로 효율적으로 변환하는 방법을 묻고 있습니다. 여러 개발자(@antigravity 등)를 태그하며 자동 변환 기능이 'killer feature'가 될 것이라고 제안해, 프레임워크 간 코드 변환 도구나 워크플로 개선에 대한 관심을 드러냅니다.

https://x.com/ThinkIndepende2/status/2013667352676827531

#pytorch #jax #xla #modelconversion

Indexing into a tensor always gives back a tensor.

#PyTorch ahas

Python + compiled libs deliver GPU speed with simple code.

#python #pytorch #performance

Neuer Blogartikel: Ubuntu-Chroot auf Debian für volle ROCm-GPU-Beschleunigung in KI-Workflows. Inklusive Automatic1111, ComfyUI und Text-Generierung:

https://404lifenotfound.freeddns.org/posts/aichroot/

#Linux #ROCm #AMD #GPU #AI #KI #StableDiffusion #ComfyUI #PyTorch #Virtualization #Chroot #Debian #Ubuntu #Developer #Tech

vLLM Quickstart: High-Performance LLM Serving:
https://www.glukhov.org/post/2026/01/vllm-quickstart/
#LLM #AI #Python #Docker #API #Ollama #DevOps #SelfHosting #NVidia #Hardware #PyTorch #DeepLearning #OpenSource #bash #Linux #Cloud #K8S

AQARION φ³⁷⁷ HYPERGRAPH ARITHMETIC ENGINE

PROBLEM: 67% math retention failure rate
SOLUTION: Operations → physics-backed hyperedges
φ³⁷⁷ temporal decay →

⚡ PERFORMANCE:
• 120ms hyperedge construction
• 98.7% cache hit rate
• 1.2s E2E voice
OPEN SOURCE:
github.com/aqarion/phi377-hypergraph
MIT licensed → FOSS devs contribute NOW!
r/Machinists validated physics foundation
u/Quantarius13 live on Reddit ML
#Hypergraph #PyTorch #Neo4j #FastAPI #FOSS
#HGN #WebGPU #AI #Math #φ377 #OpenSource

Ok yea on #ArchLinux, to get #OpenAI 's #Whisper working with an #NVIDIA GPU (i.e. #Cuda), it's easier to just install the following packages from the Arch repos:

- python-openai-whisper
- python-pytorch-cuda (replace default python-pytorch if any)

There's prolly a way to get the one installed from #Nix working too, I've just no idea how lol. Even installing #Torch/#PyTorch takes incredibly long on Nix cos it has to build it from scratch.

RE: https://sakurajima.social/notes/ah8zifc6hn

Not sure how to diagnose bottlenecks in your #PyTorch inference workloads? In this new article, Chaim Rand uses NVIDIA Nsight Systems to find and incrementally fix data transfer issues, increasing throughput by over 4x.

https://towardsdatascience.com/optimizing-data-transfer-in-batched-ai-ml-inference-workloads/

Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей

Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.

https://habr.com/ru/articles/984248/

#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование

ASUS UGen300 USB AI Accelerator targets edge inference with Hailo-10H

https://fed.brid.gy/r/https://linuxgizmos.com/asus-ugen300-usb-ai-accelerator-targets-edge-inference-with-hailo-10h/

vLLM Quickstart: High-Performance LLM Serving:
https://www.glukhov.org/post/2026/01/vllm-quickstart/
#LLM #AI #Python #Docker #API #Ollama #DevOps #SelfHosting #NVidia #Hardware #PyTorch #DeepLearning #OpenSource #bash #Linux #Cloud #K8S

So sánh Mac mini m4, MacBook m2 và i7 12th & rtx 3060 cho đào tạo PyTorch và sử dụng hàng ngày với 16GB RAM #MacMini #MacBook #PyTorch #RTX3060 #i7 #ĐàoTạoMáyTính #SửDụngHàngNgày #Apple #NVIDIA

https://www.reddit.com/r/LocalLLaMA/comments/1q8oqcb/mac_mini_m4_vs_macbook_m2_vs_i7_12th_rtx_3060/

[Перевод] Обучение ИИ-моделей на обычном ЦП

Ещё раз о ЦП для машинного обучения в эпоху дефицита мощностей GPU Недавние успехи в области ИИ зачастую связывают с появлением и эволюцией графических процессоров (GPU). Архитектура GPU, как правило, включает тысячи ядер для многопроцессорной обработки, высокоскоростную память, выделенные тензорные ядра и пр. Такая архитектура особенно хорошо подходит для рабочих нагрузок, связанных с ИИ и машинным обучением, которые отличаются высоким потреблением ресурсов. К сожалению, из-за резкого роста разработок в области ИИ также наблюдается всплеск потребности в GPU, из-за чего возник их дефицит. В результате разработчики систем машинного обучения всё активнее изыскивают альтернативные аппаратные платформы, на которых можно было бы обучать и эксплуатировать модели. В таком качестве используются, например, выделенные специализированные интегральные схемы (ASIC) для работы с искусственным интеллектом, такие как облачные тензорные процессоры Google , Haban Gaudi и AWS Trainium . Притом, что эти варианты позволяют значительно сэкономить, они подходят для работы не со всеми моделями машинного обучения и, подобно GPU, также остаются дефицитными. В этом посте мы вновь обратимся к старым добрым классическим процессорам (CPU) и вновь поговорим о том, насколько они адекватны применительно к современным ML-моделям. Безусловно, ЦП обычно не так хороши для обслуживания связанных с машинным обучением рабочих нагрузок как графические процессоры, зато их гораздо проще приобрести. Если бы удалось гонять на ЦП (хотя бы некоторые) из таких рабочих нагрузок, то продуктивность разработки в целом удалось бы значительно повысить.

https://habr.com/ru/articles/983908/

#GPU #CPU #Pytorch #оптимизация #машинное_обучение

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

#PyTorch operations involve two dynamic dispatches

From: https://blog.ezyang.com/2019/05/pytorch-internals/

(and what a lovely font)

With the cluster and storage down for maintenance this week, I thought about doing some #pytorch development locally an my laptop. No dedicated GPU, but a recent #intel Core Ultra 2 CPU. So first I went for the CPU-only packages.

Only yesterday I realized that the Windows task manager shows something called #npu in its charts. Fair enough, let's see whether pytorch can use it ...

I have to say, the #xpu pytorch integration has gone a long way. In my case, I could use it as a drop-in replacement for #cuda / #rocm pytorch, yet with the obvious performance differences between HPC GPUs and a laptop iGPU.

https://docs.pytorch.org/docs/stable/notes/get_start_xpu.html

Always nice to have alternatives. Especially for basic testing I don't need big (expensive) GPUs.

A Nvidia não ficou gigante só porque fez uma GPU rápida e mandou uma nota fiscal junto. Ela ficou gigante porque transformou um detalhe técnico em hábito cultural: a ideia de que “fazer IA de verdade” é, por definição, fazer IA em CUDA.

#nvidia #cuda #AI #artificialintelligence #IA #inteligenciaartificial #machinelearning #deepcleaning #PyTorch #GoogleAI #METAAI #Infraestrutura #hardware #GPUs #chips #hpc #opensource #MLOps

https://www.moprius.com/2026/01/meta-e-google-desafiando-o-ecossistema.html

Implement the YOLOv1 loss function from scratch in #PyTorch. This new guide by Muhammad Ardi walks you through the complete code, from the IoU helper function to testing each component.

https://towardsdatascience.com/yolov1-loss-function-walkthrough-regression-for-all/

Increase your model's throughput by over 2x. Learn the optimization techniques Chaim Rand used to significantly speed up a #PyTorch training workload by resolving data transfer bottlenecks.

https://towardsdatascience.com/optimizing-data-transfer-in-ai-ml-workloads/