#Distillation

2026-02-01

QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать

NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода.

habr.com/ru/articles/991586/

#LLM #Квантизация #NVIDIA #QAD #QAT #FP4 #Blackwell #Machine_Learning #Llama #Distillation

2026-01-21

Chia sẻ quy trình nhẹ để huấn luyện mô hình nhỏ chuyên dụng bằng knowledge distillation. Dùng Claude skill + distil‑cli, teacher DeepSeek‑V3 sinh dữ liệu tổng hợp, student Qwen3‑0.6B cải thiện Text2SQL từ 36% → 74% (ROUGE ~88%). Kết quả GGUF 2.2 GB chạy Ollama. #ML #AI #Distillation #NLP #Mô_hình_nhỏ #Claude #DeepSeek #Vietnam

i.redd.it/64ya7ykngoeg1.png

Swiss Army Nerdwesmorgan1
2026-01-04

Some reading for anyone interested in small-batch (including craft/home ) or in general...I imagine that some of my friends might find this interesting.

controldesign.com/management/v

2025-11-28

L’ #UE est aussi sollicitée pour puiser dans sa réserve de crise afin d’abonder un programme de #distillation, après celui de 2023. « Il ne s’agit pas d’un énième plan d’urgence destiné à corriger un déséquilibre structurel : il s’agit d’un investissement pour redonner un avenir à notre filière #viticole et aux #agriculteurs », a dit la ministre de l’ #Agriculture #AnnieGenevard.

3/4

2025-11-06
Retours sur un shooting « fantastiképique » ! 📸✨

Le bouclage de mon catalogue pour les Fêtes est enfin fait ! Un long travail fastidieux mais jalonné d'une étape aussi improbable que magique : réaliser mon premier shooting de mes Eaux de Senteurs Végétales en conditions réelles, dans leur milieu naturel initial : la forêt. 🌲

Et oui, pour moi, pas de studio aseptisé, place à l'instinct. J'avais envie de suivre cette idée et l'appel de la forêt morvandelle. Ce fut un vrai défi technique pour moi qui pratique la photo en amateur.... J'y suis allée sans trépied, avec tous mes flacons en verre et mes étiquettes de papier, chassant la lumière naturelle à travers les bois.

😅 Une fois sur place, il y a l'ombre portée des grands arbres, le balai incessant des feuilles d'automne qui voltigent, et ce fameux rayon de lumière qui disparaît aussi vite qu'il est venu... à peine le temps d'attraper le bon angle, d'éviter le flou, de courir après l'instant parfait. C'est une lutte contre la surexposition et les traces de doigts sur le verre noir brillant. Épique, mais vital pour espérer un rendu correct.

Mon artisanat, c'est aussi cela : être à la fois créatrice et être une sorte de « femme-orchestre » (pour la photo, le marketing, la logistique). C'est mettre la main à la pâte à chaque étape pour garantir que l'image projetée raconte la même histoire que ce que je fabrique.

🔖 Note : "J'ai découvert le chant des forêts d'automne ! Plongée dans le silence de la la forêt, quand le vent se met à souffler, les feuilles qui tombent claquent dans les airs comme de véritables petits cailloux. Un son puissant, une symphonie de percussions douces et colorées." 🍂

🙏 Je remercie infiniment mon ami photographe d'art, Dorex, de m'avoir offert un jour cet appareil, un outil précieux qui me permet aujourd'hui de capturer la 'vie d'ici' et l'âme d'ÉTHERNITÉ.


---
#Artisanat #MadeInFrance #Créatrice #SlowLife #Photographie #Nature #Foret #Automne #Distillation #Alambic #Shooting
2025-10-31

29-Oct-2025
study uses ancient plant to decode 's history
the study focuses on — hollow-stemmed that have thrived on Earth for more than 400 million years. The team’s findings reveal that traveling through these plants undergoes such intense natural that its ratios resemble those found in meteorites or in extraterrestrial materials.

eurekalert.org/news-releases/1

2025-10-29

Hugging Face giới thiệu GOLD: Cách cải tiến học theo sách (distillation) giữa mọi cặp mô hình AI, dù bộ mã hóa (tokenizer) khác nhau. Phương pháp này tiết kiệm 10-30x giờ GPU so với học tăng cường (RL), cho kết quả tốt hơn GRPO với ít bước huấn luyện. #AIResearch #MáyHọc #HuggingFace #OnPolicyDistillation #KhoaHocDuLieu #MachineLearning #Distillation #LLMTraining

reddit.com/r/LocalLLaMA/commen

2025-10-19

Live streaming now on eom.dev!

Music Theory and Improvisation | Concert

#owncast #livestreaming #science #chemistry #distillation #ethanol #alcohol #brewing

https://owncast.eom.dev

2025-10-17

Live streaming now on eom.dev!

Music Theory and Improvisation | Concert

#owncast #livestreaming #science #chemistry #distillation #ethanol #alcohol #brewing

https://owncast.eom.dev

2025-10-15

Live streaming now on eom.dev!

Ethanol Distillation | Distill the Distill pt. 2

#owncast #livestreaming #science #chemistry #distillation #ethanol #alcohol #brewing

https://owncast.eom.dev

2025-10-15

Live streaming now on eom.dev!

Ethanol Distillation | Distill the Distill pt. 2

#owncast #livestreaming #science #chemistry #distillation #ethanol #alcohol #brewing

https://owncast.eom.dev

2025-10-15

Live streaming now on eom.dev!

Ethanol Distillation | Distill the Distill pt. 2

#owncast #livestreaming #science #chemistry #distillation #ethanol #alcohol #brewing

https://owncast.eom.dev

2025-10-15

Live streaming now on eom.dev!

Ethanol Distillation | Distill the Distill pt. 2

#owncast #livestreaming #science #chemistry #distillation #ethanol #alcohol #brewing

https://owncast.eom.dev

EthernitéEthernite
2025-10-09

7h du matin. Full Moon, terrain avec vue 🌕

Ce matin-là, je chausse mes bottes, direction l'arrière de la ferme.

🌟 Admirer le spectacle, contempler, saisir l'instant. Tout attendra ce matin.

🙏 Après l'effervescence des derniers jours, se ré-ancrer à l'essence vivante de la nature, du Morvan. Retrouver le calme et la quiétude du travail en atelier.

---
        

2025-10-09
7h du matin. Full Moon, terrain avec vue 🌕

Ce matin-là, je chausse mes bottes, direction l'arrière de la ferme.

🌟 Admirer le spectacle, contempler, saisir l'instant. Tout attendra.

La pleine lune, encore puissante dans le ciel, enveloppée de brumes matinales, diffuse ses derniers halos pâles dans un ciel couleur pastel.

En arrière-plan, le Mont Beuvray (ancien oppidum sacré de Bibracte), a complètement disparu du décor, mais sa présence, même invisible, demeure puissamment enracinée dans le paysage.

Ce sont ces énergies, ces ambiances particulières, ces histoires, le rythme lunaire, la nature environnante qui guident mon travail.🙏

Ce pas de côté est la première étape de ma journée : se relier à l'Essence Vivante du Morvan, là où le panier se remplit de patience et de trésors, direction l'atelier.

---
#Ethernite #FullMoon #Morvan #Bibracte #EssencesVivantes #SlowLife #Contemplation #Distillation #Nature #Sky #Photography #poesievivante
2025-10-01
[ACTU 🍁 ÉVÉNEMENT FETE DE L'AUTOMNE]

Ce week-end, je sors de l'atelier pour un instant de partage au cœur de la Fête de l'Automne, organisée par le Parc Naturel Régional du Morvan, les 4 et 5 octobre à Saint-Brisson. Si vous êtes dans le coin, welcome !
---

✨Retour en enfance
Les derniers jours ont été consacrés à un travail discret, à la frontière entre la forêt et l'artisanat. Guidée par les trésors de dame nature, j'ai retrouvé le plaisir de glaner pour décorer notre stand collectif, celui des Herbiers du Morvan, association que je vous invite vivement à découvrir.
Prendre le temps de créer des couronnes automnales, de petits bouquets à suspendre, une guirlande de chèvrefeuille parsemée de lierre, le tout paré des trésors colorés offerts par la saison — cynorrhodons et baies de sorbier. C'est simple et ça fait tant de bien de décrocher son cerveau.
---

Le fruit de ce retour à des plaisirs simples, c'est l'essence même de mes créations. Distillée avec intention dans mon alambic en cuivre, chaque Eau de Senteur Végétale porte en elle la mémoire olfactive de la plante.
J'aurai le plaisir de vous faire humer une sélection de mes explorations odorantes, dont les essences Mousse, Épicéa, Cardamome, Bergamote, Menthe Poivrée et Rose. Une invitation à créer vos propres rituels.
---

🌿 RDV sur le Stand des Herbiers du Morvan
Venez nous rencontrer ! Productrices et créatrices de l'association seront présentes pour vous faire découvrir nos gammes et animer des moments de transmission :
> Samedi (15h) : Arbres et arbustes, reconnaissance botanique et usages.
> Dimanche (11h) : L'herbier des enfants (à partir de 5 ans).
> Dimanche (14h) : Plantes à usages médicinaux et culinaires.
Hâte de partager mon travail quotidien et d'échanger avec vous sur cet artisanat à contre-courant du monde.
---

Infos pratiques : www.parcdumorvan.org
---
#Ethernite #Distillation #EauDeSenteur #Artisanat #Morvan #FeteDeLAutomne #SavoirFaire #Plantes #Foret #Nature #Creations #Végétal

Client Info

Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst