Lmst

DeepSeek mHC - Quand les réseaux de neurones menacent d'exploser

https://fed.brid.gy/r/https://korben.info/deepseek-mhc-hyper-connections-stabilite.html

<p>Bon, j'vais pas y aller par quatre chemins, l'architecture des Transformers qu'on utilise tous (GPT, Claude, Llama...) repose sur une brique qui n'a pas bougé depuis 2015 et qui s'appelle <strong>la connexion résiduelle</strong>.</p>
<p>C'est le fameux <code>x + F(x)</code> qui permet aux gradients de circuler sans mourir étouffés au bout de 3 couches mais avec l'arrivée de modèles de plus en plus massifs, un nouveau problème est apparu... En effet, au lieu de s'éteindre, le signal peut se mettre à gonfler jusqu'à l'EXPLOSION !!.</p>
<p>C'est là qu'interviennent les chercheurs de DeepSeek avec une idée baptisée "<strong>Manifold-Constrained Hyper-Connections</strong>" (mHC). Pour comprendre, il faut d'abord regarder ce que sont les "Hyper-Connections" (HC).</p>
<p>En fait, au lieu d'avoir un seul flux d'info, on en a plusieurs en parallèle qui se mélangent via des matrices. En pratique, cela veut dire que c'est vite le chaos. Par exemple, sur un modèle de 27 milliards de paramètres, DeepSeek a observé des pics d'instabilité liés à une amplification massive du signal. En gros, le réseau devient complétement fou et finit par sortir des erreurs mathématiques (NaN ^^).</p>
<p>La solution de DeepSeek c'est donc de laisser ces matrices de mélange faire n'importe quoi, tout en les forçant à rester raisonnables. Ils utilisent pour cela une contrainte dite "doublement stochastique". Concrètement, cela signifie que la somme de chaque ligne et de chaque

✦ Qwen accélère la recherche multimodale en 2026. Et si le prochain bond venait du retrieval, pas du chat ?

#KingLand #Qwen #IntelligenceArtificielle #RechercheIA #Multimodal #RAG #AgentsIA #API #AlibabaCloud

⟡ Fiche d’impact KingLand : https://kingland.fr/qwen-ai-agents-api-deep-research/

Ces derniers mois, Qwen ne se contente plus d’un chatbot “qui répond”. La trajectoire est nette : agents, API, Deep Research… et un focus qui monte sur la recherche multimodale.

⟡…

https://kingland.fr/qwen-ai-agents-api-deep-research/?utm_source=mastodon&utm_medium=jetpack_social

GPT-5.2 : moins de prompts, plus de continuité !

#OpenAI #GPT52 #agentsIA #copiloteIA #innovation #automatisation #productivite #strategie #transformationnumerique #developpeurs #data #rechercheIA #marketingdigital #tech #KingLand

👉 Découvrir : https://kingland.fr/gpt-5-2-openai-agents-ia/

Parce que GPT-5.2 n’est pas qu’un modèle “plus fort” : c’est une base plus cohérente pour construire des agents IA qui tiennent la distance, avec un vrai gain sur la qualité des…

https://kingland.fr/gpt-5-2-openai-agents-ia/?utm_source=mastodon&utm_medium=jetpack_social

Ton SEO ne suffit plus : mesure ta visibilité IA !

#SEO #RechercheIA #MarketingDigital #IA #Keywordcom #KingLand

👉 Tester l’outil : https://keyword.com/?via=seotool

Parce qu’un tableau de bord vaut mieux que des suppositions sur ce que Gemini ou ChatGPT racontent de ta marque.

Pendant que tu optimises encore tes SERP, les AI Overviews, Gemini ou Perplexity répondent déjà à la place de ton site.

La question n’est plus “suis-je 1er sur Google ?”, mais “suis-je cité…

https://kingland.fr/keyword-ai-search-visibility/?utm_source=mastodon&utm_medium=jetpack_social

Salut à tous ! 👋
Questions pour la communauté :

Quelqu’un a-t-il de l’expérience avec ces GPU ? Lequel recommanderiez-vous pour exécuter des LLMs plus grands localement ?
Y a-t-il d’autres GPU serveurs économiques que j’aurais pu manquer et qui sont excellents pour les charges de travail IA ?
Avez-vous des conseils pour construire une station de travail IA rentable ? (Refroidissement, alimentation, compatibilité, etc.)
Quelle est votre configuration préférée pour l’inférence IA locale ? J’aimerais entendre vos expériences !

Merci d’avance ! 🙌

#ServeurIA #IALocale #MontageBudget #LLM #ConseilsGPU #LaboMaison #MatérielIA #IAFaitesVousMême #GPUServeur #TechOccasion #CommunautéIA #IAOpenSource #IAAutoHébergée #ConseilsTech #StationIA #ApprentissageAutomatique #RechercheIA #FediverseIA #IALinux #MontageIA #ApprentissageProfond #MontageServeur #IABudget #CalculEnPériphérieIA #Questions #QuestionsCommunauté

#RechercheIA

Client Info