#FineTuning

2025-07-06

Text-to-LoRA: мгновСнная адаптация трансформСров

Π˜ΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ Sakana AI Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Π°Π»ΠΈ Text-to-LoRA (T2L) , Π³ΠΈΠΏΠ΅Ρ€ΡΠ΅Ρ‚ΡŒ, которая динамичСски Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ вСса Low-Rank Adaptation (LoRA) для Π±ΠΎΠ»ΡŒΡˆΠΈΡ… языковых ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° основС описаний Ρ†Π΅Π»Π΅Π²Ρ‹Ρ… Π·Π°Π΄Π°Ρ‡ Π½Π° СстСствСнном языкС. Π­Ρ‚ΠΎΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄ обСспСчиваСт ΡΡ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΡƒΡŽ Π°Π΄Π°ΠΏΡ‚Π°Ρ†ΠΈΡŽ Π±Π΅Π· ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ настройки (zero-shot), прСвосходя установлСнныС Π±Π°Π·ΠΎΠ²Ρ‹Π΅ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ ΠΈ достигая ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ, сравнимой с Ρ‚ΠΎΠ½ΠΊΠΎ настроСнными Π°Π΄Π°ΠΏΡ‚Π΅Ρ€Π°ΠΌΠΈ Π½Π° Ρ€Π°Π½Π΅Π΅ Π½Π΅ Π²ΡΡ‚Ρ€Π΅Ρ‡Π°Π²ΡˆΠΈΡ…ΡΡ Π·Π°Π΄Π°Ρ‡Π°Ρ….

habr.com/ru/articles/925404/

#ai #ml #llm #lora #sakana #TextToLoRA #Hypernetwork #finetuning

Irène LangletiLangle@piaille.fr
2025-07-05

En train de commencer à utiliser #calibre, et très contente de l'éditeur de métadonnées par lot. Cette fonction "tester le résultat" existe-t-elle sur #Zotero? Ce serait drôlement pratique, et jusqu'ici je n'en ai pas vu.

(Certes je reviens d'un colloque oΓΉ on me parlait de #finetuning, mais je ne suis pas en mesure d'utiliser Γ§a pour nettoyer mes listes. Par contre on m'avait conseillΓ© calibre depuis un bail.)

capture d'Γ©cran du logiciel avec une fonction "tester le rΓ©sultat" dans un rechercher/remplacer sur 33 titres.
2025-06-30

[ΠŸΠ΅Ρ€Π΅Π²ΠΎΠ΄] ΠšΡ‚ΠΎ, ΠΊΠ°ΠΊ ΠΈ Π·Π°Ρ‡Π΅ΠΌ внСдряСт Gen AI Π² 2025: ΠΎΠΏΡ‹Ρ‚ 100 CIO

Π§ΡƒΡ‚ΡŒ большС Π³ΠΎΠ΄Π° Π½Π°Π·Π°Π΄ ΠΌΡ‹ Π²Ρ‹Π΄Π΅Π»ΠΈΠ»ΠΈ 16 ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Ρ… ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ Π² Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΈΠ»ΠΈ ΠΊ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ ΠΈ Π·Π°ΠΊΡƒΠΏΠΊΠ΅ Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹Ρ… ИИ. Π‘ Ρ‚Π΅Ρ… ΠΏΠΎΡ€ Π»Π°Π½Π΄ΡˆΠ°Ρ„Ρ‚ ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠΈΠ» ΡΡ‚Ρ€Π΅ΠΌΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ, поэтому ΠΌΡ‹ снова ΠΏΡ€ΠΎΠ²Π΅Π»ΠΈ бСсСды с Π±ΠΎΠ»Π΅Π΅ Ρ‡Π΅ΠΌ двумя дСсятками ΠΊΠΎΡ€ΠΏΠΎΡ€Π°Ρ‚ΠΈΠ²Π½Ρ‹Ρ… Π·Π°ΠΊΠ°Π·Ρ‡ΠΈΠΊΠΎΠ² ΠΈ опросили 100 CIO ΠΈΠ· 15 отраслСй, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠΌΠΎΡ‡ΡŒ Ρ„Π°ΡƒΠ½Π΄Π΅Ρ€Π°ΠΌ ΠΏΠΎΠ½ΡΡ‚ΡŒ, ΠΊΠ°ΠΊ Π² 2025 Π² корпорациях ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚, ΠΏΡ€ΠΈΠΎΠ±Ρ€Π΅Ρ‚Π°ΡŽΡ‚ ΠΈ Π·Π°ΠΊΠ»Π°Π΄Ρ‹Π²Π°ΡŽΡ‚ Π±ΡŽΠ΄ΠΆΠ΅Ρ‚Ρ‹ ΠΏΠΎΠ΄ generative AI . Π”Π°ΠΆΠ΅ Π² Ρ‚Π°ΠΊΠΎΠΉ Π΄ΠΈΠ½Π°ΠΌΠΈΡ‡Π½ΠΎΠΉ сфСрС, Π³Π΄Π΅ СдинствСнная постоянная β€” это ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Ρ‹, структура Ρ€Ρ‹Π½ΠΊΠ° genAI измСнилась ΠΊΡƒΠ΄Π° сильнСС, Ρ‡Π΅ΠΌ ΠΌΡ‹ ΠΎΠΆΠΈΠ΄Π°Π»ΠΈ послС ΠΏΡ€ΠΎΡˆΠ»ΠΎΠ³ΠΎ исслСдования.

habr.com/ru/articles/923112/

#genai #ai #ΠΈΠΈ #Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½Ρ‹ΠΉ_ΠΈΠΈ #llm #finetuning #openai #anthropic

2025-06-20

Π Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° LLM ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ для обновлСния ΠΊΠΎΠ΄Π° ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ Π½Π° Π±ΠΎΠ»Π΅Π΅ высокиС вСрсии Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊΠΎΠ² ΠΈΠ»ΠΈ языков программирования

Π’ этой ΡΡ‚Π°Ρ‚ΡŒΠ΅ я ΠΏΠ»Π°Π½ΠΈΡ€ΡƒΡŽ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚ΡŒ, ΠΊΠ°ΠΊ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ большиС языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ (LLM) для ΠΌΠΈΠ³Ρ€Π°Ρ†ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΠΎΠ² ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌΠΈ Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊΠ°ΠΌΠΈ. ΠŸΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ LLM Π² Π·Π°Π΄Π°Ρ‡Π°Ρ… Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ рСпозитория β€” это Ρ€Π°Π·Π²ΠΈΠ²Π°ΡŽΡ‰Π°ΡΡΡ ΠΈ всё Π±ΠΎΠ»Π΅Π΅ популярная ΠΎΠ±Π»Π°ΡΡ‚ΡŒ. ΠœΠΈΠ³Ρ€Π°Ρ†ΠΈΡ ΠΊΠΎΠ΄Π° со старых, ΡƒΡΡ‚Π°Ρ€Π΅Π²ΡˆΠΈΡ… Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊΠΎΠ² Π½Π° Π½ΠΎΠ²Ρ‹Π΅ являСтся ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ· ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Ρ… Π·Π°Π΄Π°Ρ‡ Π² ΠΊΡ€ΡƒΠΏΠ½Ρ‹Ρ… ΠΊΠΎΡ€ΠΏΠΎΡ€Π°Ρ‚ΠΈΠ²Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°Ρ….

habr.com/ru/articles/920424/

#llm #rl #expressjs #nestjs #python #gpt #rag #llama #finetuning

2025-06-20

Getting Started with the AI Toolkit: A Beginner’s Guide with Demos and Resources. buff.ly/UQgMhhI #vscode #ai #aitoolkit #finetuning #aimodels #modelcatalog #learning

Getting Started with the AI To...

2025-06-05

RAG: Π”ΠΎΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ эмбСддингов для ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΡ точности поиска

ΠŸΡ€ΠΈΠ²Π΅Ρ‚, Π₯Π°Π±Ρ€! МСня Π·ΠΎΠ²ΡƒΡ‚ Π‘Π°ΠΏΡ€ΠΈΠ½ Π‘Π΅ΠΌΡ‘Π½. Π― занимаюсь Π°Π½Π°Π»ΠΈΠ·ΠΎΠΌ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ ΠΌΠ°ΡˆΠΈΠ½Π½Ρ‹ΠΌ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ΠΌ Π² ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ ΠŸΠ“Πš Π”ΠΈΠ΄ΠΆΠΈΡ‚Π°Π». БСгодня ΠΌΡ‹ ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°Π΅ΠΌ ΡΠ΅Ρ€ΠΈΡŽ статСй , Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ я Ρ€Π°ΡΡΠΊΠ°Π·Ρ‹Π²Π°ΡŽ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ ΠΌΡ‹ с ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ Ρ€Π°Π·Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π»ΠΈ ИИ-ΠΏΠΎΠΌΠΎΡ‰Π½ΠΈΠΊΠ°. Π’ ΠΏΡ€ΠΎΡˆΠ»ΠΎΠΉ ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΌΡ‹ обсудили, ΠΏΠΎΡ‡Π΅ΠΌΡƒ стандартныС ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Ρ‹ ΠΊ Ρ€Π°Π±ΠΎΡ‚Π΅ с Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°ΠΌΠΈ Π½Π΅ всСгда Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚, ΠΈ ΠΊΠ°ΠΊΠΈΠ΅ шаги ΠΏΠΎΠΌΠΎΠ³Π»ΠΈ Π½Π°ΠΌ ΠΏΠΎΠ²Ρ‹ΡΠΈΡ‚ΡŒ качСство поиска Π±Π΅Π· сущСствСнных Π·Π°Ρ‚Ρ€Π°Ρ‚ памяти Π½Π° GPU. БСгодня Ρ€Π΅Ρ‡ΡŒ ΠΏΠΎΠΉΠ΄Ρ‘Ρ‚ ΠΎ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΌ этапС: Π΄ΠΎΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ (fine-tuning) ΠΌΠΎΠ΄Π΅Π»ΠΈ эмбСддингов для ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½ΠΈΡ качСства поиска Π² RAG-систСмС. Π­Ρ‚ΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠ»ΠΎ Π½Π°ΠΌ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ Ρ‚ΠΎΡ‡Π½Ρ‹Π΅ прСдставлСния Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΎΠ² ΠΈ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΡ… запросов, Ρ‡Ρ‚ΠΎ Π½Π°ΠΏΡ€ΡΠΌΡƒΡŽ сказалось Π½Π° рСлСвантности Ρ„ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹Ρ… ΠΎΡ‚Π²Π΅Ρ‚ΠΎΠ². Π”Π°Π²Π°ΠΉΡ‚Π΅ ΠΏΠ΅Ρ€Π΅ΠΉΠ΄Ρ‘ΠΌ ΠΊ дСталям.

habr.com/ru/companies/pgk/arti

#rag #finetuning #lora #embeddings #hardnegative #tripletloss #искусствСнный_ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚ #машинноС_ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

2025-06-05

Prepping data for AI feels a bit like meal prep…
Except your dinner is a .jsonl file and your customer is a llama. πŸͺ

I’m learning the ropes of AI training, starting with how to turn raw .txt into structured data for LLMs.

πŸŽ₯ How to Feed Your Llama is live:
youtube.com/watch?v=YB9cVyjV9B

#AI #LLM #JSONL #FineTuning #Python #LearningInPublic #LLaMA #Mistral

2025-06-01

AI question. Say I #finetune #llama2 by #finetuning on a text task:

deciding if a new text contains new information over the original

and

label the training sets with: new-information (A) , and no-new-information (not-A)

how does the #llm reliably interpret the question:

Is there new information in this text as compared with the original as uploaded?

How does a llm make the link to the label given in the training? After all: the labels names could have been just A and not-A ?

Dr. Thompsonrogt_x1997
2025-05-25

🎯 No code. No problem. Fine-tune billion-parameter AI models this weekend for under $10 using LoRA!
Boost accuracy, slash costs, and launch your custom AI in just 72 hours πŸ§ͺπŸ’»
Read how non-coders are becoming AI builders πŸ‘‰
medium.com/@rogt.x1997/the-wee

medium.com/@rogt.x1997/the-wee

Erik JonkerErikJonker
2025-05-19

Waarom GPT-NL niet zonder mensen kan: β€˜de monsterklus van finetuning’
gpt-nl.nl/nieuws/finetuning/

2025-05-07

Π”ΠΎΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° своих Π΄Π°Π½Π½Ρ‹Ρ… β€” просто ΠΈ эффСктивно

Π’ ΠΌΠΈΡ€Π΅ ИИ слоТился ΠΌΠΈΡ„, Ρ‡Ρ‚ΠΎ для эффСктивной Ρ€Π°Π±ΠΎΡ‚Ρ‹ с языковыми модСлями Π½ΡƒΠΆΠ½Ρ‹ ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹Π΅ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ мощности ΠΈ ΠΊΠΎΠΌΠ°Π½Π΄Π° Π΄ΠΎΡ€ΠΎΠ³ΠΈΡ… спСциалистов. Но ΠΏΡ€Π°Π²Π΄Π° Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ сСгодня Π΄Π°ΠΆΠ΅ нСбольшая компания ΠΈΠ»ΠΈ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹ΠΉ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊ ΠΌΠΎΠ³ΡƒΡ‚ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ ΡƒΠΌΠ½Ρ‹Π΅ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ, Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ ΠΏΠΎΠ΄ свои Π½ΡƒΠΆΠ΄Ρ‹.

habr.com/ru/articles/907542/

#instructlab #finetuning

2025-04-29

[ΠŸΠ΅Ρ€Π΅Π²ΠΎΠ΄] Руководство ΠΏΠΎ созданию систСмы ΠΎΡ†Π΅Π½ΠΊΠΈ качСства AI

Как ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Ρ‚Ρ€Π΅Ρ…ΡƒΡ€ΠΎΠ²Π½Π΅Π²ΡƒΡŽ систСму ΠΎΡ†Π΅Π½ΠΊΠΈ качСства Ρ€Π°Π±ΠΎΡ‚Ρ‹ AI, которая ускорит Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ ΠžΡΠ½ΠΎΠ²Ρ‹Π²Π°ΡΡΡŒ Π½Π° кСйсах 30+ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΠΎΠ², с ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°ΠΌΠΈ ΠΈ шаблонами

habr.com/ru/articles/905070/

#искусствСнный_ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚ #AI_Evals #ΠΏΡ€ΠΎΠ΄Π°ΠΊΡ‚ΠΌΠ΅Π½Π΅Π΄ΠΆΠΌΠ΅Π½Ρ‚ #Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° #llm #тСстированиС #качСство #ΠΈΡ‚Π΅Ρ€Π°Ρ†ΠΈΠΈ #finetuning #ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠΈ

Client Info

Server: https://mastodon.social
Version: 2025.04
Repository: https://github.com/cyevgeniy/lmst