Got the 🇨🇭 #SwissAI #Apertus model - one of the very few completely opensource LLMs - running locally!

Next step: finetuning on historical low-resource languages (like Middle High German).

#FOSS #LLM #ParzivAI #Mittelhochdeutsch

nach vielen Versuchen gelang mir heute ein mittelgroßer Durchbruch beim Finetuning von #ParzivAI v0.2 - ParzivAI kann jetzt reasoning!

Und bald gibt es mehr dazu!

#DH #Mittelhochdeutsch #LLM #KI

Vor einigen Wochen haben Florian Nieser und ich #ParzivAI einem größeren Publikum präsentieren dürfen.

Alles dazu findet Ihr in diesem Blogpost:

https://hse.hypotheses.org/6066

#HSEHeidelberg #LernenmitKI #KI #AI #LLM #DigitalHumanities #DH #FediLZ

Presenting #ParzivAI at #AIPalace 2024. #DH #AI

@festal <lacht in #ParzivAI, der der Schülerin mittelhochdeutsche Grammatik visuell erklärt >

#ParzivAI hat mehrere Milestones erfolgreich absolviert. 🍻 #OnTheRoadToBeta #DH #Digitalhumanities #Mittelhochdeutsch #KI #AI #RAG

@chpollin Kurzer Blick ins #ParzivAI -Labor. Dürfte dann bis zum 30.10. durch sein 😀.

Durfte vorgestern einen Vortrag zu unserem (@fnieser.bsky.social) Mittelalter-Chatbot #ParzivAI halten. Dabei kam auch diese Folie vor. Aber nicht nur auf der konzeptionellen Seite tut sich was, nein, auf der praktischen auch! Stay tuned.

#Mittelhochdeutsch #llm #rag #dh #ki #ai #lernenmitKI #FediLZ

Small update: 🤖⚔️ #ParzivAI - our #GenAI language model specialized in translating #MiddleHighGerman into modern #German, and explaining the #MiddleAges to students - is halfway done with another round of training...

#DigitalHumanities #DH #AI #AIinEducation #LLM #LernenmitKI @edutooters @fedilz @histodons

🤖⚔️ #ParzivAI v0.3 is learning again. More Middle High German texts and translations, more context knowledge, more conversations with teachers and studens, more parameters means longer training.

⏩ See ya again in 225 hours

#LLM #AI #finetuning #ML #history

#ParzivAI v0.2: die nächste Runde finetuning läuft. Wir sehen uns in 9 Stunden wieder... 🤖⚔️

#Mittelhochdeutsch #Linguistik #Deutsch #Chatbot #AI #DH #LernenmitKI #FediLz #eduBW #Germanistik #Mittelalter #Mixtral #DigitalHumanities #AIinEducation #Computerlinguistik

@m_drabe @Giliell ja, denselben Punkt hat auch Sam Altman kürzlich gemacht. Gleichzeitig sind die Anstrengungen im Hardware- und Softwarebereich enorm, KI effizienter zu machen. Die Firmen wollen den computational load nicht auf dem Server haben, daher wird es wahrscheinlich Hybridlösungen geben mit TPU chips in allen Gerätekategorien und Modellen, die halb lokal und halb auf Servern laufen. #ParzivAI ist ganze Größenordnungen kleiner als zB #chatgpt und kann lokal laufen (vielleicht auch bald im Webbrowser (via #webLLM), kombiniert mit einem #RAG erfüllt er so seine Funktion.

@Lambo @nfdi4culture interesting! Maybe we can use this for #ParzivAI...

#ParzivAI ist bisher noch ein proof of concept mit einem Trainingsdatensatz von < 5MB, aber das #LLM zeigt schon sein Potential für #Schule, #Deutschunterricht und #FediLZ. Man kann den Bot leicht z.B. um didaktisch-pädagogisches Wissen erweitern. Und demnächst soll ja die nächste Generation von #opensource Modellen erscheinen (#Llama3, #MixtralMedium, #MixtralLarge).

🤖⚔️
@fnieser.bsky.social und ich haben #ParzivAI gebaut. Ein #llm, das auf Mixtral-8x7B-Instruct-v0.1basiert, und das mit mittelhochdeutscher Literatur finetuned wurde.
Bisher noch Proof of Concept, aber demnächst vllt im Schulunterricht?

#KI #Mittelhochdeutsch #AIinEducation #DH #DigitalHumanities