@
linus Die Begründung GPT 3 nicht open source zu machen war, dass es zu "gefährlich" wäre bezüglich Fakenews und co.
Habe diese Diskussion
An Open-Source Version of ChatGPT is Coming [1] vom 31.12.2022 auf
#^https://www.reddit.com/ zu
#^https://github.com/lucidrains/PaLM-rlhf-pytorch entdeckt. Leider sagen mir die Namen der Diskussionsteilnehmer nichts und die Kommentare in diesem Thread klingen in meinen Ohren zu technisch. Ich hätte gern eine Zusammenfassung, eine knackige Roadmap dazu, wer, was, mit welchen mitteln jetzt startet bzw. starten möchte. Damit ich in der Rolle als Anwender einen Eindruck hätte, wann kann ich mich einbringen, um - genau so, wie ich das aktuell für
ChatGPT OpenAI mache, das OpenSource-Sprachmodell trainieren kann. In der Diskussion hier [1] wird thematisiert, dass hier eine Herausforderung ist
Wir brauchen immer noch Millionen von Dollar an Rechenleistung + Daten, um zum richtigen Punkt im hochdimensionalen Parameterraum zu segeln.
Mir fehlt das Fachwissen dazu, aber mich würde interessieren inwieweit für dieses Projekt brauchbar und machbar ist, das die verteilte Rechenleistung hier herangezogen wird.
Sie sprechen darüber, wie schwer es ist, dies zu trainieren, aber könnte nicht eine verteilte Client-basierte Lösung wie BOINC verwendet werden (dh was SETI@Home verwendet?). Ich bin mir sicher, dass alle von huggingface diesen Client herunterladen würden, um etwas beizutragen. Vielleicht würden diejenigen, die tatsächlich Rechenressourcen für den Job beisteuern, eine Vorschau auf die frühe Version erhalten?
Ressourcen: #^https://arxiv.org/abs/2103.08894
Zitiert ein Beitrag von
Thistleknot von [1], übersetzt im Chromium-Browser.
Hier Übersetzung des Beitrags des
PaLM-rlhf-pytorch-Entwicklers @lucidrains im Thread [1]
Dennoch ist es für den Durchschnittsbürger trügerisch, ihm zu sagen, dass die Chatgpt-Replikation unmittelbar bevorsteht. Guter Code ist nur eine Voraussetzung, um die Reise zu beginnen. es braucht Daten, Berechnungen, Abenteurer, um tatsächlich in See zu stechen, und im Fall von ChatGPT einen komplizierten Prozess des Sammelns von menschlichem Feedback (ich werde mein Bestes tun, um die Aktivierungsenergie zu senken, indem ich eine einfache und prägnante App baue, die alle Fälle abdeckt, vorausgesetzt, RLHF wird nicht durch eine andere Technik veraltet)
Übersetzt mit Deepl.com
#
ChatGPTOpenSource #
OpenSourceChatGPT #
OpenSourceSprachmodell #
OpenSourceModell #
OpenSource #
SETIatHome #
SETI@Home #
VolunteerComputing #
MachineLearning #
ArtificialIntelligence #
KünstlicheIntelligenz #
MaschinellesLernen #
DeepLearning #
VolunteerComputing #
Huggingface