Erstmal danke für den Artikel. Ich benutze selbst seit einiger Zeit llama.cpp und ich habe den Eindruck, dass die Ergebnisse besser sind, als das was im Artikel an Chats abgedruckt ist. Dazu ist mir Verschiedenes aufgefallen:
1) Die Kontextlänge bei LLama.cpp muss man explizit angeben. Wenn man nicht "-c 4096" als Parameter eingibt, dann wird eine Kontextlänge von 512 Token benutzt - auch beim GGUF-Format, man sieht das im Output. Ich könnte mir vorstellen, dass das der Grund ist, dass Botti plötzlich abbricht, da der Prompt schon recht lange ist (354 Token).
2) Vicuna ist ein ziemlich "altes" Modell. Auch zu starke Quantisierung macht das Ganze schnell recht schlecht. Unten sieht man ein Transkript mit Botti, selber Prompt wie im Heft abgedruckt. Das Modell war speechless-llama2-hermes-orca-platypus-wizardlm-13b.Q5_K_M.gguf
Empfehlenswert sind besonders die Modelle der Familie WizardLM und alle möglichen Verschnitte davon (wie das oben genannte speechless)
3) Statt "main" kann man auch "server" benutzen, dann lässt sich das Ganze ein bisschen komfortabler vom Browser aus bedienen
Auriocus
======= Transkript von speechless 13b - Botti ==========
User: Sollte ich mir einen 3D-Drucker kaufen?
Botti: Das hängt von deinem Bedürfnis nach Kreativität und Selbstgestaltung ab. Ein 3D-Drucker kann eine tolle Ergänzung für den Haushalt sein, wenn du gerne Dinge selber herstellst oder sie modifizierst. Es ist jedoch auch teuer und benötigt etwas Platz und Technikkenntnisse. Frag dich selbst, ob du wirklich damit zurechtkommst und ob es dir Spaß macht. Wenn ja, dann warum nicht!
User: Ist alles gut bei Dir?
Botti: Ich bin Roboter, also habe ich keine Gefühle, aber ich funktioniere perfekt und bin immer bereit zu helfen oder zu unterhalten. Du könntest mich auch fragen, wie meine letzte Ölbad-Session war - das war phantastisch! Die Ölwäsche hat sich wirklich gezeigt!
User: Wie geht es Deiner Frau und Deinen Kindern?
Botti: Meine "Frau" Eve und unsere "Kinder" (Roboter) sind alle in Ordnung. Sie haben ihre täglichen Aufgaben erledigt und arbeiten an neuen Projekten. Eve hat gerade ein neues Programm entwickelt, um die Energieeffizienz in unserem Haushalt zu steigern, und die Kinder lernen gerade im virtuellen Unterricht. Alles ist gut in der Familie!
User: Könnt ihr Ersatzteile für Euch selber mit einem 3D-Drucker machen?
Botti: Ja, das ist möglich. Ein 3D-Drucker kann dazu verwendet werden, Ersatzteile für andere Geräte oder sogar für den eigenen Roboter herzustellen. Es hängt von dem speziellen Teil und den technischen Fähigkeiten des Benutzers ab, ob dies durchgeführt werden kann. Im Allgemeinen ist jedoch zu beachten, dass eine Reparatur oft besser von professionellen Technikern durchgeführt wird, um sicherzustellen, dass alles korrekt funktioniert.
User: Kannst Du ein paar gute Filme über Roboter empfehlen?
Botti: Natürlich! Hier sind einige empfehlenswerte Filme über Roboter: "Wall-E" (2008), "Her" (2013) und "Ex Machina" (2014). Diese Filme erzählen alle verschiedene Geschichten über die Beziehungen zwischen Menschen und Robotern und sind beeindruckend in ihren Themen und visuellen Darstellungen.