Temperature bestimmt ob das lokale Modell immer den gleichen Output liefert

Unter der Annahme, dass für LLAMA 3 eine Runtime benutzt wurde welche auf llamacpp beruht:

Llama 3 hat auf jede erneute Anfrage mit einem etwas anderen Programm reagiert. Es führt andere Variablennamen ein, variiert die Tiefe der Einrückungen und erzeugt die Schleife entweder mit while oder for, auch die Ausgabe auf der Konsole enthält unterschiedliche Texte.

Listing: Llama 3 erzeugt trotz gleichem Prompt bei jedem Aufruf verschiedene Programme

erklärt sich obiges Ergebnis aus dem Defaultwert:

Temperature --temp N: Adjust the randomness of the generated text (default: 0.8). Temperature is a hyperparameter that controls the randomness of the generated text. It affects the probability distribution of the model's output tokens. A higher temperature (e.g., 1.5) makes the output more random and creative, while a lower temperature (e.g., 0.5) makes the output more focused, deterministic, and conservative. The default value is `0.8`, which provides a balance between randomness and determinism. At the extreme, a temperature of 0 will always pick the most likely next token, leading to identical outputs in each run.

siehe https://github.com/ggerganov/llama.cpp/blob/master/examples/main/README.md#temperature