Ich dachte ssh-key + Passwort wäre schon 2-Faktor-Authentifzierung

oder nicht?

Ein HW-TOTP-Token ist doch erstmal nur ein Faktor (nämlich im
wesentlichen der enthaltene Shared Key), welcher aber wohl als
sicherer als ein SSH-Key angesehen wird, weil er nicht per SW geklaut
werden kann. Hinzu kommt dann sicherlich auch noch ein Passwort, das
der User sich merken muss.