Und?
Dein Stick kommuniziert trotzdem noch mit deinem Hostsystem. Dass da gefährliche Dateien drauf sind ist das geringste Problem.
Ein USB stick kann zu allem werden. Von der Tastatur bis hin zur Netzwerkkarte ist alles drin. Da nützt dir deine Virtualbox reichlich wenig.
Außerdem: du kannst einen USB stick auch so modifizieren, dass der beim Anschließen deine Hardware fickt.
Wegschmeißen ist die beste Option.