vLLM: extract_hidden_states speculative decoding crashes server on any request with penalty parameters — CVE-2026-44223

Zusammenfassung

### Summary The `extract_hidden_states` speculative decoding proposer in vLLM returns a tensor with an incorrect shape after the first decode step, causing a `RuntimeError` that crashes the EngineCore process. The crash is triggered when any request in the batch uses sampling penalty parameters (`repetition_penalty`, `frequency_penalty`, or `presence_penalty`). A single request with a penalty parameter (e.g.,…

Produkt

pip: vllm

Was tun?

Allgemeine, vorsichtige Schritte (bitte prüfe die offizielle Quelle für Details):

• Prüfe Exponierung und plane Maßnahmen nach Risiko und Umfeld.
• Identifiziere betroffene Produktversionen und prüfe, ob du betroffen bist.
• Spiele Hersteller-Updates/Patches ein oder setze empfohlene Mitigations um.
• Lies das offizielle Advisory für betroffene Versionen und konkrete Schritte.

Offizielles Advisory

• Zur offiziellen Quelle
• CVE Record
• NVD

Mehr dazu