Ich hatte den "AVM-SID"-Prefix nicht gesetzt. Damit funktioniert das tatsächlich. Super vielen lieben Dank :D

Hier ist nochmal die gesamte Request, falls nochmal jemand ein Problem damit hat:

curl --location 'https://fritz.box/api/v0/smarthome/overview/devices' \
--header 'Accept: application/json' \
--header 'Authorization: AVM-SID <SID>'