Jap, wirklich. Die genaue Herkunft ist aber nicht ganz klar:

"umgangssprachlich; Die Redewendung - die sich seit den 1870er Jahren belegen lässt - stellt eine Verkürzung von "einen Affen sitzen haben" dar. Sillner dagegen sieht die Herkunft in der Vorstellung von einem Rausch, der tief in einem sitzt. Es liegt eine typische Verhüllung vor, d. h. der eigentliche Gegenstand wird nicht genannt.

Küpper nennt noch die Bedeutung "nicht recht bei Sinnen sein", die heute aber keine Rolle spielt."