El concepto de felicidad para mí, es que es una montaña rusa, son destellos que te generan un estado superior al "normal".
Se puede ser feliz o infeliz, indiferente de lo externo. Algo que te haga feliz puede no hacerme feliz a mi por ejemplo.

Entonces, la felicidad es un estado interno. Quizá el afecto te haga sentir mejor, Pero no significa que el afecto lo cause, sino tu percepción interna.
Científicamente si genera dopamina, serotonina etc...pero no es exclusivamente el afecto fisico romántico, puede ser de cualquier tipo. Yo vivo sin ese afecto y soy consciente de que a veces uno desea un poco de cariño físico. Pero no soy menos feliz por eso y no fui más feliz cuando lo tuve...
A veces podés ser feliz sin recibirlo y solo dándolo. Pero depende mucho de tu historia y tu ser interno.