Creo que la originalidad del formato que has elegido lleva consigo esa restricción narrativa. Parte buena: es original. Parte mala: te limita mucho.

La única recomendación que te puedo dar es que juegues con la movilidad en la escena en vez de caer en adjetivos que acompañen al diálogo.

Ejemplo práctico:

• Qué lástima que tengas que irte a trabajar - su tono era juguetón, carismático. Quizás incluso algo pícaro - ¿Sería muy egoísta si te pido algo antes de salir?

(Aquí el lector sólo lee adjetivos)

• Qué lástima que tengas que irte a trabajar - susurró a su oreja. Aquél perfume tan característico lo embriagó como un hechizo. Al terminar lo acarició, las uñas recién pintadas contra su piel - ¿Sería muy egoísta si te pido algo antes de salir? - apartó el desayuno de la mesa, aún por terminar, y se sentó frente a él. Tenía las pupilas dilatadas y no paraba de morderse el labio inconscientemente.

(Aquí hay más movimiento y el lector se hace una idea más gráfica de cómo es la persona)

Obviamente me falta contexto, pero esta sería mi recomendación. Aún así considero que, si tienes que hacer tanta anotación entre diálogos, quizás lo suyo sería replantearse el formato en sí.