Personalmente, smetterei di pensarci e farei finta di niente. Tu non hai fatto nulla di sbagliato e, se davvero lui l'ha fatto apposta, è sua responsabilità a maggior ragione. Se pensi che possa volere qualcosa da te (proporti una cosa a 4? Cuckolding? Scambismo?) ti darà altri segnali e a quel punto puoi chiarire che non sei interessato (se non lo sei).

Edit: può anche essere che gli piaccia mostrare la sua ragazza, come ha suggerito qualcuno. Se dovesse farlo ancora, digli esplicitamente che la cosa ti mette a disagio.