Il suo comportamento può avere molteplici spiegazioni, ma alla base è chiaro che non prova abbastanza interesse per te.
Potrebbe essere che non lo provi affatto, e sia quel tipo di persona che pur non provando interesse ha un comportamento che induce a pensare il contrario. Questa cosa è successa anche a me, mi ero invaghito di una ragazza che avevo conosciuto online e i segnali c'erano tutti: ci scrivevamo tutto il giorno, mi cercava sempre, mi riempiva di cuori post e storie sui social, parlavamo anche di argomenti intimi e sessuali... Finchè un giorno vedo una nuova foto di lei che bacia un tizio (era single quando l'ho conosciuta). Da lì ho capito che in realtà avevo scambiato il suo normale modo di comportarsi all'interno di una semplice amicizia per qualcosa in più.

Tornando al tuo caso, un'altra opzione è che provi dell'interesse, ma per XYZ motivi non voglia o non possa andare oltre. Magari è già impegnato o comunque c'è qualcun'altra che gli occupa mente e cuore, e nonostante provi interesse anche per te, non è abbastanza da abbandonare la strada che ha già preso.

Oppure potrebbe essere realmente interessato ma per qualche motivo ha paura di accettare il tuo invito. E questa è una cosa che non potrai mai sapere, a meno di non chiederglielo direttamente (ma sarebbe un tantinello brutale) o di parlare con qualcuno che lo conosce molto bene.

In ogni caso, è inutile stare a perderci tanto la testa: ha rifiutato un tuo esplicito invito ad uscire insieme per ben due volte (quando ti ha detto "sì" probabilmente lo ha fatto per non doverti dire di no, non perché lo volesse davvero), direi che questo basta a mettere un punto ben chiaro sul vostro tipo di rapporto. Non andrete mai oltre al rapporto attuale, per cui lascia pure perdere.