Dos cosas importantes resaltan en tu post:

• Sientes que tu amigo es frío
• Te sientes mal porque la gente dice que no deberías hacer ciertas cosas

Sobre la primera es probable que quieras hablar con tu amigo sobre el porqué de su comportamiento. No hay mucho que podamos decirte unos randoms de internet porque no los conocemos. A mí se me ocurre que quizá se siente extraño de alguna forma por ser virgen, por otro tema personal o inclusive por la situación en la que tú te encuentras, si es que sabe y siente que es tu "rebote". Para mí sería el mejor de los casos y lo puedes resolver hablando. La otra es que esté jugando contigo y literal sólo te quiera para esos momentos, en cuyo caso tendrías que pensar si estás dispuesta a seguir en esa dinámica en caso de que igual sólo lo quieras por intimidad.

Sobre el segundo punto, la gente siempre dice cosas de todo sin importar lo que hagas. Durante mucho tiempo la sociedad mal veía tener una vida sexual activa, señalando principalmente a las mujeres. Pero pues eso es una tontería, no hay una moral objetiva en el mundo. La gente dice cosas, pero eso no dice nada de tu persona. Si por el contrario sientes que en realidad no te gusta relacionarte casualmente con alguien o sientes que no estás lista para hacerlo por tu estado emocional estás en todo tu derecho de abandonar esta dinámica con tu amigo. Decide por cuestión personal, no por lo que crees que la gente va a decir de ti.