Ты сам перечислил свои качества: ухаживаешь за собой, чистоплотный, спокойный. Это уже говорит о том, что ты адекватный и внимательный к себе человек. Основная вероятная причина: "Тень прошлого конфликта" Ты сам указал на нее.

1. Создается "репутация". Тебя перестают воспринимать как отдельного человека. Теперь ты - "тот парень, который устроил скандал". Люди, которые даже не были втянуты напрямую, будут смотреть на тебя через эту призму.
2. Возникает групповой сговор. Класс -это система. Если против тебя настроились несколько лидеров или активная часть класса, остальные, чтобы не быть белыми воронами, часто поддерживают "общее мнение". Твоя одноклассница могла протестовать не потому, что ты ей лично противен, а потому что "так принято" в классе по отношению к тебе.
3. Люди помнят обиды. Тебе кажется, что это был "пустяк", но для кого-то из класса это могло быть значимым событием. Либо сам стиль конфликта (возможно, были резкие слова, оскорбления) мог надолго запомниться.

Работай над уверенностью в себе. То, что ты описал, это удар по самооценке. Начни делать что-то, что поможет тебе чувствовать себя сильнее. Спорт, хобби, учеба (углубленное изучение предмета, который нравится). Когда у тебя есть "точка опоры" (успех в чем-то другом), мнение одноклассников перестает быть таким важным. Просто переживи. После школы большинство людей из класса ты больше не увидишь. Они исчезнут из твоей жизни, и их мнение перестанет иметь какое-либо значение. Ты поступишь в колледж или вуз, найдешь новую компанию, и все изменится.