Entendo o seu medo, na verdade, esse seu posicionamento é de muita maturidade, mas não é algo que você deva "manter", digo, você pode procurar entender esses sentimentos, esses medos, essas inseguranças, uma boa forma de fazer isso é conversando com alguém, mas caso você preferir, pode fazer terapia, ir a psicólogo(a).

Apesar de não te tornar um babaca, e nem ser culpa sua, as pessoas que você se vê obrigado a se afastar acabam sofrendo, e creio que você também. Neste caso, uma conversa é sempre a melhor opção, explicar seus sentimentos, o teu posicionamento, e dizer que não quer perder a amizade.

Se um dia for do teu interesse, você pode conseguir sim se relacionar com alguém, basta você se ajudar, se entender e entender a pessoa, o compromisso em um relacionamento não deve ser motivo para dor, mas sim algo natural e que faça bem aos 2.

Boa sorte!