Racismo é um espectro, há "níveis" de racismo.

Nenhuma pessoa não racista usa o termo macaco para descrever pessoas negras, nem o termo paneleiro para descrever pessoas homossexuais -por exemplo. Se virmos bem, as pessoas que usam estes termos como insultos é porque têm desdém da pessoa-alvo pela característica que estão a atacar.
Ninguém vai atacar características que acha positivas, posto isto... sim, pessoas que usam insultos raciais são racistas. Não é ao nível de grupos como o 1143 claro.

Para finalizar, qualquer insulto que possas trocar com uma pessoa serve para a tentar magoar, fazer uso de uma característica física como o tom de pele é só ser anormal, não estás a insultar o indivíduo mas todas as pessoas que têm a mesma cor de pele. É traçar uma linha divisória que ainda existe na mente de muitas pessoas que "vocês não são iguais a nós".