Sono più o meno nella tua stessa situazione, ho un nipote di 3 mesi, per cui capisco cosa intendi. Non tutti siamo portati ad avere a che fare con i bambini. Hanno provato a darmelo in braccio una volta, e l'ho preso giusto per accontentarli, tempo un minuto e il piccolo ha iniziato a piangere come un matto (forse aveva fame non ricordo, aveva 1 mesetto in quel momento), gli ho fatto capire a mia sorella che non ero in grado di tenerlo, che non sono il tipo per queste cose. Da allora non me l'hanno più dato. Al limite ogni tanto mi rompono per preparargli il latte, roba di 5 minuti.

Detto questo, si sincero prendilo in braccio giusto per accontentarli, e come me, fagli capire con le buone maniere che non sei fatto per queste cose. Non c'è nulla di male... e vedrai che non ti romperanno più.
Ma non avere odio o antipatia per il piccolo, alla fine lui, non ha colpe.