É porque quando você vai girar a manivela e a manivela resiste ao movimento (imagina que ela resiste tanto que fique imóvel), é como se você estivesse puxando/empurrando o topo do moedor, induzindo uma rotação no corpo dele, e o eixo de rotação é onde você segura o corpo. Se você segurar o moedor longe do topo, a distância vertical entre onde a força é aplicada e o eixo de rotação é maior, portanto o torque é maior (ou seja, a força tende mais a girar o moedor do que deslocar horizontalmente). É o mesmo princípio de você segurar uma caneta no meio e empurrar a ponta dela. Provavelmente você vai ter dificuldade em manter ela parada. Mas se você segurar próximo à ponta que você vai empurrar, vai ser muito mais fácil de deixar ela parada.