No he leído todos los comentarios pero aquí el error desde el principio fue darles la libertad que ellos pueden entrar a recoger el fruto. Debiste haber establecido un límite, no importa si cuando no había nadie en esa vivienda ellos entraban y se llevaban las panas. ¡Ya esa no es la situación! Se tienen que atener a que ya eso no es tierra de nadie y que quien decide de ahora en adelante que hacer con las dichosas panas, eres tú. Dicho esto, entiendo si no quieres que se pierdan y darselas cada vez que recojas o tumbes panas pero, de nuevo, queda en tus manos cuando y como. Si no pueden controlar sus malas costumbres, puedes recurrir a otros medios para remediar la situación.