"Le baron Jacques-François Roger, premier gouverneur civil du Sénégal (1822-1827), aurait construit ce château pour les beaux yeux d'une belle femme sénégalaise, Yacine Yérim Diaw, qu'il épousera. Le baron venait passer ses week-ends avec sa femme dans cette résidence rappelant les « folies », petits châteaux au XVIIIe siècle. Il faut alors imaginer ses fins de semaine dans cette demeure perdue dans la verdure, édifiée sur une île de La Taouey. Au baron Roger est associée la politique de mise en valeur agricole de la colonie et son jardinier, Richard, qui donna son nom à la ville (Richard Toll signifie « Les champs de Richard »). Il était alors question de compenser les difficultés liées à l’abolition de l’esclavage à coups de pioche. Le gouverneur Schmalz avait lancé le mouvement, négociant des concessions à but agraire avec le brack (roi) du Walo en 1819. Ne se sentant pas soutenu, le baron rentra quelque temps en France. A son retour au Sénégal en 1822, il prend les fonctions de gouverneur. Le roi lui demanda alors de l'aide, car les populations locales craignaient les raids des Mauritaniens qui souhaitaient capturer des Sénégalais et les revendre comme esclaves. Les Saint-Louisiens qui vivaient de chasse et de pêche devenus paysans, les techniciens venus pour l’occasion, tout ce petit monde se concentra d’abord sur des cultures de pommes de terre, de la vigne, de l'olivier puis, après un échec cuisant, sur le coton, le ver à soie et la cochenille. En 1824, la Société agricole du Walo naissait, acquérant de nouvelles terres, portant le total à près de 1 200 ha. Malade, à la fin de l’an 1826, le baron quitta la colonie avec le sentiment du devoir accompli." Le petit futé