Souillac liegt an der Dordogne, obwohl man den Fluss in der Stadtmitte nicht sehen kann. Die Altstadt hat sich an der Borrèze, einem schmalen Nebenfluss der Dordogne entwickelt. Die Borrèze fließt auch am Landhaus Le Manoir vorbei und mündet in die Dordogne, wo sich einst ein Handelshafen befand.