Souillac est situé près de la Dordogne, bien que la rivière ne soit pas visible du centre. Le vieux Souillac s’est développé autour de la Borrèze, un petit affluent qui longe Le Manoir et se jette dans la Dordogne là où était autrefois un port de commerce.