Souillac ligt aan de Dordogne, al is de rivier van in het centrum niet zichtbaar. De oude kern van Souillac ontwikkelde zich omheen de Borrèze, een kleine zijrivier die ook langs Le Manoir loopt en, ter hoogte van wat vroeger een handelshaventje was, in de Dordogne uitmondt.