En la parte trasera de la Iglesia de San Andrés se encuentra la pintoresca Plaza de la Paja, que desciende hacia el antiguo laberinto de callejuelas que formaba el barrio musulmán de Madrid en los siglos XII y XIII. El mercado principal de la ciudad una vez estuvo en la plaza. En la parte superior de la plaza se encuentra la Capilla del Obispo, mientras que en la parte inferior (lado norte) se encuentra el tranquilo Jardín del Príncipe Anglona del siglo XVIII, rodeado por un muro.