Fuera del recinto amurallado, sobre los campos de cereal yerguen los restos de una grandiosa construcción. Se trata del Convento Agustino de Madrigal, un impresionante edificio destruido por la intemperie y la curia humana.
La arquitectura del edificio tenía una planta escurialense de 50.000 metros cuadrados de superficie total. En la fachada, mas de 200 metros de larga, podemos apreciar la existencia de las dos torres que remataban en las esquinas, que se correspondían con el entorno público y privado, respectivamente, del monasterio y cátedra. El arquitecto de la segunda construcción, que le confiere la grandiosidad que sus ruinas delatan, fue Nicolás de Vergara, persona muy ligada a Herrera, por esto y por sus proporciones fue llamado “el Escorial de Castilla”.
El claustro, del que quedan interesantes restos, era de estilo berroqueño herreriano, perteneciente a la arquitectura civil, con doble hilera de arcos enfilados en planta cuadrada con enormes bloques de granito.