El edificio y los jardines.
Este edificio es un gran ejemplo de las tendencias neoclásicas de España en el último tercio del siglo XVIII de mampostería y granito.
Es un edificio rectangular, de 3 alturas, simétrico y articulado en torno a dos patios interiores con fuente. Está flanqueado a cada lado por torreones de influencia escurialense. En su parte central destaca un pórtico monumental semejante a un arco de triunfo al que se podía acceder en carroza. El pórtico se sustenta sobre pilares con columnas dóricas adosadas y está coronado por una terraza, donde nos encontramos, rodeada de una balaustrada de granito concebida por Domingo Thomás como jardín en altura.

Al oeste limita con la Casa de Oficios, también de Ventura Rodríguez e inspirada en su proyecto para la Casa de Correos de Madrid.
Su planta superior estaba destinada para la servidumbre y se encontraba dividida en trece departamentos en torno a un patio interior con fuente-abrevadero ya que su planta inferior eran las caballerizas. También disponía de un sótano cuyo uso sería el de almacén de provisiones y guardamuebles.
Los jardines dan a la fachada lateral del palacio. Estaban plantados con parterres en “broderie” alrededor de fuentes circulares más elaboradas; como la Fuente de los Delfines, que aún conserva su base y pilón adosado al muro del recinto.

Estos jardines estaban al cuidado de Juan Sánchez Espina y se alejaban del concepto de jardín botánico, siendo más parecidos a los jardines ornamentales de Versalles, Aranjuez o La Granja. Tenía tulipanes traídos desde Holanda y desde Aranjuez, que se distribuían con diseños sencillos.
La faisanera, la pajarera, el zoo y el huerto estaban al norte de los jardines. El infante ideó un zoo inspirado en la Casa de las Fieras de su hermano Carlos en Nápoles. En él había desde caballos, vacas, cabras, conejos de Angola o pavos reales hasta gansos, osos, tejones y jabalíes.
El huerto disponía de frutales, viña, olivos…para satisfacer las necesidades del palacio. También contaba con un estanque para el riego y para alimentar las fuentes de los jardines.