El 12 de junio de 1643 salió el conde-duque de Olivares de Loeches, camino de Toro, a cumplir con su nuevo destierro. Eligió la ciudad por su clima fresco y porque que su hermana, la marquesa de Alcañices, que acaba de enviudar, le ofreció vivir en el palacio de los Marqueses de Alcañices. El conde-duque de Olivares consiguió en Toro crear su pequeña corte y dedicaba buena parte de su tiempo a recorrer las iglesias de la ciudad. El 15 de julio de 1645 se sintió indispuesto mientras paseaba por el campo y tuvo que ser trasladado de nuevo a palacio. Durante la última semana de su vida se le oyó divagar confusamente y doctores de Toro y el prestigioso médico de Valladolid Cipriano de Maroja, no pudieron hacer nada para que la fiebre remitiera y acabara el delirio. El conde-duque de Olivares murió entre las nueve y las diez de la mañana en Toro el sábado 22 de julio de 1645.
