A orde, en principio, chegou de máis alto; o fiscal do Reino de España decidiu que alí se necesitaba un palacio e un cárcere, comunicou a súa decisión ao tribunal do Consello de Rei e deu a orde á marquesa, que tiña nas súas mans a xurisdición civil e criminal de Urbasa-Andía.
O marqués de Andía probablemente non o necesitaba, de modo que os bakedanos nunca tiveran un fogar solitario, aínda que durante dous séculos pertencese ao marqués da propiedade. Con todo, causoulles quebradizos de cabeza; antes de medio século, o edificio estaba a piques de caer, polo que tiveron que facer obras de reforma.
Non viviron alí máis que os criados do Marqués e o seu capelán. Os pastores da zona, os gandeiros e os que pasaban por ela, polo menos, aproveitaron durante moito tempo como refuxio.
En 1915 foi comprado polo empresario Etxabarri, de Olazti, que se dedicaba ao sector da madeira, e convertido nun hostal. O albergue, que foi pechado en 1976, atópase nunha situación cada vez peor, a pesar de que desde 1990 está en mans do Goberno de Navarra.
Por iso, a institución española Hispania Nostra, encargada da protección do patrimonio cultural e natural do Estado español, incluíu na súa Lista Vermella o palacio de Urbasa para denunciar a súa perda. En total, nesta lista atópanse nestes momentos 38 espazos e edificios de Hego Euskal Herria, entre eles o teatro Belas Artes de San Sebastián, casa torre de Zubileta de Barakaldo, o mosteiro de Santa María de Toloño, a arma de Orbaizeta… Pero, afortunadamente, nese mapa colmado de puntos vermellos aparecen, a intres, puntos verdes, patrimonio que houbo na lista vermella e que hoxe en bo estado.
Un deles atópase moi preto de Urbasa, en Eulate. É un palacio cabo dos Alvarez, edificio renacentista, destruído nas Guerras Carlistas en 1835 polo xeneral Córdova. Dúas torres e unha das súas fachadas atopábanse aínda en pé, pero nun estado lamentable, ata que en 2010 o Concello de Eulate limpou o zarzal e fixou as súas edicións.