A côté du Calvaire s'élève un autre palais, celui des Villaviciosa, personnages en vue du lieu qui lui apportèrent sa splendeur grâce à leurs réussites, leurs entreprises marines et autres aventures. Cet édifice est de plan rectangulaire, avec un corps aligné sur la rue et un autre en retrait; sur ce dernier, un large escalier en pierre permet d'accéder au premier étage. La façade principale donne sur l'ancienne rue de la Cité, alors que la façade postérieure donne sur la montagne. La façade latérale gauche est dotée d'un autre accès qui conduit directement au deuxième étage.
C'est une magnifique maison de style Renaissance (XVIe siècle), aux murs en pierre de taille bien travaillée. À hauteur des balustrades des fenêtres, à tous les étages, une moulure longe toutes les façades. Cette moulure se répète sur la corniche. Toutes les ouvertures sont joliment encadrées de fines moulures. On observe deux portes et une fenêtre au rez-de-chaussée. Au premier étage, deux grandes fenêtres avec une petite au centre. Sur la façade en retrait, une porte avec arc en plein cintre et une autre plus grande à voussoir, ainsi qu'une petite fenêtre. Au dernier étage, trois fenêtres et deux autres sur la façade en retrait.
Si nous nous en tenons aux chroniques de l'historien L. de Isasti, originaire de la localité voisine de Lezo, la famille des Villaviciosa établit ici sa demeure aux environs du VIIIe siècle, avec Fortunio de Villaviciosa, capitaine de la flotte d'Alphonse Ier. Les fils de Fortunio y restèrent pour la défendre. Dès lors, pour une bonne partie des hommes descendants de ce lignage, la navigation guerrière, commerciale ou corsaire, se convertirait en ardente vocation. Des amiraux comme Domingo Villaviciosa (1587) qui mourut dans les eaux de Flandres ou Juantxo Villaviciosa (1590), Amiral de l'Escadron de Cantabrie, dirigé par le Général Miguel de Oquendo, ou Juanot de Villaviciosa, Général de la Flotte qui lutta en Floride et prit part aux combats d'Oran et de Ceuta, donnèrent de l'éclat à notre ville. Citons aussi Juan de Villaviciosa, constructeur de navires et amiral mort dans la bataille des Açores, ou le Capitaine Général Don Miguel qui, lors de la guerre contre les Maures à Loja (Grenade), leur arracha l'Étendard en 1486. C'est la raison pour laquelle on le connaît comme l'«Étendard d'Or». On trouve aussi un Villaviciosa sillonnant les mers comme corsaire. Plusieurs personnages de cette famille se distinguèrent aussi comme membres du clergé.
La façade principale de ce bel édifice porte une plaque commémorative du départ du Marquis de Lafayette, en 1777, pour la guerre d'Indépendance en Amérique.