Elle est située dans le virage le plus prononcé de la montée de la Calle Real. La façade, érigée dans les premières années du XVIe siècle, ressemble plus à une forteresse médiévale qu’à une construction typique de la Renaissance. 

Se situant immédiatement à l’entrée de la muraille, en passant par la porte de San Martín, son propriétaire a jugé nécessaire l'adoption d’une image forte de défense de l'entrée, bien que la tradition populaire l'attribue au fait qu'elle avait auparavant appartenu à un Juif ou au bourreau de la ville, raison pour laquelle la maison portait déjà un nom que, avec beaucoup d'astuce, le nouveau propriétaire a changé pour toujours en recouvrant toute la façade de pierres taillées en forme de pointes de diamant. 

Au milieu du XVe siècle, l'édifice appartenait à Pero López de Ayala et à son épouse Isabel de Silva. Vers 1500, il est passé aux mains de l’échevin Juan de la Hoz, qui y a établi ses habitations principales. C'est à cette époque que le bâtiment a été rénové pour y inclure la nouvelle façade. 

Il abrite aujourd'hui la Escuela Superior de Arte y Diseño (l'École d'Art et de Design)