Se encuentra situada en el más pronunciado quiebro de la Calle Real. La fachada, levantada en los primeros años del siglo XVI, está más cerca de la utilidad guerrera medieval que de la estética civil del Renacimiento.

Su posición, intramuros, formando ángulo recto con la puerta de San Martín obligó a la adopción de esta fuerte imagen de defensa del acceso, aunque la tradición popular lo atribuya al hecho de haber pertenecido anteriormente a un judío o al verdugo de la ciudad por lo que la casa tenía ya una denominación que, con gran astucia, el nuevo propietario cambió para siempre al cubrir toda la fachada de agudas puntas de diamante.

El edificio fue propiedad durante los años centrales del siglo XV, de Pero López de Ayala y su mujer Isabel de Silva. Hacia el 1500 pasaría al regidor Juan de la Hoz quien establecerá allí sus casas principales, momento en que se llevó a cabo la reforma del edificio en la que se incluyó la nueva fachada.

En la actualidad es sede de la Escuela Superior de Arte y Diseño.