El Casino Gaditano se construyó en el siglo XVIII para residencia del marqués del Pedroso, en cuyo oratorio le veneraba el famoso lienzo de las Dos Trinidades de Murillo, actualmente conservado en la Galería Nacional de Londres. A principios del siglo XIX era residencia de la familia Istúriz, famosa en la vida política de la españa decimonónica. A su amparo se reunían los miembros de una famosa lógia masónica y en sus tertulias, a las que asistía Alcalá Galiano, se fraguó el levantamiento liberal de 1820.
A partir de 1848 se convirtió en sede del Casino Gaditano, institución de gran peso en la vida cultural de la época, que sometió el edificio a sucesivas reformas hasta darle el aspecto original.
Actualmente la empresa hostelera Grupo Vélez regenta este emblemático edificio.