Het Hôtel d'Anvers werd gebouwd in 1697, na de verwoesting van Dieppe door de Grande Bombarderie, een Engels-Nederlandse aanval die de stad bijna verwoestte.
De klassieke architectuur is representatief voor de stijl van Ventabren, de architect die door Lodewijk XIV werd aangesteld voor de wederopbouw van Dieppe: de winkels bevinden zich op de begane grond en de tussenverdieping, die beide een boog vormen, en worden bekroond door twee woonlagen. De voorgevel wordt gekenmerkt door zijn symmetrie en verwijzingen naar de antieke architectuur in klassieke stijl: een driehoekig fronton en pilasters die de verdiepingen verbinden en die doen denken aan die in Griekse tempels. Aangenomen wordt dat het Hôtel d'Anvers toebehoorde aan een rijke koopman, die in het herenhuis woonde en zijn goederen opsloeg in de gebouwen op de binnenplaats.
In het begin van de 20e eeuw werden bij de restauratie van het gebouw de zuilen ter ondersteuning van de balkons toegevoegd. Deze toevoeging sluit aan bij het schilderij van William Turner uit 1826, tijdens zijn verblijf in Dieppe, waarin hij aan weerszijden van het portaal van het Hôtel d'Anvers zuilen toevoegde. Een ander architectonisch hoogtepunt is het fries met een 17e-eeuws uitzicht op Antwerpen in de overdekte doorgang die uitkijkt op de binnenplaats.
In 1991 werden het Hôtel d'Anvers en zijn fries opgenomen in de aanvullende inventaris van historische monumenten.