De Tourelles zijn het laatste overblijfsel van de zeven poorten in de muur rond Dieppe. Deze poort heette eerst de Porte du Port d'Ouest en vervolgens de Tour Jumelle voordat hij de Tourelles werd die we nu kennen. Het was een van de vijf poorten aan de zeezijde toen de stadsmuur in de 14e eeuw werd gebouwd. Het doel van dit verdedigingswerk was Dieppe te beschermen tegen Engelse en Vlaamse aanvallen tijdens de Honderdjarige Oorlog (1337-1453). Het doel van de poorten was de bevoorrading van Dieppe mogelijk te maken en de doorgang van mensen over land en zee te controleren.
Aan het einde van de 18e eeuw raakte de bijzondere muur geleidelijk aan in verval, totdat hij in 1837 werd afgebroken om plaats te maken voor de aanleg van de huidige Verdunlaan. De toren werd tot in de 19e eeuw omgebouwd tot gevangenis, waardoor hij van de ondergang werd gered. De Tourelles staan sinds 1886 op de monumentenlijst.