De Tour aux Crabes maakte deel uit van de verdedigingsmuur die in de 15e eeuw de toegang tot het kanaal naar de haven beschermde. De toren is 11 meter hoog en 9 meter breed en omvat ook een dikke muur van vuursteen en baksteen. Oorspronkelijk bekend als de Tour du Pollet, naar de wijk waarin hij staat, staat hij nu bekend als de Krabtoren, vanwege de schaaldieren die zich bij eb aan de basis vastklampen, omdat de toren met zijn voeten in het water staat.
Hoewel de toren in 1841 werd ontmanteld, blijft de muur vandaag de dag staan. In 2000 is op de muur een gedenkplaat aangebracht ter herinnering aan de terugkeer van Louise Michel uit ballingschap naar Dieppe in 1880. Als heldin van de Commune van Parijs bracht zij zeven jaar in ballingschap door in Nieuw-Caledonië.