Het Collège des Oratoriens, gelegen aan de Quai Henri IV, werd in 1614 gebouwd op de plaats waar vroeger de reder Jehan Ango "La Pensée" woonde.
Na het Grote Bombardement, een Engels-Nederlandse aanval die in 1694 resulteerde in de vernietiging van de binnenstad van Dieppe, inclusief het college. Aan het begin van de 18e eeuw werd een nieuw gebouw in baksteen en beuk opgetrokken in drie delen, rondom een rechthoekige binnenplaats.
Het Collège des Oratoriens had een onderwijsfunctie tot de Franse Revolutie, toen het gebouw werd gevorderd en zijn oorspronkelijke onderwijsfunctie terugkreeg en achtereenvolgens een openbaar college en een lyceum werd. Na een brand in 1938 werd in 1959 op de hoogten van Dieppe een nieuwe school gebouwd.
Tegenwoordig wordt een deel van het gebouw ingenomen door de kleuterschool, waarvan de kantine is ondergebracht in de voormalige kapel. Het andere deel wordt ingenomen door flats.