1729
Orígenes
En 1729, el Padre Juan García de la Concepción fue nombrado capellán de la ermita del Pilar, con derecho a regentar una escuela. 
En esa época, la ermita del Pilar era guarida de pícaros por estar situada en los barrios bajos de la capital. El primer día acudieron 102 niños, por lo que tuvieron que alquilar y habilitar una casa inmediata a la ermita, que había sido hospital de los aragoneses.
En Noviembre de 1729 eran más de 400 niños los que recibían educación. El Duque de Alba contribuyó a las obras de adaptación y manutención de los religiosos.
En 1735, el párroco de San Justo hizo cesión definitiva de la ermita del Pilar a favor de la Orden Escolapia. La dedicación de la primera iglesia y la colocación del Santísimo Sacramento en el colegio, que se llamó de nuestra Señora de la Portería, se celebró durante doce días, con la intervención de de los predicadores más notables, bandas de música y fuegos artificiales.
1737
Nuestra Señora de la Portería
En 1737 los religioso compran tres casitas adyacentes, con lo que se inició la construcción del nuevo colegio, pero la falta de dinero obligó a parar las obras hasta 1740. No es hasta 1761, y después de diversos avatares e interrupciones que se da remate definitivo al colegio, sin la iglesia.
Gracias a los donativos de los reyes Carlos III y IV y otros varios próceres se levanta la magnífica iglesia con planos de D. Antonio Barcárcel y el hermano operario, Gabriel Escribano, quien a la muerte de Barcárcel, continuó y concluyó la magnifica construcción.
1760
Colegio San Fernando
Los escolapios deseaban cambiar el titular de la iglesia y volver a la primitiva Nuestra Señora del Pilar. Carlos III mandó pintar a su pintor de cámara, D. Ramón de Bayeu, suegro de Goya, un cuadro de dicha virgen y a sus pies a San Fernando de Castilla.
En 1760 el colegio contaba con 2.336 alumnos, y la fama y el prestigio del profesorado y de la instrucción que allí se impartía era enorme, atrayendo a grandes profesores de la época.
Uno de los mayores logros del colegio es que en 1795 funcionó en él la primera escuela de sordomudos de España, gracias a la protección del rey Carlos IV.1808
Los Años Terribles
Vicerrector Juan Cayetano Losada hacerse de nuevo con las llaves del colegio y reconstruir la comunidad.
Los años posteriores no fueron mucho mejores con las revueltas revolucionarias (1820), que suprimieron muchas comunidades; las secularizaciones provocadas por el gobierno; el saqueo de conventos y matanzas de religiosos (1834); las guerras carlistas
En 1840, el P. Losada estableció la congregación de Nuestra Señora de las Angustias, los religiosos regentaban 10 clases, con 1668 alumnos, la mayoría de las clases más indigentes, a quienes se les proporcionaba gratuitamente la enseñanza.
1875
La Restauración
Este período supone la restauración de la orden. Se arregla y se ordena definitivamente la biblioteca en 1875, ésta contaba con 17.000 volúmenes y manuscritos preciosos del siglo XIII y posteriores. En 1889 empezó a funcionar una nueva sección llamada de vigilados. Si bien al principio no fue muy aceptada, con el tiempo se fue imponiendo y en 1911 contaba con 1.212 alumnos, de los cuales 500 eran de los grupos de vigilados.Más adelante se trasladó la residencia oficial provincial a San Antón por ser un lugar más céntrico.
Se engrandeció la biblioteca y se instaló la luz eléctrica. En 1910 se añade la clase de taquigrafía a las que ya se impartían: mecanografía, contabilidad, francés e inglés, promovidas principalmente para favorecer a los niños externos gratuitos.
1939
El Barrio de Argüelles
El 5 de Octubre de 1941 se abrieron las primeras clases. en 1944 se puso la primera piedra de la sucesión de pabellones que iban a componer el nuevo centro. A finales de los años 50 se abre el internado y locales especiales para salón de actos. La iglesia fue decorada con antiguas imágenes del antiguo colegio.Entre los religiosos se dividieron las opiniones: aquellos que propugnaban la vuelta al antiguo solar de Mesón de Paredes y otros que se inclinaban a abandonar el primitivo lugar por su triste recuerdo, el mal comportamiento de la vecindad y otras causas. Esta última venció. Se optó por una manzana completa en la calle Gaztambide, 44, Argüelles.
1975
Pozuelo de Alarcón
En 1975 se vio la necesidad de trasladar el colegio a otro lugar por deficiencias académicas debidas a la situación del solar por razones económicas. Ya se había comprado anteriormente un solar correspondiente a la actual calle de San José de Calasanz para el futuro noviciado, más tarde se adquirió un terreno de casi 32.000 metros cuadrados.