Al no existir plazas suficientes para los alumnos huérfanos en el Colegio «Infanta María Teresa», el día 4 de octubre de 1948 se instalaron 50 alumnos, comprendidos entre los seis y 10 años de edad, en el Colegio San Luis Gonzaga de la localidad de Zafra, provincia de Badajoz, cuyo director era Andrés Pro Alonso. A estos alumnos, por la vestimenta oscura que portaban, se les llamaba «Los grajos«. Hubo también alumnos de otras procedencias.
Estuvieron como internos desde el referido año 1948 hasta 1959, aunque en el curso 1955/56 empezaron a ingresar en el ‘Infanta’ y ‘Jóvenes’, como los de Santo Domingo.
Este Colegio ya no existe, se encontraba en el centro de la calle Sevilla, en el número 23. Hoy es un viejo caserón lleno de recuerdos donde podemos leer la siguiente placa:
«Colegio San Luis Gonzaga.
Con los recuerdos de niños y
el agradecimiento de hombres.
Los huérfanos de la Guardia Civil,
Antiguos alumnos de este Colegio,
al distinguido pueblo de Zafra.- 1948«.
Los internos recuerdan con nostalgia la plaza Grande del pueblo, punto central del casco urbano, con sus 72 soportales, donde jugaban al salir del colegio, antes y después de oír misa.
En el año 1998, un grupo de antiguos alumnos se reunieron en Zafra al objeto de celebrar el 50 aniversario de su incorporación al Centro, aunque ya habían acudido anteriormente a otros encuentros, como el de 22 de noviembre de 1990, en el que se llegó a organizar un programa especial en la radio local dedicado a los ex alumnos del Colegio «San Luis Gonzaga». También volvieron en el mes de octubre de 1990.
Historias del Infanta Maria Teresa 