La Xavier Society fu fondata nel 1900 quando Margaret Coffey, un'insegnante cieca di bambini ciechi di New York, incontrò il sacerdote gesuita Joseph Stadelman. Gli mostrò l'isolamento in cui si trovavano i suoi studenti , privati ​​della lettura spirituale che nutriva la vita cattolica.