Ajayi nació hacia 1807 en Osogun, en el actual suroeste de Nigeria. Hacia 1821, siendo aún niño, fue capturado por invasores, vendido varias veces y finalmente entregado a traficantes portugueses. Su familia también fue capturada.
La marina británica interceptó el barco y lo llevó a Sierra Leona, donde fue liberado. Fue bautizado en 1825 con el nombre de Samuel Crowther y fue uno de los primeros alumnos de la escuela de Fourah Bay, creada por la Sociedad Misionera de la Iglesia (CMS).
En 1841 participó en la expedición al río Níger. Estudió en Londres y fue ordenado diácono (auxiliar del ministerio) el 11 de junio de 1843 y sacerdote el 1 de octubre del mismo año. Después trabajó en Abeokuta, en territorio yoruba, donde se reencontró con familiares: su madre y su hermana se convirtieron por medio de él.
Se dedicó a las lenguas: tuvo un papel central en la traducción de la Biblia al yoruba y escribió un vocabulario de esa lengua, además de material básico en nupe e igbo. En 1857 abrió la misión del Níger, con un equipo africano, y el 29 de junio de 1864 fue consagrado obispo en la catedral de Canterbury.
En la década de 1880, ya anciano y tras la muerte de Henry Venn, el secretario de la CMS que lo apoyaba, vio cómo misioneros europeos más jóvenes cuestionaban la conducta y la competencia de sus colaboradores africanos. La misión fue desmantelada mediante el control de los fondos, la sustitución de dirigentes y el despido de africanos, y aquello lo afectó profundamente. Algunos denunciaban fallos en la administración, pero los historiadores también ven prejuicios raciales en esa presión.
Murió de un accidente cerebrovascular (ACV) en Lagos el 31 de diciembre de 1891. Su vida muestra que Dios puede usar a quien ha sufrido el dolor de la esclavitud para llevar el evangelio a su propio pueblo. También muestra el precio de ser pionero.