Nacido el 6 de diciembre de 1937, en el puerto de Ancón, de madre guayaquileña y padre de la isla de Barbados, antigüa colonia británica, a Alberto Spencer Herrera le encantó el fútbol y lo practicó desde muy niño. Jugaba desde joven en el Club Andes de Santa Elena; todos sus hermanos –entre los que figuraban Jorge y Marcos, este último llegó a ser jugador del Everest y seleccionado nacional en el Sudamericano de 1949– también practicaban ese deporte.