Ellison naît en 1944 dans les quartiers Est de New York

Ellison naît le 17 août 1944, dans le Lower East Side de New York. Après avoir contracté une pneumonie alors qu'il était en bas âge, sa mère est incapable de s'occuper de lui, et l'envoie vivre avec une tante et un oncle dans les quartiers du sud de Chicago. Il n'a jamais pu connaître son père, et n'a su qu'il avait été adopté que beaucoup plus tard dans sa vie.