Lively nasceu Ernest Wilson Brown, Jr., em Baltimore, Maryland, filho de Beatrice Gray (Walton) e Ernest W. Brown, Sr. Em 1979, ele se casou com um gerente de talento, Elaine (McAlpin) Lively, e tomou seu sobrenome. Eles são os pais de Blake Lively e Eric, ambos os atores. Ernie é padrasto para filhos de Elaine de seu casamento anterior: Lori, Robyn e Jason Lively. Ele pode ser melhor conhecida por seus papéis em Passenger 57, Irmandade das Calças Viajantes e Irmandade das Calças Viajantes 2.
Ele reside em Heber City, Utah com sua esposa. Em 2003, Ernie sofreu um ataque cardíaco. Em novembro de 2013, Ernie foi tratado com a terapia com células-tronco como parte de um procedimento gene retrógrada experimental.
