Un poco de su vida:

Whitmore actuó en Broadway en el papel del Sargento en la obra Command Decision. MGM contrató a Whitmore, pero su papel en la adaptación cinematográfica corrió a cargo de Van Johnson. La primera película de importancia de Whitmore fue Battleground, en un papel que había rechazado Spencer Tracy, y por el cual fue nominado al Oscar al mejor actor de reparto. Otros de sus títulos destacados fueron The Asphalt Jungle, The Next Voice You Hear..., Above and Beyond, Kiss Me, Kate, Them!, Oklahoma, Black like me, Guns of the Magnificent Seven, El planeta de los simios (1968) Tora! Tora! Tora!, y Give 'em Hell, Harry!, película por la cual fue nominado al Oscar al mejor actor gracias a su actuación como el Presidente Harry S. Truman. En Tora! Tora! Tora! interpretaba el papel del Almirante William F. Halsey.

En la temporada televisiva de 1960-1961 Whitmore protagonizó su propia serie criminal para la ABC titulada The Law and Mr. Jones, junto a Conlan Carter y Janet De Gore en papeles de reparto. El show se canceló tras un año de emisión, pero volvió en abril de 1962 con trece nuevos episodios a fin de ocupar el hueco producido por la cancelación de la sitcom de ABC Margie.

Otras producciones televisivas en las que intervino fueron las siguientes: Episodio "On Thursday We Leave for Home" de la serie The Twilight Zone (1963), interpretando al Capitán William Benteen; episodio Quantity: Unknown (1967) del show Los invasores; actuación en la producción de la ABC Custer (1967), protagonizada por Wayne Maunder; actuación como Profesor Woodruff en My Friend Tony (1969), producción de la NBC; diferentes intervenciones en la serie western de la ABC The Big Valley, con Barbara Stanwyck; actuación como Dr. Vincent Campanelli en la sitcom médica de la ABC Temperatures Rising; papel como General Oliver Howard en el telefilme de 1975 I Will Fight No More Forever; intervención dando voz en 1986 a Mark Twain en el film de stop motion The Adventures of Mark Twain.

El último papel destacado de Whitmore fue el del bibliotecario Brooks Hatlen en el film de 1994 nominado al Oscar, dirigido por Frank Darabont e interpretado por Tim Robbins y Morgan Freeman The Shawshank Redemption. Dos años más tarde también participó en la película de horror y ciencia ficción The Relic, y en 2002 hizo un papel de reparto en The Majestic, film con Jim Carrey.

Whitmore hizo también abundante trabajo teatral, y ganó un Tony por su interpretación en la obra Command Decision (1948). Más adelante se ganó el título de "King of the One Man Show" tras sus actuaciones en solitario en Will Rogers' USA (1970) (repitiendo el papel para TV en 1972), Give 'em Hell, Harry! (1975) (repitiendo el papel en el cine, y ganándose la nominación al Oscar) y Bully (1977).

En 1999 fue Raymond Oz en dos episodios de The Practice, ganando un Emmy al mejor actor invitado en una serie dramática. En 2002 Whitmore consiguió el papel del padrino en la película del Disney Channel A Ring of Endless Light. Finalmente, en abril de 2007 trabajó en un episodio de la serie CSI: Crime Scene Investigation.