Nascido como Arthur John Stainer, ele era o filho mais novo de Ferdinand (Frank) Steiner e Lilian Blumberg. Seu irmão foi o ator de cinema Leslie Howard e sua irmã, a diretora de elenco Irene Howard. Seu tio era o diretor de cinema Wilfrid Noy. Ele se casou com a atriz Jean Compton Mackenzie (uma filha do ator Frank Compton) em 1936 e eles tiveram um filho juntos, o ator Alan Howard.
Arthur apareceu em vários programas de televisão como Whack-O, uma comédia escolar na qual ele interpretou o desafortunado diretor-assistente Pettigrew para o diretor de Jimmy Edwards, e ele estava na versão de filme de 1959 Bottoms Up. Ele apareceu em vários filmes, incluindo American Friends, The Magnificent Seven Deadly Sins, e teve o pequeno papel de Cavendish no filme de James Bond Moonraker.
Balding, ator preocupado com Londres ator cômico, que primeiro se levantou para proeminência como o diretor de longa duração de Jimmy Edwards em 'Whack-O!' Na rádio da BBC. A mostra foi transferida mais tarde à tela pela tevê de BBC e funcionou de 1956 a 1960 em seu formato original.
