Depois que sua casa foi bombardeada durante a guerra, a família foi evacuada para Swanage em Dorset, onde Nosher frequentou a Swanage Grammar School. Em seu retorno a Londres, ele começou a praticar boxe e se tornou ocasionalmente parceiro de treino de Joe Louis e, posteriormente, de Sugar Ray Robinson, e Muhammad Todos. Ele continuou a lutar boxe durante seu serviço nacional no Royal Army Medical Corps e depois de dispensado, tornou-se profissional, aposentando-se em 1960, tendo tido 78 lutas - 51 como profissional e apenas 9 derrotas, mas nunca foi eliminado. Ele começou no cinema em 1944, quando foi dublê em Henry V de Laurence Olivier (1944). Ele continuou com o trabalho de dublê entre seu boxe e teve pequenos papéis em Oliver Twist (1948) de David Lean e The Slasher (1953). Em 1963 ele começou a trabalhar como dublê de Sean Connery em From Russia with Love (1963), que continuou por muitos anos. Longe do trabalho de dublê, ele e sua esposa dirigiam um pub perto do estádio de galgos de Wimbledon.
