Adolphson cresceu em Norrköping, onde seu pai era ferreiro. A desaprovação de seu pai, ele começou a atuar em pequenas partes nos teatros locais, particularmente Arbis, o teatro do trabalhador. Ele começou uma educação para se tornar um engenheiro em Västerås, mas o teatro era a única coisa em que ele estava interessado e acabou abandonando a escola. Em 1913 ele se juntou a uma companhia de teatro itinerante e viajou por toda a Suécia. Ele estreou em Estocolmo em 1918 e durante os anos 1920 tocou com os grandes nomes do teatro sueco: Harriet Bosse (com quem se casou mais tarde), Ernst Rolf, Katie Rolfsen, Tollie Zellman, Erik 'Bullen' Berglund e Gösta Ekman, entre outros. . Em 1923, ele conseguiu seu primeiro papel principal em um filme, Friaren från landsvägen (1923).
Em 1929, dirigiu Säg det i toner (1929), uma das primeiras imagens sonoras suecas. Isso levou a uma oferta da Paramount para dirigir filmes em Paris, na França, que ele aceitou. Durante as décadas de 1930 e 1940, trabalhou muito com cinema e teatro, não apenas porque amava seu trabalho, mas também para apoiar um número crescente de ex-esposas e filhos. Dirigiu Ingrid Bergman em seu primeiro filme, O Conde da Cidade Velha (1935). Outras aparições memoráveis são Kungliga patrasket (1945), När kärleken kom till byn (1950), One Summer of Happiness (1951), Vägen till Klockrike (1953) e The People of Hemso (1955). Ele terminou sua carreira com uma performance maravilhosa em Markurells i Wadköping (1968). Ele ficou impressionado com a cegueira nos últimos anos de sua vida e teve que parar de atuar.
