Nacido en una acaudalada familia de banqueros de Tianjin, ingresó en el Merton College de Oxford para estudiar Filología Clásica en 1936.^[3]​ Allí se casó con Gladys Yang. Tuvieron dos hijas y un hijo, quien se suicidó en 1979.^[4]​

Yang y su esposa regresaron a China en 1940 e iniciaron una colaboración que duró décadas para introducir los clásicos chinos en el mundo angloparlante. Trabajando para la Editorial de Lenguas Extranjeras de Pekín, una editorial financiada por el gobierno, el matrimonio produjo numerosas traducciones de calidad. Entre las obras traducidas se incluyen poesía clásica china; obras clásicas como Sueño en el pabellón rojo, Los eruditos, El señor decadente: notas tomadas en una excursión (老殘遊記) de Liu E, también conocido como Los viajes de Lao Can, y algunos de los cuentos de Lu Xun.

Yang también fue el primero en traducir la Odisea al chino a partir del original griego antiguo. También tradujo al chino las Las aves de Aristófanes, las Geórgicas de Virgilio, El cantar de Roldán y Pigmalión de Bernard Shaw.

Escapó por poco de ser tildado de "derechista" en 1957-58 por su franqueza.^[5]​ Sin embargo, Yang y su esposa Gladys fueron encarcelados durante cuatro años por "enemigos de clase" en 1968, durante la Revolución Cultural. También fue conocido por escribir poesía ambigua. Su autobiografía, Tigre Blanco, se publicó en 2003.

Tras la muerte de Yang Xianyi en 2009,^[6]​ su hermana menor, la traductora Yang Yi, compiló y editó un libro que incluía poesía traducida por su difunto hermano. En 2022, la editorial Chinese Translation Publishing House publicó una nueva edición, titulada Poemas traducidos hermano-hermana (兄妹译诗) o Poemas traducidos de Yang Xianyi y Yang Yi, que incluye más de 100 de sus poemas favoritos.^[7]​