1974年，90岁的杨森娶了17岁的张灵凤为妻。当时，中国尚未实行一夫一妻制，杨森作为有权有势之人，一生娶有多房妻妾。他对张灵凤表示，只要自己喜欢，不在乎妻子是否真心，这种态度贯穿他的一生。
杨森一生婚姻曲折。他的第一位妻子早逝且无子，第二位谭氏也未得到他太多喜爱。此后，他娶了多位小老婆，有的因病早逝，有的被迫嫁入，甚至有干女儿被逼成妾。这些妻妾中，有的被逼疯，有的试图逃跑却被严惩。杨森对她们管理严格，家中如同军营，妻妾们虽为他生下不少子女，但孩子们大多渴望逃离这个压抑的家庭。
国民党败退后，杨森只带着四姨太和十一姨太逃亡，其他妻妾趁机逃离。86岁时，十一姨太为他生下女儿。90岁时，他因无人照顾，将张灵凤招为秘书兼妻妾，次年张灵凤为他生下女儿，令医生惊叹。1979年，杨森病逝，享年93岁。他一生娶了12位妻妾，生活充满争议，最终以孤独离世告终。
