杨森留给后世最大的谜就是他荒淫畸形的私生活,他一生风流成性、纳妾无数,九十岁高龄还娶过17岁的少女。而他对制裁妻妾的残忍手段也让人目瞪口呆。杨森的两名妾室曾桂枝与蔡文娜都因红杏出墙、下场凄惨。
杨森的第五个老婆萧邦琼,四川泸县人,乃是其部属之女。萧父本为杨森在滇军任团长时的秘书,一个典型的戎装书生。在一次家宴中,杨森看上了萧邦琼,他的某位下属便鼓动如簧之舌说服萧家将女儿嫁与了杨森。
萧邦琼原本就生得艳丽照人,加之自幼入新式学堂念书,又做过教师,颇有文化。比之田衡秋,她表现得更为乖巧、应对接洽,极有分寸。更重要的一点,她不似田衡秋世故、虚矫和故意作态,这在杨森看来,就显得格外纯净,当然就十分钟爱。1931年,萧邦琼由沪州上船时,行至江中,因船覆溺水身亡。