杨森留给后世最大的谜就是他荒淫畸形的私生活,他一生风流成性、纳妾无数,九十岁高龄还娶过17岁的少女。而他对制裁妻妾的残忍手段也让人目瞪口呆。杨森的两名妾室曾桂枝与蔡文娜都因红杏出墙、下场凄惨。
杨森的第四个老婆便是杨府十二钗中地位最高,家境最好,深得杨森宠爱的田衡秋。1920年,杨森脱离滇军转投川军熊克武,任第九混成旅旅长。1920年5 月,他率部进驻阆中时,有一次在大街上与田衡秋偶遇。但见田衡秋妩媚娇艳,便派手下大张旗鼓地前去提亲。
当时,田衡秋已有婚约,况且田家经商多年,是远近闻名的殷实大户,根本不愿让女儿做妾。田父遂一口回绝。杨森有恃无恐,百般纠缠,田家被闹得不可开交,万般无奈之下,只得将女儿送往沪州与杨森结婚。但是,羞愤交加的田父受不了如此打击,不久便被活活气死了。
田衡秋善于经营管理,自然而然便成了杨森的管家太太,深得宠爱。1949年,田衡秋带着杨森多年敛集的财富先行逃往台湾,足见杨森对她的信任。不过,未过几年,田衡秋前往香港探亲因突发脑溢血引起半身偏瘫达20年之久,杨森渐渐将她冷落一边。田衡秋晚年的生活、治病全靠美国的女儿担负,才得以走完痛苦的后半生。