杨森留给后世最大的谜就是他荒淫畸形的私生活,他一生风流成性、纳妾无数,九十岁高龄还娶过17岁的少女。而他对制裁妻妾的残忍手段也让人目瞪口呆。杨森的两名妾室曾桂枝与蔡文娜都因红杏出墙、下场凄惨。
第七个老婆曾桂枝,贵州毕节人,本是杨森养女。早年,杨森率部入黔,在毕节收容了一个无家可归的小姑娘,交由属下代为抚养。不曾想见,几年后,当年那个蓬头垢面、孤苦无助的小女孩竟然出落得亭亭玉立,楚楚动人。后来交由刘谷芳当丫环,改名为杨家桂。
不久,杨森全然不顾人伦道德,在田衡秋等的帮助下,迫不及待地为14岁的曾桂枝“破了瓜”,后煞有介事地圆了房。
在曾桂枝20岁时,杨森花重金将她送至上海读了大学。原本性情活泼的她已无多少羁绊,许多男同学倾慕那近乎完美的身材,媚态袭人的容颜,纷纷与之交往。日久生情,曾桂枝和一位陈姓同学由此相恋。从未体验过爱情的曾桂枝无所顾忌。她和恋人成双成对,出入舞厅,卿卿我我,俨如一对恩爱夫妻。杨森得知后,大为恼怒,设计将二人枪杀于渠县的荒郊野外。