杨森留给后世最大的谜就是他荒淫畸形的私生活,他一生风流成性、纳妾无数,九十岁高龄还娶过17岁的少女。而他对制裁妻妾的残忍手段也让人目瞪口呆。杨森的两名妾室曾桂枝与蔡文娜都因红杏出墙、下场凄惨。
杨森的第三个老婆名为刘谷芳,云南禄丰人。1913年,杨森丢官,到昆明投靠滇军将领黄毓成,替长官黄毓成在昆明的安宁温泉监工修造别墅。刘谷芳之父刘柱卿亦是当日施工现场的“小包工头”之类人物。
刘柱卿因见杨森军人气质浓,身材魁伟异于常人,办事练达,二话不说就主动把自己的女儿许配给他。殊不知,歪打正着,后来杨森飞黄腾达,刘柱卿借着这位女婿先后出任过二十军驻武汉、成都办事处处长和军长代表,狠狠赚了一笔。但女儿却没他那么幸运,抗战时,刘谷芳因患肺病而卒。