杨森留给后世最大的谜就是他荒淫畸形的私生活,他一生风流成性、纳妾无数,九十岁高龄还娶过17岁的少女。而他对制裁妻妾的残忍手段也让人目瞪口呆。杨森的两名妾室曾桂枝与蔡文娜都因红杏出墙、下场凄惨。
杨森的第一夫人是其发妻张氏,他们的结合是典型的父母之命,媒妁之言。成婚之初,俩人感情甚笃,张氏孝顺体贴公公婆婆,善待小叔小姑,又能勤俭持家,在杨家内外口碑甚好。后来,杨森考入成都陆军速成学堂后,张氏暴病身亡。杨森青年丧妻,很是伤痛,发迹后便让妻弟张元培来到二十军,充当了一位军需官。
1908年,杨森从军校毕业后,遵从父母意愿,续弦广安老家的谭正德填房。杨森的长子和长女都是谭氏。杨森发迹之后,便妻妾成群,谭氏也就一直被冷落,独自守着广安老家偌大的宅院,孤影清灯,直至1976年以92岁高龄谢世。