杨森的第一夫人是其发妻张氏，这是典型的父母之命，媒妁之言。成婚之初，俩人感情甚笃，张氏孝顺体贴公公婆婆，善待小叔小姑，又能勤俭持家，在杨家内外口碑甚好。后来，杨森考入成都陆军速成学堂后，张氏暴病身亡。杨森青年丧妻，很是伤痛，发迹后便让妻弟张元培来到二十军，充当了一位军需官，算是一种“遣悲怀”式的补偿吧。
1908年，杨森从军校毕业后，遵从父母意愿，续弦广安老家的谭正德填房。谭氏为其育有长子、长女。杨森妻妾成群后，谭氏被冷落，独自守着广安老家偌大的宅院，孤影清灯，直至1976年以92岁高龄谢世。
第三个老婆名为刘谷芳，云南禄丰人。1913年，杨森混迹在滇军中，替长官黄毓成在昆明的安宁温泉监造别墅。刘谷芳之父刘柱卿亦是当日施工现场的“小包工头”之类人物，因见杨森军人气质浓，身材魁伟异于常人，办事练达，当下不问青红皂白便将女儿草草许配。殊不知，歪打正着，刘柱卿的投资换来了丰厚的回报，在杨森飞黄腾达后，刘柱卿先后出任过二十军驻武汉、成都办事处处长和军长代表，狠狠赚了一笔。但女儿却没他那么幸运，抗战时，刘谷芳因患肺病而卒。
第四个老婆便是杨府十二钗中地位最高，家境最好，深得杨森宠爱的田衡秋。1920年，杨森因出卖滇军利益，在刘湘的支持下得以返回四川，擢升为川军第九师师长。一次，他率部进驻阆中时，在大街上与田衡秋迎面相遇。但见该女子妩媚娇艳，心中顿掀波澜，当即骑马徐徐相尾，知道确切住址和家庭情况后，便派手下大张旗鼓地前去说媒。这时，田衡秋已有婚约，况且田家经商多年，是远近闻名的殷实大户，根本不愿让女儿做妾。田父遂一口回绝。杨森并不死心，一面极力讨好田衡秋，一面对田家软硬兼施。次年，杨森又被北洋政府任命为沪永镇守使，他更加有恃无恐，百般纠缠，田家被闹得不可开交，万般无奈之下，只得将女儿送往沪州了却杨森的色欲之心。但是，羞愤交加的田父受不了如此打击，不久便被活活气死了。
田衡秋毕竟出身于商贩世家，为人大气精明，理财持家颇有招术，又能揣摩杨森内心，自然而然便成了杨森的管家太太，深得宠爱。抗战时，杨森在重庆的“渝舍”借与何应钦、陈诚、毛人凤等国民党中央人员居住的机会，她陪同杨森接洽应酬，极力讨好巴结。
1949年，田衡秋带着杨森多年敛集的财富先行逃往台湾，足见杨森对她的信任。不过，田衡秋未过几年，前往香港探亲时，因突发脑溢血引起半身偏瘫达20年之久，杨森渐渐将她冷落一边。田衡秋晚年的生活、治病全靠美国的女儿担负，才得以走完痛苦的后半生。
第五个老婆萧邦琼，则是杨森长驻沪州时，依靠同样的手段将这位部属之女纳人府中，萧父本为杨森在滇军任团长时的秘书，一个典型的戎装书生。一次，赴杨森家宴时，萧父带上女儿随行。敬酒时，杨森眼中大放光彩，如长辈一样摸着萧邦琼的头赞叹道：“几年不见，小姑娘长这么大了，模样周正得很呢。”一位善于摇尾逢迎的下属瞥见这一幕，便鼓动如簧之舌说服萧家将女儿嫁与了杨森。萧邦琼原本就生得艳丽照人，加之自幼入新式学堂念书，又做过教师，颇有文化。比之田衡秋，她表现得更为乖巧、应对接洽，极有分寸，更重要一点，她不似田衡秋世故、虚矫和故意作态，这在杨森看来，就显得格外纯净，当然就十分钟爱。1931年，萧邦琼由沪州上船时，行至江中，因船覆溺水身亡。
陈顺容是其第六妾，一个粗眉大眼的典型的广东女子。原本为三姨太刘谷芳的贴身丫头，15岁，为杨森酒后乱性奸污，后收为妾。由于语言、性格之故，陈顺容畏畏缩缩，不善承欢，是“十二钗”中最不受杨森喜爱的一个。稍有不慎，便会被杨森用马鞭抽得体无完肤，陈顺容饱受刺激，后来得了精神病，被杨森差人用铁链绑着送回广安乡下。解放后病死于重庆。
第七个老婆曾桂枝，贵州毕节人。据说，她是杨森妻中身材最好的一个，本是杨森养女。早年，杨森率部入黔，在毕节收容了一个无家可归的小姑娘，交由属下代为抚养。流光催出玉人来，不曾想见，几年后，当年那个蓬头垢面、孤苦无助的小女孩竟然出落得亭亭玉立，楚楚动人。后来交由刘谷芳当丫环，改名为杨家桂。家桂而不“嘉贵”，杨森每日见了这位健康活泼、丰满秀挺的养女，禁不住淫心荡漾。不久，他撕下伪装，全然不顾人伦道德，在田衡秋等的帮助下，迫不及待地为14岁的曾桂枝“破了瓜”。随后煞有介事地圆了房。曾桂枝天生机敏，求知上进，杨森便为她请了家庭教师，几年后又不惜血本送往上海、北京等地求学。为的是将来能将这位姿态娉婷的小妾带入社交场，做为自己的装饰花瓶。
然而，曾桂枝在上海读书时，情难自禁，大胆追求新生活，与同班陈姓同学真诚相恋。杨森得知后，大为恼怒，设计将二人枪杀于渠县的荒郊野外。
第八妾汪德芳是成都人。她是“十二钗”中同杨森大胆决裂最为自立自重的一个。汪德芳之父原为杨森二十军军部秘书，为人谨小慎微。被无耻小人强行说合，被迫将女儿嫁与了杨森。汪德芳当时年仅15岁，尚在念中学。成亲后，杨森准予她继续求学，并送至上海国立音乐学院就读。汪德芳学成归来后，在杨森创办的成都天府中学任校长，成了社会名流，当选过国民党“国大代表”。但和杨森关系形同冰炭，几乎不往来，连所生小孩也改姓汪。“文革”期间，因杨森之故，被逼自杀于乐山。
