两人刚住一起时，翁瑞午每晚必至深夜才回家，抗战后他为造船所处长，有特别通行证。一天过了凌晨二点，他说汽车坏了，就一个人在陆家二楼烟榻上睡一晚。从此常常如此，陆小曼上三楼，任他独宿。到那月底，徐志摩的父亲徐申如送来三百元附了一条云：“如翁君已与你同居，下月停止了。”后来才知道，徐申如买通弄口看门的，监视着陆的一举一动。当时翁瑞午大怒，毫不客气，搬上三楼，但另设一榻而睡，从此以后陆小曼的生活，由他负担。
陆小曼说她对翁瑞午“只有感情，没有爱情”。就算是这样的感情，也是难能可贵的，并不该遭受他人的鄙薄。试想，一个无依无靠，被社会公众所遗弃，没有能力生存的女子，在那时，面对那么多的责难，那么多人的鄙弃，不为所动，甚至拒绝了胡适的援助，只因胡适的条件是要她断绝与翁瑞午的关系，便能负担她今后的所有。
如果陆小曼真的是贪图生存，那么与胡适在一起自然可以衣食无忧，可是她却断然拒绝了：“翁瑞午虽贫困已极，但始终照顾得无微不至，廿多年了，吾何能把他逐走呢？”陆小曼有丈夫之气，所以胡适空认识了陆小曼一场，却会提出这样一个对于陆小曼来说违背其心性品格的条件来，不能不说是遗憾。
患难之中，相互扶持，不以爱情之名去美化，却也不该以其它的蜚语去诋毁。因此在以后的岁月里，陆小曼再不与胡适来往。这份坚决与坚贞，哪里是一个羸弱女子能为，更非一个乞讨他人怜悯之女子能为。在乱世之中，能这样坚守，谁有资格对这样情感鄙夷？王亦令在《忆陆小曼》一文中说：“凡是认识陆小曼的人，几乎异口同声称赞她宅心忠厚、待朋友热情、讲究义气。”甚至有人作出这样的评论：“男人中有梅兰芳，女人中有陆小曼，都是人缘极好，只要见过其面的人，无不被其真诚相待所感动。她绝不虚情假义敷衍他人，而是出于一片赤子之心。”
随着时光悄悄褪去隐藏在陆小曼身上的面具，那些陈旧不堪的纱幔渐渐支离破碎的时候，陆小曼这个曾经千夫所指的女子，终将把她散发的所有的美重新展现在世人面前。对于自己与翁瑞午之间的关系，陆小曼一直觉得问心无愧，她说：“我的所作所为，徐志摩都看到了，徐志摩会了解我，不会怪罪我。”她还说：“情爱真不真，不在脸上、嘴上、而在心中。冥冥间，睡梦里，仿佛我看见、听见了徐志摩的认可。”
60年代初，翁瑞午病重。他托人要作家赵家璧和赵清阁去他家，他有些话要交代。
一天晚上，赵家璧和赵清阁去了陆小曼家里，到翁瑞午的床前。翁抱拳拱手招呼他们：“我要走了，今后拜托两位多多关照陆小曼，我在九泉之下也会感激不尽的。”
赵家璧对他说：“放心放心，我们也是陆小曼的好友，自然要关照好!”
1961年，翁瑞午在上海去世。
