1923年春天，王国维成为溥仪的南书房行走，正当他风光无限的时候，他与罗振玉之间的关系却出现了罅隙。事情的导火索要从王国维的长子王潜明在上海病逝说起。前面我们只提到罗振玉和王国维是亦师亦友的关系，除此之外，他们两人还是儿女亲家。
1918年，在罗振玉和王国维关系最融洽的时候，罗振玉了解到王国维的大儿子王潜明学习优异，性格纯良，于是在跟王国维商量后，决定将自己最心爱的三女儿罗孝纯许配王潜明。罗孝纯和王潜明自小就经常见面，关系也不多，所以就同意了父辈们安排的婚事。婚后王潜明跟罗孝纯的夫妻关系很和谐，他也凭借自己的本事考上了海关公务员，两人还在上海买了一套小房子，生活的还算余款。
然而不幸的是，王潜明和罗孝纯一连生了两个女儿，都相继夭折了。罗孝纯有洁癖，每天都要给幼小的女儿洗澡，无论天气多冷，她都坚持。两个孩子先后夭折之后，王家人就觉得孩子的夭折跟罗孝纯总给孩子洗澡有关系，再加上罗孝纯和婆婆关系也不太和睦，所以跟王家的关系越来越紧张。
更加不幸的是，王潜明和罗孝纯到上海的第二年，王潜明就因病重身亡了。得知王潜明病危的消息，王国维与罗振玉分别从北京和天津赶来上海，罗振玉了解到女儿向来与婆婆的关系不好，如今女婿已经不在了，把女儿留在这里也是受委屈。所以一向疼爱女儿的罗振玉在女婿王潜明入殓之后，就带着女儿先回了天津。
正经历丧子之痛的王国维对罗振玉的这种做法非常不满，心想：“难道我连儿媳妇都养不起了吗？”随即将王潜明病时的医药费全部汇去罗家。罗家把钱寄退回来，王国维又寄过去，如此往复两回。最后，王国维气得不言语，从书房抱出了一大叠和罗振玉往来的信件，撕毁并付之一炬。
因为这件事，1926年11月3日，罗振玉给王国维寄来一封“绝交信”，为两人30年的情谊画上了句号。在这份绝交信中，罗振玉用崇尚博爱的墨子来比喻自己，写明自己在几十年的交往中一直在帮助王国维，从来没有怨言。还把王国维比作主张“重己”的先秦哲学家杨朱，认为王国维很自私，知恩不报。这样的指责，王国维是绝不接受的，于是两人从此就断绝了关系。
王国维虽然一直认为，罗振玉把女儿带回娘家是不合理的，但他后来还是尽心尽力的安排好了儿媳妇以后的生活，还将二儿子的长子王庆端过继给了罗孝纯。然后将大儿子的抚恤金全都寄给了儿媳。
后来，王国维返回北京后，就安排仆人冯友去了一趟天津，将从上海运回的王潜明夫妇的家具送到了罗振玉家里，罗振玉不想收，就让冯友给王国维带回了一封拒款信。罗振玉在王潜明医疗问题上曾指责过女儿“偏执”，王国维也在潜明遗款的问题上，以长辈的身份批评过罗孝纯“无理”，并请罗振玉喻以“正理”。谁知，罗振玉并没有站在王国维这一边，袒护的是自己的女儿。
罗振玉的长孙罗继祖，当时已经十四五岁了，对于这件事，罗继祖曾回忆到：“潘夫人处置善后偶尔失当，姑母泣诉于祖父，祖父迁怒于王先生，怪他偏听妇言，一怒而携姑母大归。……三十年夙交感情突然破裂，原因是祖父脾气褊急，平日治家事事独断，而王先生性格却相反，平日理头治学，几于不过问家政，一切委之阃内。……事情闹僵，又没有人从中转圜，以至京津虽密迩，竟至避面，直到王先生逝世。”
王国维长女王东明对“潘氏夫人处理善后失当”这样的看法却不同意，他认为父亲和罗振玉绝交并非只有这些愿意。并回忆当时的情景，说：“父亲最爱大哥，大哥病逝，给父亲很深的打击，已是郁郁难欢，而罗振玉先生又不声不响地偷偷把大嫂带回娘家，父亲怒道：‘难道我连儿媳妇都养不起？’然后把大哥生病时的医药花费全汇去罗家，他们寄回来，父亲又寄去，如此往复两回，父亲生气得不言语，只见他从书房抱出一叠信件，撕了再点火焚烧。我走近去看，见信纸上款写着：观堂亲家友道……”
但后世也有人分析道，其实王国维和罗振玉的矛盾在王潜明病逝之前，就已经有了。原因就在于，罗振玉认为王国维已经和自己不是一条心了。
辛亥革命以后，清逊帝溥仪仍然住在紫禁城里，罗振玉和升允推荐王国维为南书房行走。1923年，罗振玉将自己的著作《殷墟书契前后编》《考释》等书，从天津寄到北京，让王国维呈给溥仪。王国维拒绝了。后来，罗振玉和升允联名上奏，弹劾以郑孝胥为首的新派。罗振玉让王国维代为呈递奏折，王国维又拒绝了。
这两次拒绝，在王国维看来，他是在帮罗振玉。因为郑孝胥与罗振玉有矛盾，当时京城里已经有了罗振玉和升允“结党”的传闻，一旦奏折呈上，传闻便会落实，到时罗振玉会陷入危险的境地。而当时的罗振玉却没能感受到王国维的一片苦心，误以为王国维是只图自保所以才拒绝的他。所以，罗振玉在绝交信中的言辞，已经超出了儿女家事的争执，而是直接说自己是墨子一样博爱的人，而王国维是杨朱那样自爱自私，二人非同道之人。既非同志道，又何必共叙旧谊呢？
这样的结果也跟两人的性格有关，罗振玉侄子曾回忆到说：“叔性格强势，脾气急，做事稍欠冷静。”叔而王国维性复忧郁，随和，情感冷静内敛而又热烈。所以两人势必会分道扬镳。
直到半年，“静安自沉”事件后，罗振玉闻讯愧疚万分：静安以一死报知己，我负静安，静安不负我。