回到北大之后的蔡元培提出了进一步完善学校体制的要求，目的是即使他不在也不至于影响校务正常进行。但随着时局的变化，蔡元培在教育制度的改革和发展上再次面临困境，他也因为经费等种种问题对政府失去了信心，所以再一次有了请辞的打算。而罗文干案成为蔡元培最终离开北大的导火索。
罗文干字钧任，广东番禺人，清末留学英国，专攻法学，获牛津大学硕士学位，归国后长期任职于司法界，时任财政总长，曾是北大法科兼课讲师。当时的直系军阀和部分官僚政客们一手制造了“罗文干案”，控告罗文干贪污受贿，胁迫黎元洪下令逮捕罗文干；罗文干第一次被捕后因证据不足被无罪释放，但新任的教育总长彭允彝却在内阁会议上提议“再来过”，结果罗文干再次被捕入狱。
蔡元培信任罗文干的为人，更无法忍受这种勾结军阀、**人权的行为，所以愤然辞职，以示耻于为伍，并毫不留情地抨击了军阀政客们的所作所为——“耳目所及，举凡政治界所有最卑污之罪恶，最无耻之行为，无不呈现于中国”，“元培目击时艰，痛心于政治清明之无望，不忍为同流合污之苟安，尤不忍于此种教育当局之下支持教育残局，以招国人与天良之谴责”。
离开北大后的蔡元培，经过天津和上海，最后到达了绍兴。除了工作上的不顺，这时的他也在为夫人黄仲玉的离世而忧伤。早在1920年9月，蔡元培赴欧美考察教育，学术研究时，黄仲玉就已染沉疴，虽经医生诊疗，但状况时好时差。黄仲玉一面请医生诊治，一面整理行装，力促始终放心不下的蔡元培按期成行。为了不拖累丈夫，黄仲玉于1920年底住进了北京一家法国人办的医院，本以为小别重聚后妻子将痊愈安康，却不想自此阴阳两隔。1920年11月24日，蔡元培自上海登船赴法。1921年1月2日，黄仲玉一病不起，在医院溘然长逝，时年45岁。9日，蔡元培自巴黎抵达日内瓦，闻此噩耗悲恸不已，但远在异国他乡的他只能独自承受这人生的悲苦和打击，连北京大学等学校、团体隆重举行的“蔡黄仲玉夫人追悼会”他也无法回国参加，只能就着悲痛无诉的伤感挥泪撰下一篇《祭亡妻黄仲玉》聊寄哀思。
黄仲玉出身官宦世家，贤良贞烈；青年伉俪和谐，却举家飘零；而在丈夫最辉煌的岁月里她又身染重病，撒手人寰。如此佳人却最终不能颐养天年，也难怪蔡元培会悲痛万分。一篇祭文，字字含泪，句句含情。
呜呼！仲玉，竟舍我而先逝耶：自汝与我结婚以来，才二十年，累汝以儿女，累汝以家计，累汝以国内、国外之奔走，累汝以贫困，累汝以忧患，使汝善书、善画、善为美术之天才，竟不能无限发展，而且积劳成疾，以不得尽汝之天年。呜呼！我之负汝何如耶！
黄仲玉离世时，蔡元培已经54岁高龄，一来工作繁忙，二来生活上也需要有个人照顾，于是人们再次给蔡元培张罗起婚事，面对人们的热情，蔡元培又提出了三个择偶的条件：一是在思想上要有相当的认识，二是年龄要大一些，三是要熟悉英文，在工作上可以作为他的助手。
爱国女校学生周怒清（后来改名为周峻）工作了许多年但仍然独身，一直有出国深造的念头，正好符合蔡元培的要求。蔡元培向她提出了结婚的请求，周峻答应了。1923年7月10日，他们在苏州留园举办了婚礼，蔡元培写下《题留园骊照》一诗作为纪念。随后周峻与蔡元培开始了游居海外的生活，他们志趣相投，夫唱妇随，相敬如宾，先后在比利时、法国、德国生活。
1926年，蔡元培出国已经两年，教育部催促他回国，于是他在2月3日回到上海。尽管北大还没有取消他的职务，但他不想再去北京，怕再度政务缠身无法专心学问。后来张作霖取消了北京大学，重新创办京师大学校，任命当时的教育总长刘哲兼担任校长，从此蔡元培才彻底跟北大脱离了关系。这之后他在浙江和上海等地活动，配合北伐军开展军事行动，后来应蒋介石的邀请担任了浙江政治会议主席。不仅如此，这段时间蔡元培还担任了多种重要职务，以元老的身份调解各派之间的矛盾和冲突，维护政治格局的统一。
虽然工作繁忙，但蔡元培心里始终不忘教育大事。在法国游学期间，他了解到法国不设教育部而是实行大学院制度，把整个法国分为17个学区，每个学区都设立独立的国立大学，由大学院院长负责全国教育行政工作，由大学校长处理区内教育工作。于是在1927年，蔡元培参考这套运转模式，跟李石曾和吴稚晖一起推行大学区制度。不久后，他又提出大学区制议案和大学院制议案，由李石曾提名他当院长。议案通过以后，先在江苏和浙江两地开设了试点，看看如果有成效的话再推向全国。在当时通过的《中华民国大学院组织法》里对大学院的身份作出了明确规定：大学院由多个学术机关组成，主要负责管理全国的教育行政，是教育界的最高权威。这样的话，就能避免大学院像过去的教育部一样被杂事缠绕，同时也把政客官僚都拒之门外，希望能够起到加强业务和提高工作效率的作用。
蔡元培在担任院长期间，还组织了全国教育会，当时有专家和代表八十多人参加了会议。他在会上提出教育应当遵循“科学化、劳动化、艺术化”的原则，审议了各类教育案件共四百多件。除此之外，蔡元培还通令全国要废除春秋旧典，提倡白话文。但这个意见一出台，就遭到了反对派的攻击，说是像当年在北大发令废孔事件一样“瞎折腾”。在学院管理方面，蔡元培主张能简则简，但事务繁杂而人员过少，只能作出相应的整改措施——扩充职能机构进行对口管理，同时增设副院长处理日常事务，但无形中又更像以前的教育部了，是个两难的抉择。很多人对大学院这种实验性的制度感到不满，提出了很多反对意见。种种工作上的不协调，加上国民党党派的反对，使蔡元培受到了双重压力。当年10月，国民政府宣布恢复教育部，停止了大学区制和取消了试点的地区，大学区制和大学院就这样结束了。
1931年9月18日，“九一八”事变爆发。蔡元培等人南下议和，在上海召开了和平统一会议。“九一八”事变后，蒋介石坚持“攘外必先安内”，对日军采取了“不抵抗”政策，导致东北三省快速沦陷，引起了全国民众的激愤。不仅如此，蒋介石还大力培养特务组织，一时间民众安全得不到保障，整个社会陷入了恐慌之中。蔡元培当时已经意识到，蒋介石等人只是拿民主作为幌子，实质上做的却是践踏民主和破坏法制的事。周恩来曾经这样评价蔡元培：“从排满到抗日战争，先生之志在民主革命；从‘五四’到人权同盟，先生之行在民主自由。”他作为一名真正的民主主义者，对国民党的政权统治感到深深的失望。
面对民族危机的来临，蔡元培在1932年12月跟宋庆龄、杨杏佛和林语堂等人一起，成立了中国民权保障同盟。这是一个由各界人士组成的民间组织。成立当天，同盟就发布了《宣言》，明确表明宗旨是要保障人与社会的思想和社会自由，反抗国民党政府对民主和人权的压制。同盟在这方面作出了很多贡献，包括营救了陈独秀、许德珩、陈赓、丁玲、对非法枪决刘煜生一案表示严正抗议等等。蒋介石政权千方百计阻挠同盟的活动，派特务威胁和恐吓同盟负责人，甚至在1933年6月18日派人袭击枪杀了杨杏佛。得知这个坏消息后，蔡元培丝毫没有考虑到自身的危险，马上赶到医院安排杨杏佛善后的事情，再到同盟办公地处理各种事务，同时极力追查凶手。在杨杏佛的追悼会上，蔡元培发表了深切悼念的讲话，宋庆龄更是大力谴责杀人案凶手及幕后主谋，呼吁全国人民共同反抗这种欺压人权的行为。
总体而言，虽然蔡元培在国民党中的地位崇高，但他主要精力还是主要投注在教育文化事业上，可以说算是学界中人而非政界中人。