二次革命失败后，孙中山和黄兴等人被迫流亡海外，蔡元培也带着家人登上了去往德国的邮船，离开了上海，革命事业进入低谷。遭受到革命失利的打击后，蔡元培非常痛心，他决定到法国游学。一方面是为了通过进修深入学习西方文化，另一方面也可以继续编译书籍。
这是蔡元培第四次出国，他为什么选择了法国呢？
首先是法兰西文化吸引了他，再就是当时他的老朋友吴稚晖也在法国，但最重要的原因还是蔡元培本身有着教育强国的信念，他认为当时世界各国的教育里能完全脱离君主政治和教会障碍的，就数法国做得最好。中国跟法国在历史上虽然有着相似的地方，但在文化、科学、美术和哲学等方面，跟法国比起来还是有很大的差异。
到了巴黎以后，蔡元培寄居在位于市郊的中华印字局。当时在巴黎创办了豆腐公司的李石曾是蔡元培的好友，他还特地来迎接蔡元培，邀请蔡元培先在自己家里暂住。见到李石曾的蔡元培非常高兴，就答应了在李家借住。但由于李家经商，家里应酬很多，他无法静心编译书籍，于是不久就搬到了出租房去。
1913年12月下旬，蔡元培的生活基本安顿了下来：他安排了子女入学，还与夫人一起学习法语。在法国，他的主要工作主要包括著述和办刊，他编写的《哲学大纲》作为商务印书馆的指定用书，被用来供师范学院和哲学专业的学生使用；他写的《华工学校讲义》也成为了兴办华工学校的准备教材，里面《舍己为群》、《责己重而责人轻》等文章后来都被选入中国语文教科书中。
1914年，蔡元培和汪精卫、李石曾还有张继等人创办了《学风》杂志，但第一次世界大战爆发后导致印字局停业，所以这本杂志停止了发行。1915年，蔡元培又联名吴稚晖等人想要发行《欧旅学报》，也没能成功。到了1916年，他主编的《欧旅学报》终于作为华法教育会主办刊物创刊，上面刊登了他的《华工学校讲义》。当时蔡元培还撰写了一系列的文章，其中在《学风》杂志的发刊词中讲到世界文化的大形势，说明了欧洲学术盛行但中国相对而言太落后了，呼吁国人要奋起直追。
第一次世界大战爆发后，整个欧洲的人民都笼罩在战争的阴影下，人心惶惶，许多学校都关闭了，导致很多学生要辍学回国。蔡元培在当时就针对局势写了《吾侪何故而欲回国乎》这篇文章，挽留学生，同时也尽力做好安排工作，帮助他们解决困难。
1915年6月，民国四年，蔡元培48岁时，他与李石曾、吴玉章等发起组织华法教育会，在法国倡导勤工俭学，希望以此组织帮助更多华人到欧洲求学，后来的周恩来、邓小平等均是通过这个组织的帮助后顺利在法国进行学习的。
在这场持久的战争中，法国劳动力变得短缺，急需从中国招募工人到法国工作。为了开展华工教育以及推动中法的双向文化交流，6月22日，华法教育会成立大会在巴黎召开，蔡元培和巴黎大学的教授分别被选为中法会长。后来蔡元培一直担任着这个职务，直到回国后都还继续兼任，大力推动了它的发展。到了1921年，在法国勤工俭学的学生已经达到1700多人，当时正值俄国十月革命胜利的时候，华法教育会也造就了一大批共产主义战士和革命领导人。推进留法勤工俭学运动，可以说创造了留学生在国外学习的一种全新模式，开启了中国教育史的新篇章，对促进教育发展和文化交流都有着重要的意义。
与此同时国内的形势也在变化，1916年6月6日，独断专行的袁世凯因尿毒症身亡，黎元洪接任了总统。黎元洪的北京政府终于明令恢复了民国初年的《临时约法》，孙中山、黄兴等一大批流亡海外的革命党人纷纷相约回国，一些浙江籍议员还发电给远在法国的蔡元培，说是要推选他当浙江省督军。
当时的中国教育百废待兴，1916年7月，由范静生和袁希涛分别担任教育部总长和次长，浙江人士陈介石和马叙伦等人纷纷建议请蔡元培回来担任北大校长。1916年9月1日，教育部专门教育司司长沈步洲发电报给蔡元培，电报里说：“国事渐平，教育宜急”，请他尽快回国。蔡元培收到电报后心情激动，因为他始终心系祖国，虽然在法国创立勤工俭学会和华法教育会的目的也是为国培养人才，但始终不及直接回国投身教育来得更实际，更能施展自己的才能。于是在1916年11月8日，蔡元培与吴玉章一起乘船由马赛回国，抵达上海。
在民国元年之前，北京大学被称为京师大学堂，成立于15年前，包括师范馆、仕学馆和译学馆等。在这之前经历了仕学馆和师范馆的两次考试，一共招收了182名新生。当时的北大不像今天是人人称道的高等学府，还存在很浓厚的官僚气息和各种腐败作风。在民国初年，社会上流传“两室一堂”的说法，指的就是参议院、众议院和京师大学堂，“两室一堂”里出入妓院“八大胡同”的人数是最多的。在这种情况下，学校的名誉受到了玷污，在国民心目中的形象也一落千丈。还有明文规定了只有京官才有资格入学，所以学生入学是为了当官而不是为了学习知识等等。
了解到实际情况以后，蔡元培下定决心要扭转这股颓败的风气，让北大真正成为革命思想的传播地，从而实现教育救国的夙愿。有朋友劝说蔡元培不要接受这个任命，因为如果整治失败，搞不好还会破坏自己的名声。蔡元培也明白其中的要害，他拿不定主意，于是去请教了孙中山。作为开国元老的孙中山高瞻远瞩，认为北京需要革命思想的传递，希望蔡元培能担此重任。于是蔡元培下定决心后，在12月23日到达北京；12月26日，大总统黎元洪宣布任命他为北京大学校长。
蔡元培与北大也有一番渊源，在任职翰林院的时期，他的朋友张元济是京师大学堂的总办；八年以后他成为大学堂的国文教习，同时也教授西洋史学；到了蔡元培担任教育总长时，京师大学堂改名为国立北京大学校，由严复担任校长。虽然北京大学一直有一定的规模，随着社会的发展学生数量有所增加，教学内容也得到了改善，但总体来说还是处于一个缓慢的发展阶段，跟国外大学相比的话，无论是教育体制、学术学风还是师生素质方面，都可以说是完全跟不上时代的脚步。蔡元培上任后的第一件事，就是对当时的北京大学进行一番考察，然后跟范静生和沈步洲等人一起商量有什么整治北大的好方法。
1917年1月4日，一辆马车驶进了北京大学，校工们排队在门口，恭恭敬敬地向这位将领导“最高学府”的人行礼。蔡元培“一反以前历任校长目中无人、不予理睬的惯例，脱下自己头上的礼帽，郑重其事地向校工们回鞠了一躬，使校工和学生们大为惊讶”。如此有身份的人向卑微的仆役表示敬意是极不寻常的。但这正是蔡元培想要表达的：北大的一切将发生改变。此后，蔡元培每次坐马车到学校时总要向校门外的守卫鞠躬。
进入北大，蔡元培在教育救国的路上，又前进了一大步。