因为不满袁世凯的专政，蔡元培辞去了教育总长一职。辞职之后的蔡元培加入了讨伐袁世凯的大军。
我们先来讲讲组建内阁的一位重要人物唐绍仪。他本身跟袁世凯是世交，也担任过北方的代表。当时赵凤昌推荐唐绍仪加入同盟会，经过孙中山和黄兴的同意，他成为了南北方的中介人物。唐绍仪所组的内阁共十人，包括南北方的人员各五人。内阁建立后，袁世凯独揽大权、行事专断，不遵守《临时约法》，民主革命仍然面临着重重困难。在内阁中南北方代表不仅没有团结合作，还互相不对付；部门规划也不合理，其中外交、陆军、内政、交通这些重要的部门都由袁世凯身边的亲信担任，其余职位才轮得到孙中山的南方代表，南方代表想要有所作为可以说是难于登天。蔡元培身在其中，原以为只要建立了民国就能实现共和政治，但事实并非如此，两派互相牵制导致改革一事无成。这令他更能深深感受到专制与共和之间的深刻矛盾，非常失望，产生了离开的想法。
不久以后，唐绍仪因为跟袁世凯在直隶总督人选这件事上产生分歧，发生了争执。事情是这样的：组建内阁时，孙中山推举王芝祥担任直隶总督，当时袁世凯表面上没有反对，但后来却迟迟不发表任命。唐绍仪再三催促，没想到袁世凯其实另有打算，他派心腹冯国璋担任直隶总督，改派王芝祥其他职务，还在毫无商量的情况下擅自颁发了委任状。唐绍仪得知后愤然辞职，蔡元培等4名内阁成员也连带辞职，在7月10日宣布了联名辞职函。蔡元培一心追求政治民主，原以为内阁可以为国家开创一番新的格局，实际上却发现理想和现实并不是一回事，再留在独断专行的袁世凯政府里，已经毫无意义。这件事以后，有人在背后议论蔡元培是因为“闹党见而不顾及国家”，因此蔡元培还发表了《答客问》这篇文章，一五一十地陈述了事情的来龙去脉。
1912年7月底，蔡元培回到了上海。当时袁世凯和黎元洪联手控制了北京政府，革命党人被大肆捕杀。袁世凯未经审判，就将武昌起义领导人张振武和徐维两人直接杀害，引起了极大的民愤。蔡元培于是和吴稚晖等人联合致电参议院，要求追究袁世凯等人的法律责任。
蔡元培在《通告》中说：“就算是大总统和副总统，也没有直接杀人的权力。张振武和徐维等人的行为还没有被判定有罪，就马上枪毙，这是违反约法、玩弄国民的行为！如果不追究责任，法律保障生命的权利在哪里，还谈什么共和政体？”8月20日，蔡元培担任了在上海张园召开的法律维持会会长，这次会议是为了商量政府监督应当如何有效履行法律等问题。当天到会的人员达到一千多名，在会后以1024人的名义致电参议院，要求追究袁世凯和黎元洪的违法责任，以捍卫法律尊严，保障人民生命。
8月23日，又发生了中国社会党首领亢江虎在汉口被捕事件，党员们在上海紧急商量对策，蔡元培发表演说，他用“**人权，莫以为甚”来形容这次的案件，认为跟之前伤害张振武和徐维的方式一样，都是袁世凯无视法律和人权的行为。情势紧急，在几天以后，以孙中山的同盟会为基础，统一共和党、共和实进会、国民公党和国民共进会等小党派合并在一起，成立了国民党；在国民党成立大会上，孙中山被推举为理事长。
经历了这一番风雨，蔡元培感觉到书生出身的自己对于局势变化的无能为力，开始考虑不如继续深造，先积蓄力量，等时机成熟后再为国效力。9月，他带着家人再次来到德国，继续踏上在莱比锡的求学之路。
但1913年3月，就传来了国民党领导人宋教仁被刺杀的消息，宋教仁被刺杀在国内掀起了更强烈的民愤，民众纷纷要求政府严惩凶手。江苏都督迫于舆论压力，公布了案犯和犯案证据——这个犯人叫武士英，再从他身上可以追查到幕后主使是国务院总理赵秉钧和内务部秘书洪术祖，也就是说这是袁世凯和手下所为。北京政府迫于压力，才让赵秉钧借假下台。3月25日，孙中山从日本回到上海，马上召集党内人员一起商量对策，也号召海外同志回国。蔡元培收到电报后也迅速响应号召，回到国内。
在到达上海前，蔡元培先到了大连，弟弟蔡元康在大连迎接他。蔡元康曾经在同盟会成立时出力不少，之后到了日本留学，见识颇广。他担心蔡元培的安全，劝他不要回去，但蔡元培民主革命的意志非常坚定，坚持要走。果然，袁世凯的手下趁他还没到北京，就提前在报纸上刊登了一篇《蔡元培回国之一夕话》来诋毁他，例如“赞成袁世凯向外国借款”、“不顾政党内阁的反对独断专行”等等。蔡元培看到后当机立断，6月12日在《民立报》上发表了《对时报、时事新报“一夕话”之更正》，对诋毁他的事逐一回应，及时澄清了事实。
蔡元培到达上海后，跟孙中山一起商量对策。孙中山有通过武力讨伐袁世凯的想法，但黄兴认为目前兵力不足，认为能用法律手段解决最好，蔡元培也赞同以和平解决的方法解决。6月下旬，李烈钧、胡汉民和柏文蔚三位国民党都督的职务被罢免，袁世凯派北洋军阀进入江西。李烈钧在跟孙中山商量后，决定在江西湖口宣布独立，开始旗帜鲜明地打响了讨伐袁世凯的第一枪；不久黄兴也在南京宣布独立；之后安徽和广东等地也接二连三地宣告独立。就这样，二次革命爆发了。蔡元培坚定地站在国民党主战派的立场，马上发布电文支持讨袁战争。
1913年7月19日，蔡元培和汪精卫、唐绍仪联名致电袁世凯，要求他辞职；还跟吴稚晖等人一起在上海编印《公论晚报》，同时在《民立报》撰文，也发表多篇鼓舞士气的文章，揭露袁世凯的恶劣行径，充分表露了他抗击袁世凯的坚定决心。
然而袁世凯作为封建顽固派的代表，怎么可能甘心就此交出政权？他派出军队大力镇压江西和南京等地的讨袁行动，由于国民党当时的力量还比较薄弱，各地节节败退。9月1日，袁世凯的部下张勋和雷震春攻占南京，二次革命失败了。孙中山和黄兴等人被迫流亡海外，蔡元培也带着家人登上了去往德国的邮船，离开上海，革命事业进入了低谷。
二次革命的失败，暴露了资产阶级革命政党自身的局限性，也使蔡元培经过反思后认识到，在面对封建顽固派时，总是采取妥协方式是无法达到实现民主政治目标的。