1911年冬天，蔡元培回到了上海。武昌起义的热浪席卷了华夏大地，跟冬天的寒冷萧瑟形成了鲜明的对比。这时候各地的名流都聚在上海，为早日筹建共和政权而共同努力。蔡元培暂时寄住在爱国女校，为了实现爱国事业四处奔走。
当时在选举大元帅的过程中，大家产生了分歧：一部分人推举黎元洪，另一部分人则推举黄兴来担任。蔡元培站在公众的立场再三思考，得出了结论：黎元洪性情软弱，容易妥协，当初也不赞同武昌起义，有可能会走上袁世凯的道路，若选他，那革命的前途就会被摧毁。所以蔡元培连夜去拜访章太炎和汤蛰仙等人，跟他们商量和权衡利弊，劝他们选择黄兴。大家觉得他言之有理，也都接受了他的建议。
在第二天的选举中，黄兴以大多数票数胜出，当选为大元帅；章太炎提出让黎元洪担任副元帅，也全票通过。不久以后，各省代表在南京开会进行了重新选举，这次调转了黎元洪和黄兴的位置，但因为这两人都不在南京，最后这件事就不了了之了。
1912年1月1日，孙中山在南京就任临时大总统，成立了新的一届政府。但浙军将领自认为是攻占南京的功臣，对这次选举的结果非常不满，尤其是章太炎。他在屋里挂上了统一党的牌子，共有弟子十多人，邀请蔡元培加入，并叮嘱蔡元培去南京跟各省代表接洽，来说服他们暂时推迟选举。蔡元培到南京后跟几位代表进行洽谈，但除了湖南省代表谭石屏以外，其他人都主张推举孙中山，也不同意推迟选举。蔡元培将此次谈判的结果告知章太炎，章太炎说：“如果孙中山被推举为大总统的话，在组织政府时，我们浙军最好不要加入。”蔡元培当时无奈只能答应。
南京临时政府成立后设置了九个部门，分别是陆军部黄兴、财政部陈锦涛、司法部伍廷芳、外交部王宠惠、海军部黄钟瑛、内务部程德全、实业部张骞、交通部汤蛰仙，以及教育部蔡元培。当时政府对于教育总长这个位置再三考虑，还是决定让蔡元培来担任。蔡元培担心自己无法担当重任，一再拒绝，在薛仙舟的说服下才勉为其难地同意尝试。然而好事多磨，章太炎以当时“浙人不入阁”的口头承诺扣留了他的行装，不让他上任。蔡元培说：“就算不担任这个职务，也要亲自到南京去向孙中山当面辞职，需要得到他的允许，即便我接受了这个职位我也需要登报说明自己违背了约定。”后来在章太炎弟子的劝说下，章太炎才肯让蔡元培离开。后来孙中山不允许他辞职，蔡元培遵守自己说过的话，写好了广告稿寄给章太炎，但章太炎的弟子回复说不愿意刊登，于是这件事就这样结束了。
上任伊始，蔡元培向孙中山询问教育部办公场所，结果却被告知：“此须汝自行寻觅，我不能管也。”于是赤手空拳的蔡元培只得坐着人力车踯躅里巷寻觅办公地点。后来幸亏时任江苏都督府内务司长的马相伯帮忙，将南京碑亭巷内务司楼上的三间房借给蔡元培做办公室，这便是中华民国的首个“教育部”。蔡元培“亲诣大总统领印，白巾咫尺，裹一方寸物，乘人力车往返”，一时成为民国开国史上的趣话。
虽然当时办公的条件非常简陋，但蔡元培坚持以“为事择人，不设冗员”的原则来精心选择人才。当时南京临时政府其它各部人员多至百余人，惟教育部连缮写者在内仅30余人。开始时仅有蒋维乔及会计两人，后来连同次长景耀月，司长袁希涛、夏曾佑，部员许寿裳、鲁迅等，也只有三十多个人。无论是总长还是部员，都不分等级，每人只发30元生活费。整个教育部开支，每月仅及千元，但工作效率却出奇地高，部员各负其责、各司其事，“绝无官署意味”。当时小学、中学、专门学校以及大学的各项学制，都是由部门负责起草。教育部的廉政之风，在当时传为美谈，也赢得了国民的崇敬和好评。在这个“诸事简陋，惟务实际”的教育部，蔡元培尽管前后只当了6个月的总长，但却在教育方针、教育思想、教育体制等各个方面进行了一系列的制度设计，从而开启了我国近代教育制度的先河。
蔡元培不仅处事原则分明，也很注意采纳正确的意见。他还曾经登门拜访提出建议的人，采纳可行的建议。在蔡元培的管理之下，教育部很快就颁布了《普通教育暂行课程标准》、《普通教育暂行办法》等三十多种法令，同时对旧的教育制度作出了改革。比如说，把学堂改为学校，学校负责人称为校长；小学废止读经；各种教科书的编制要符合共和国国民的宗旨，废除清学部发行的教科书；初等小学实行男女同校；中学教育设定为不分科的普通教育；大力提倡社会教育等等。
民国创立后，需要有明确的教育方针。蔡元培亲自撰写了《对于新教育之意见》这篇文章，文章写道：“教育有二大别：曰隶属于政治者，曰超轶乎政治者。专制时代（兼立宪而含专制性质者言之），教育家循政府之方针以标准教育，常为纯粹之隶属政治者。共和时代，教育家得立于人民之地位以定标准，乃得有超轶政治之教育。清之季世，隶属政治之教育，腾于教育家之口者，曰军国民教育。夫军国民教育者，与社会主义僢驰，在他国已有道消之兆。然在我国，则强邻交逼，亟图自卫，而历年丧失之国权，非凭借武力，势难恢复。且军人革命以后，难保无军人执政之一时期，非行举国皆兵之制，将使军人社会，永为全国中特别之阶级，而无以平均其势力。则如所谓军国民教育者，诚今日所不能不采者也。”这篇文章提出了新的教育方针，包括军国民教育、实利教育、道德教育、世界观教育和美育教育。
蔡元培认为，在专制时期，教育从属于政治；但在共和时期，教育应该有独立的地位——这也是他日后形成“教育独立议”的雏形。在新的教育方针里还取缔了“忠君”和“尊孔”的思想，提出了“美育”的概念。在这篇文章里，充分体现了蔡元培对教育的要求是德智体美并举，尤其重视道德教育。在蔡元培的主张下，民国教育宗旨正式公布为：“注重道德教育，以实利教育、军国民教育辅之，更以美感教育完成其道德。”民国教育宗旨的提出为国内学术教育的进步开辟了一片新天地。
蔡元培回国后，担任教育总长，开始重振教育，把德国留学的成果应用于中国教育，结合国情发展出适合中国的教育方针。