1916年12月26日，蔡元培受命担任北京大学校长。就任后的蔡元培先是对北大做了一个调查分析。他认为北大需要改善的地方主要有两点，一是科目乱杂；二是风气颓坏。要想改变这些现状，必须要把北大改造为学术机关。
1917年1月9日，蔡元培发表就任北京大学校长的演说，对学生提出三点要求：一曰抱定宗旨，二曰砥砺德行，三曰敬爱师长，将“抱定宗旨”置于首位。明确求学目的及办学宗旨，望学子们以身作则，匡正流俗，为天下人之道德楷模。勉励学子尊敬师长，团结友爱，实为良好社会风气之必要。极富针对性，有着匡正时弊的重要意义。
蔡元培在北大迅速进行了一系列的机构改革，其中一些是他在五年前任教育总长时没做成的。上任3个月后，他仿照德国大学自18世纪以来的建制，为北大设立了“评议会”。1917年3月，10名教授当选为评议员，蔡元培的民主改革取得了实质性进展。评议会制定和审核学校的各种章程、条令，凡大学立法均须经评议会通过，决定学科的废立；审核教师的学衔和学生的成绩，提出学校的预决算费用。它拥有很大的权力。在评议会设立时，曾有同学提出要有学生代表参加，蔡元培没有同意。尽管如此，对于评议会的决定，蔡元培即使并不赞同也会尊重评议会。
在管理中他倡导教育救国的思想，参考西方大学的先进教育方针和制度来对北大进行改造，号召学生们不要虚度光阴，要脚踏实地地钻研学问，以求获得真才实学。在扭转风气方面，他鼓励学生们“以身作则、力矫颓俗”，开展正当娱乐来丰富精神生活，北大的各种社团开始蓬勃发展，校园里呈现出活泼向上的精神面貌。
蔡元培不光提出了教育改革的指导思想，还一条一条地落实到了行动上。首先是破除学生“读书是为了做官”的旧观念——蔡元培强调进入大学学习的宗旨在于求学，要为学问而学，而不是为当官而学。当他还在译学馆的时候就知道北大学生的习惯，由于一开始北大招收的都是京官，所以学生们都被称为“老爷”，监督和教员被称为“中堂”或“大人”。学生们对于学问没有追求，只是想在学校里消磨时间，等年限满了就可以拿到毕业文凭，然后找到出路。教员也不用功，他们通常把讲义印出来派发给学生，然后照本宣科地读一遍就算完成任务，学生们下课以后也再不会拿出来温习，等到毕业考试时就要求教员们泄露出题的范围，教员也往往都会告诉他们，这就导致学生们养成了不用功的坏习惯。
要想办好一所新大学，扭转这种恶劣的学风，首要的条件就是任用贤能的人才。蔡元培决定从聘请有真才实学的好老师着手，打破陋习。于是他成立了聘任委员会来协助教职员的招聘工作，在选用人才上坚持唯才是举的原则，对教师聘用提出了三个条件：一是学术水平要高，要达到世界前沿水平；二是要热心教学，要有较强的感染力能够带领学生积极求学；三是要为人师表，为学生作出好榜样。
当时北大最需要整顿的科目是文科，蔡元培在这方面下了不少的功夫。他明白，想要彻底整顿，必须有大量的新派人物。所以蔡元培就拜访老友汤尔和。老朋友汤尔和建议蔡元培邀请陈独秀来担任文科学长。
说起陈独秀，蔡元培其实也不生疏，早在上海“暗杀团”中，他就认识了这位忠肝义胆的文人，而且陈独秀《安徽俗话报》事件也曾引起过蔡元培的关注。当时发起人都因困难散去，唯独陈独秀坚持了很久，蔡元培对陈独秀独具好感，佩服他的意志力与责任心。恰逢陈独秀当时在京城，蔡元培决定请他担任文科学长。据当时东亚图书馆主任孟邹日记记载：早九时，蔡孑民先生来访仲甫，道貌温言，令人起敬，吾国之唯一人物。但因为陈独秀还要去上海办《新青年》，所以就推荐胡适来担任；然而蔡元培还是坚持认为他更合适。
为了说服陈独秀，蔡元培开始频繁地拜访他。有多频繁呢，根据孟邹的回忆说：“当时蔡先生每天都要来，有时候来得很早大家都没起床，他就跟茶房说不要叫醒，自己拿个小板凳坐在门口等待。”蔡元培的坚持与执着打动了陈独秀，最终陈独秀点头答应。当然，作为条件，蔡元培表示《新青年》可在北大办。
为了把北大办好，蔡元培可以说是动用了各方面的力量来招揽人才。之后胡适、钱玄同、李大钊、刘半农和鲁迅等人也都陆续入职北大，北大的教师队伍素质得到了极大的提高，很快形成了以陈独秀为首的北大新阵营，也成为蔡元培整治北大的主力军。
梁漱溟在24岁时报考了北大但没有被录取，后来蔡元培在《东方杂志》上读到了他的《究元决疑论》，觉得很有见地，就跟陈独秀商量，最终决定破格录用他，请他到北大讲授哲学。还有毛泽东，当时他和蔡和森都在湖南第一师范读书，1918年为了处理学会的事情来到北京。毛泽东和几个新民学会会员想留在北大工作，于是给蔡元培写信问能否去做北大的清洁工人？蔡元培认为他是可造之才，马上交代当时的图书馆馆长李大钊，让他在校内给毛泽东找个可以半工半读的职位，最后毛泽东成为了北大的图书馆助理馆员。除了大力招聘人才，蔡元培也辞退了一些庸才，比如道德败坏的“探艳团”团长徐佩铣，还有几个托中国或外国驻华使馆介绍来的学问并不突出的外国教员。这件事甚至还惊动了外交政府，他们出面干涉，但蔡元培还是坚持自己的决定，毫不退缩地辞退了他们。
这时候的北大学风大为改变，思想自由，文学革命风气盛行。但并不是所有人都能接受新派，比如辜鸿铭。辜鸿铭是福建同安人，曾经先后在英国和德国留学，精通多门外语，还获得了英国的文学博士学位。虽然他学术造诣深厚但却非常崇尚传统旧学和封建伦理道德，对新派不满，平时拖着一条长辫子，戴着瓜皮小帽，以复辟派自居。蔡元培因为他的博学多才一直让他留任文科教授，后来因为种种原因，辜鸿铭还是离开了北大。
除了对人事的整顿，蔡元培也对文理科进行了整顿。北大之前过于偏重文科而偏轻理科，因此他聘请了物理学家夏元瑮作为理科学长，还邀请李四光、任鸿隽、李书华、何杰等一批优秀学者来北大任教。对于法科的教学，之前是由政府官员兼职授课，现在改为由专任教员进行授课，规定专任教员不能在校外兼职。同时也招聘了陈启修、王世杰、陶孟和和马寅初等专业学者。法律、经济和社会科学等方面也逐渐完善和独立起来，这些科目开始系统地进入中国的教育领域并成长为新的知识体系。
从1917年到1918年，在这短短的两年时间里，北京大学经过了大力整顿，不仅师资力量有了很大的提高，整个学校的面貌也变得焕然一新。据统计，当时学校里的教授一共有90人，平均年龄大概在30岁左右，而北大本科生的年龄是24岁，由此可见这是一支相当年轻的教师队伍。在蔡元培的领导下，北京大学的学术气氛相当活跃，讨论之风盛行，形成了百花齐放、百家争鸣的格局。
迁入北大后的《新青年》成为北大学子的刊物，与此同时，傅斯年、徐彦之和罗家伦等人也建立了新潮社，创办了《新潮》刊物，主要目的是为了向学生宣传改革精神和推动学术研究，得到了蔡元培、陈独秀和李大钊等人在经费和场地方面的大力支持。《新潮》建立后，涌出了俞平伯、谭平山、叶圣陶等一大批革新人才。当时《新潮》作为反封建文化的白话文刊，跟《新青年》相互配合，对于提倡解放思想、解放妇女和宣传文学革命等起到很大的作用。