蔡元培离开京城以后，展开了新的人生旅程。他积极投入教育工作，这一切努力都为日后的办学起到了导向的作用。
1901年，34岁的蔡元培经人介绍，到南洋公学担任特班教习。南洋公学是西安交通大学和上海交通大学的前身，由清末官员盛宣怀在1896年创建于上海。当时南洋公学的校址在上海徐家汇，就是今天上海交大所在的地方。那什么是特班呢?在义和团事件后，清政府推行新政，盛宣怀因此在南洋公学增设了“特班”，特班之所以叫“特”，是因为这个班里都是经过选拔、国学功底深厚的学生。“特班”的目的就是为了培养精通国内外事务的新型官员。关于课程的设置，盛宣怀参考相关资料，确定选修课的门类包括哲学、政法、外交、财经、文史、教育和自然科学等等，学生需要选修其中的一到两门，在规定时间内上交学习笔记；蔡元培负责指导这个班的学生，轮流跟他们谈话或者当面指导，还有每月对学生们进行考核。
蔡元培的教学思路广阔，致力于培养和发展学生的多方面才能。他不仅教导学生关于民权和爱国的思想，还鼓励他们放眼世界，不要局限自己。在这样自由的氛围中，学生们更加努力的去汲取新的知识，他们中除了学习英文的，还有愿意学习日文的，虽然蔡元培不会说日语，但能看得懂，所以就教学生们试着翻译日文书。蔡元培说过这样的话：“今后学人，领导社会，开发群众，须长于言语。”他强调表达和口才的重要性，在课余时间常常组织学生练习演讲和辩论。由于他为人耐心，对学生循循善诱，颇有为人师表的风范，因此受到了学生们的喜爱和尊敬。
1899年，近代著名出版家和教育家张元济应盛宣怀的邀请，担任南洋公学译书院院长。他和蔡元培志同道合、一见如故，经常彻夜畅谈，非常愉快。两人还商量合资办报，把外国报刊对中国的评论和报道翻译后出版，取名为《开先报》，后来改名为《外交报》。蔡元培还给这份报纸写了介绍，对大众说明了办报的目的。之后张元济投资商务印书馆，又建议设立一个编译所，编译所第二年成立后张元济就推荐蔡元培去当了编译所所长。
编译所所长这个职务主要是负责组织编写新式教科书，是蔡元培期待已久的工作，他邀请了自己在办学道路上认识的各类办学经验丰富、又对时事相当了解的朋友一起参与，希望能把教科书编得更好。此外他还选编了《文变》这本书，里面选了近代人撰写的42篇内容涉猎广泛的文章，重点关注社会、政治、文化和伦理等问题，好让读者了解当前世界发展的趋势所在。
当时，蔡元培的妻子王昭已经去世一年了，身边的朋友都劝他再找一个，而且都为他介绍条件相当的女子。虽然当时女子的地位还是比较低，但蔡元培认为自己应当要“开男女平等之先风”，要作出表率。于是他提出了五条择偶的标准：一是女方不需要缠小脚；二是要识字；三是强调一夫一妻制，自己不会再纳小妾；四是如果自己先死的话，女方可以再嫁；第五是如果婚后性格不合，可以离婚。这份“征婚启事”问世后，一般意义上的媒婆都大跌眼镜，哪有还没结婚就谈离婚的人，于是纷纷退避三舍。
而缘分却总是突如其来的降临，有一天蔡元培受邀到朋友家作客，无意间看到一幅工笔画，线条遒劲，笔功精细，题款书法也颇有功底，一向喜欢书画的他便向朋友打听此画作者。没想到画家竟然是一位女性，名叫黄仲玉，是江西名士黄尔轩的女儿。黄尔轩很爱这个女儿，反对给她缠足，也很支持她的书画爱好。聪颖过人的黄仲玉通过自学，掌握了诗、书、画诸法，所画兰菊有天然之趣，是当地有名的才女。后遭时乱，黄尔轩失业，黄仲玉便卖书画以补家用，街坊皆称其聪慧孝顺。性格直爽的蔡元培顿觉此女可娶，以至于还没见到人，就托人去提了亲。
当时黄家也在杭州，黄仲玉欣然接受了蔡元培所提出的五个条件，两人订婚，然后在1902年元旦结婚。他们的婚礼在杭州举行，蔡元培反对旧习俗，因此自己的结婚仪式也要按新风气来办。他用写着“孔子”二字的红布代替当地习俗的三星画轴，又用开演说会来代替闹洞房，在当时也是别开生面。婚后，蔡元培和黄仲玉两人在上海开始了新的生活。
蔡元培当时还参加了许多社会活动，比如创办了“爱国女校”，成立“中国教育会”等等，都相当有成效，这一切的目的都是为了推动中国的教育事业发展。
当时正是维新热潮席卷全国的时候，人们的参与热情高涨，许多工作都需要开展和推进。中国教育会的宗旨是教育中国的男女青年，增进他们的国家观念，为了国家的强盛发展而努力。蔡元培在一次会议上说到：“我们之所以设立中国教育会，目的就是要培养理想的国民，从而建立理想的国家。”这表明他已经有了革命的先进思想。对于他来说，教育和革命这两者其实目的一致，并不矛盾。蔡元培也是这样教育学生的，他给学生们讲法国革命史和俄国民粹派的主张，希望学生们能通过教育，学习革命思想，将来有一番作为，好为国家作出应有的贡献。当时上海面临着教材严重短缺的问题，虽然中国教育会没能完善地解决这个问题，但这个团体在表面办教育，暗中在进行革命运动，也算是起到了传播革命思想的作用。
1902年的暑假，蔡元培游历日本，这是他第一次出国。在东京，他遇到了正在考察的北京大学堂学官吴汝纶，两人进行了交流。当时在日本的中国留学生们都积极投身变革，他们深切的爱国之情也令蔡元培深受感染。本来蔡元培想在日本停留一个月，但吴稚晖因带领留学生大闹清政府驻日使馆被驱逐回国，于是蔡元培也陪他一同回国了。
说起吴稚晖，他跟蔡元培是在南洋公学认识的，蔡元培一直很欣赏他对教育学生很有方法。在南洋公学时，吴稚晖支持学生组织，建议师生共管校园，被学校反对，还开除了十多名学生。吴稚晖愤然辞职，他鼓励学生去日本留学，并亲自带队去日本。留日的学生想当陆军，又被清政府的公使拒绝；吴稚晖亲自去公使馆请愿，不仅被拒绝还被拘留了。后来虽然被释放，但不允许他再呆在日本，限令回国。吴稚晖当时写好了自杀信带在身上，在被押解的路上企图跳水以死抗议，没想到还是被警察救起来押送到法国邮船。蔡元培开始为吴稚晖积极奔走，希望能把他救出来。他不顾安危，主动护送吴稚晖，终于顺利到达上海后脱险。
一波未平一波又起，蔡元培从日本回国后不久，南洋公学就爆发了一起大学潮运动。