1894年下半年，蔡元培正式到翰林院供职，开始了在京城当官的日子。但世事难料，蔡元培刚开始他的京官生活不久，国内的政治形势就发生了巨变。
1894年6月，日本军队进入朝鲜；7月25日，中日甲午战争爆发。地理面积只有中国一个省那么大的日本，也企图像西方列强一样，用枪炮打开大清帝国的大门，掠夺物资和土地。经过大半年的战争以后，中国的北洋海军全军覆没。1895年4月，中国被迫同日本签订了丧权辱国的《马关条约》，条约规定中国不仅要割让辽东半岛、台湾岛及其附属各岛屿、澎湖列岛给日本，还要赔偿日本2亿两白银。同时中国还增开沙市、重庆、苏州、杭州为商埠，并允许日本在中国的通商口岸投资办厂。可以说《马关条约》使日本人直接尝到了侵略的甜头，进一步刺激了他们的侵略野心。
《马关条约》的签订，不仅对中国造成了沉重的打击，也给蔡元培这样的敏感知识分子造成了极大的冲击。当时的蔡元培，作为朝廷官吏虽然对战争的情况了解得比较清楚，但他从小受到的教育是“两耳不闻窗外事，一心只读圣贤书”，在经历了这一切后，对当时的现状和未来产生了深深的无力感。他也把这一切和自己的感受记在了《杂记》里，认为极端腐败的清政府，承载不起国民的信任，国将不国！
1895年10月，蔡元培为了支持主战派，开始跟翰林院中的一些有志之士一起商量，由他亲笔给朝廷写了奏章，大意是敌情变化难以预测，要大家齐心协力想出妙计来消除对方的挑衅，才能保国土和人民安全。他还告诫朝廷不应该依靠求和这种方式，如果打不过就求和的话，国家将一蹶不振。蔡元培也引用了兵法里“善败不亡”的名言，意思是只有善于应对败局者才不会灭亡，鼓励清政府要保持清醒，从失败里面吸取教训，再去努力找到转败为胜的方法。但他这些奏折都石沉大海，恳切的请求也没有得到清政府的正面回应。
在为民族和国家痛哭之余，蔡元培开始对政治和局势进行更深入的思考。中国早在鸦片战争时期就开始打败仗和签订不平等条约，但在那个时候，大家都只认为这是由于其他国家科技比中国发达，拥有坚船利炮，所以中国才会输，因此割地赔款是迫不得已的。但中日甲午战争的结果改变了蔡元培的想法。蔡元培在《绍兴推广学堂议》里说到：“甲午以后，中国睡而将醒。”中国过去是受欺负了，但不会永远受欺负！这句话表现出他在对国家的过去进行深刻反思的同时，也仍然抱有因为爱国而深切期待的复杂心情。
魏源在几十年前，曾经提出“师夷长技以制夷”，认为只有向西方学习他们的先进技术，才能抵御他们的侵略。但蔡元培开始意识到，不平等条约就像一条条屈辱的绳索，控制了中国的政治和军事，造成了中国的贫穷衰弱。目前中国迫在眉睫的问题，其实是需要政治上的改变。
那么，到底要怎样才能改变这个现实呢？当时摆在面前的有两条路，一是以康有为、梁启超为代表的改良主义道路，二是以孙中山为代表的革命道路。1894年11月24日，孙中山在美国檀香山成立了“兴中会”，提出了“振兴中华、挽救危局”的口号；第二年，孙中山又将总部设在香港，明确提出了“驱除鞑虏，恢复中华，创立合众政府”的具体目标。但对于当时的形势来说，兴中会的思想比较激进，传播力度也不够，因此并没有立刻得到人民的广泛接受。眼前比较现实的就是通过改良主义的道路来逐渐过渡，早在1888年的时候，康有为就曾经上书光绪帝，提出了变法的要求，但在当时没有被批准。1895年《马关条约》签订后，消息传到京城，当时康有为和梁启超正在参加会试。1895年5月2日，康梁二人联同1300多名举人再次联名上书，恳切阐明变法的重要性，要求马上实行变法以救国。光绪帝也不愿成为亡国之君，终于下令筹划变法。1898年6月，光绪帝下诏变法。
眼看革命有望，但就在这一年的九月，慈禧太后发动了宫廷政变，囚禁了光绪帝，中止变法。封建顽固派大肆捕杀维新党人，康有为和梁启超流亡到日本，谭嗣同、杨锐、刘光第、康广仁、林旭和杨深秀这六人被杀，这就是为变法牺牲的“戊戌六君子”，维新变法也以失败告终。
当时，对于维新变法蔡元培在态度上是支持的，为此，蔡元培甚至开始学习日语，因为他不满足于中文译本对西方著作的种种有意和无意的“曲解”，认为日本人已经翻译了大量西方著作，而日语相对入手简单。为此，他还“发明”了一种自己觉得很有效的学习语言的方法：直接就尝试翻译日文著作，边译边学边融会贯通。
但他为什么没有直接参与呢？有两个原因，一是当时康有为和梁启超是光绪帝跟前支持和器重的人，他不想被误会去依附权贵；第二个就是他认为康有为和梁启超发起的这场变法之所以失败，其中一个很重要的原因在于群众根基不够稳固，他们没有先去培养一大批革新的人才，而是想通过少数人夺取政权的方式来获得成功，这种方式注定要落人下风。也就是说，蔡元培跟改良派在道路和主张上存在分歧，“道不同不相为谋”。
《马关条约》签订后，朝廷里许多人由于对这件事的不满，都纷纷请假离京。这时候蔡元培的哥哥也给他写信，劝他回家。而经过这件事后，蔡元培的思想也开始慢慢发生了改变，他对朝廷无所作为的做法心灰意冷，产生了离开京城的念头，于是向两广总督谋求在广雅书局的职务。
在这一年的冬天，蔡元培请假一年，回到自己的故乡，并开始接触新学著作和外国译本书。当初甲午中日战争爆发时，为了知己知彼，他在京城就阅读过不少关于国外的书籍，比如《日本新政考》、《环游地球新录》等，这让他对日本、欧洲以至整个世界的情况都产生了浓厚的兴趣。回到故乡以后，除了《日本史略》、《盛世危言》、《西学书目表》等书以外，连《电学源流》、《电学纲目》和《代数难题》等科学书籍也读得津津有味，对他来说就像打开了新世界的大门。