王国维因为受到同乡的邀约以及不愿意再因生计问题拖累罗振玉，所以在1916年决定离开日本返回祖国，进入英籍犹太人哈同创办的仓圣明智大学主持《学术丛编》的编辑工作。
王国维的女儿王东明在《王国维家事》中回忆到：“父亲在日本帮罗振玉整理藏书及古物，学术研究的成就是多方面的，有诗词、戏曲等，最主要的是对甲骨文、金文、汉简的研究，在当时就有世界性的影响。他既为罗氏工作，生活上自然需要依赖其资助，其时正值京都百物飞涨，日常费用，渐觉不充裕。而罗振玉历年印书，所费甚多，父亲不愿再有累于罗氏，欲先返国。通过同乡邹安先生联系，父亲得上海英籍犹太人哈同之邀，回上海在哈同创办的学术杂志担任编辑之职。1916年，父亲携带大哥潜明由日本返国，居住上海爱文义路大通路吴兴里392号。1917年，妹松明出生。”
哈同，1851年出生于巴格达，1872年，只身东来香港，第二年转到上海，在沙逊洋行供职。远渡重洋的他最初为英国籍侨商沙逊看门，后以贩运鸦片起家取得了英国国籍，之后担任上海英租界董事，用各种非法手段窃取的特权经营地产，一跃而为百万富翁。
哈同的妻子罗伽陵自称是中法混血。父亲是法国侨民路易·罗诗。母亲沈氏，原籍福州闽县。1864年罗迦陵出生在上海县城内九亩地。不久父亲回法国，六七岁时母亲也去世，由他人抚养。虽然识字不多，但聪明伶俐，机智多谋。为生活所迫，曾经做过外侨女佣，卖花女，阅历也很丰富，在逆境中自强不息，学会说英语和法语。在哈同还没有发迹时，见到了罗迦陵，认定这个小姑娘有助男运，于是在烟花巷中找到罗迦陵，娶其为妻。
两人结婚后，罗迦陵修建爱俪园，先后延雇黄宗仰、姬觉弥充当管家，在上海滩干了许多沽名钓誉的鬼把戏，诸如用木料筑马路、刊印佛经、创办学校、发行学术刊物，与大官僚拜把、为跟班捐官等等·····哈同花园有一所仓圣明智大学，校园中供奉仓颉等画像，要求学生要学乡射，投壶等古礼。姬觉弥为了投罗伽陵之所好，装扮成虔诚的佛教信徒，连姓名也改了。凡是哈同夫妇兴办的各种事业，都有他一份，出版《学术丛编》就是这位伪佛菩萨出的主意。
王国维回到上海后，先是住在了樊少泉家，不久又迁居到大通路吴兴里。罗振玉的老弟罗振常这时在上海开设了书店，兼售古玩字画。王国维经常到书店里走动，有一次他偶然发现孙诒让的《契文举例》手稿，很是高兴，便通过罗振常从刘彝仲手里以五元的价格买了回来来，几天之后便寄给了罗振玉。王国维对此书评价不高，但也承认此书为甲骨文研究的开山之作。1916年冬，罗迦陵买到刘鹗所藏甲骨千片，通过姬觉弥请王国维代其整理出版。王国维从中选拓了六百五十五片，编结成书，先列入《艺术丛编》内，后单独发行。
在旁人看来王国维此番归国在哈同门下做事，即使精神上并不那么舒畅，生活方面总算可以温饱无忧了。但事实并非如此，王国维携带家眷租住在吴兴里三百九十二号的王家，日子仍然过得捉襟见肘，与每月才花七十元的京都生活相差无几，想要在上海居住相当不易。在生活的压力下，即使编辑丛刊以及其他的琐事已经占据了王国维大部分的时间，他仍一再托人找份兼职希望能改善家中的生活。后来在友人们的推荐下，他在编藏书目的同时，又聘到浙江通志编务，这两桩事都是没有多少报酬的，但因为前者可以看到一些珍贵古籍，后者可以和名流商讨学问，所以王国维还是欣然接受了这两份工作。在生活与学术之间，他选择了一边谋生一边提升。满腹才华的书生再也不能两耳不闻窗外事，王国维在乱世的漂泊中逐渐沦为在罅隙中奔波残喘的蝼蚁。
值得一提的是，在1917至1920的三年间，蔡元培曾五次邀请王国维去北京大学担任文科教授，都被王国维复信辞谢了。在陈鸿祥著的《王国维传》中提到王国维不愿前往北大任教的原因主要有：
1.王国维返回上海五年以来，各种关系比较多。王国维先后与诸多名士学人建立的学术友谊。王国维主要通过“以文会友”与他们商讨文史，或借阅藏书。王国维舍不得与这批名士学人分手。
2.王国维手上的工作还很多。要去仓圣大学讲授经学，要代替哈同夫妇整理《戬寿堂所藏殷墟文字》，并作《解释》等，王国维还要帮一些名士学人做事，如沈曾植就任《浙江通志》的总纂后，邀请王国维等人当分纂等，这一时期，王国维经手办理的最大工程是代蒋汝藻整理藏书编目，前后长大四年，编成洋洋三十万余册的《传书堂藏书志》。
3.王国维的儿子及孙子多在上海上学，不便改变学校。
王国维的女儿王东明在《王国维家事》中也曾回忆说：“1918年，父亲拒绝了北京大学校长蔡元培的邀请，不愿前往北大任教，反而前往仓圣明智大学担任经学教授。日本京都大学有意延揽父亲，也遭到婉辞。1919年4月，罗振玉自日本返国，父亲与伯希和（欧美公认的中国学领袖、探险家，也是敦煌盗宝的始作俑者）、罗振玉等在上海会见，论学为乐。日本人狩野直喜将他从伦敦大英博物馆录得的敦煌残卷数篇，提供给父亲，父亲因此得以发表许多有关敦煌残卷的文章。当年10月，父亲开始为乌程蒋汝藻编撰《藏书志》，其后又为《浙江通志》撰写文章，生活相当忙碌。
1921年，北京大学再度托请马衡代邀父亲前往担任文科教授，不知何故，父亲再度拒绝。或许当时父亲仍为蒋汝藻编写《藏书志》吧。一直到1922年年初，父亲才答应担任北大研究所国学通讯导师，不必前往北京任职，可以在上海继续编书写作。”
除此之外，王国维还在1917年发表了《殷卜辞中所见先公先王考》一书，不仅考证出了商周时期一些人物确实存在，同时也证实了司马迁的《史记》中殷本纪的记载。王国维总结了出土文献与书籍参证的“二重证据法”，这不仅对甲骨学的研究有重要帮助，而且对一般的学术研究也有启发意义。他撰写的《殷卜辞中所见先公先王考》、《殷卜辞中所见先公先王续考》、《殷周制度论》、《殷虚卜辞中所见地名考》、《殷礼徵文》以及《古史新证》等著作，都是运用"二重证据法"来论证的。