随着战况恶化，临时大学又一次面临迁徙的历史抉择。以梅贻琦为主席的常委会经过反复研讨，最后决定迁往云南省会昆明市，并正式组建了足以标榜青史、永垂后世的西南联合大学。
根据国民政府指令，原临大常委蒋梦麟、梅贻琦、张伯苓等三人被任命为国立西南联合大学常委，共同主持校务。为鼓励师生精神，坚持文化抗战的决心，表达中华民族不屈的意志，西南联大以“刚毅坚卓”四字作为校训，并同时选定由联大文学院院长冯友兰用《满江红》词牌填写的歌词、清华出身的教师张清常谱曲的词曲作为校歌，歌词为：
万里长征，辞却了，五朝宫阙。暂驻足，衡山湘水，又成离别。绝徼移栽桢干质，九州遍洒黎元血。尽笳吹，弦诵在山城，情弥切。
千秋耻，终当雪。中兴业，须人杰。便一成三户，壮怀难折。多难殷忧新国运，动心忍性希前哲。待驱除仇寇，复神京，还燕碣。
这是一曲20世纪中国大学校歌的绝唱，它凝聚了中国文人学者、莘莘学子在民族危难时刻最悲壮的呼喊，浓缩了联大师生在国危家难之际所具有的高尚情操和坚强意志。从此，西南联大的歌声响起，激昂的旋律震动校园内外，感染着一代又一代新生，激励着不同职业的中华儿女共赴国难，奋发图强。
1938年5月4日，国立西南联合大学正式上课。但是由于经费紧张，校舍简陋至极，据工学院航空系学生梁维纶回忆说：在昆明拓东路的工学院，“宿舍是一个由仓库改装，房中排满了双层木床，臭虫繁殖特快，深受其苦。上课教室是由附近的一个会馆旧址改装，一切因陋就简。有个大班教室，是利用会馆中的一个正殿改装，并无隔墙，倒也通风凉快。某日上课，记得是刘仙洲教授讲授‘机械学’，那时风雨交加，冷不防雨水侵入，淋了刘教授一身，班上同学对此突**况尚在发呆之际，刘教授却自我解嘲，笑着说：‘前不久重庆友人来信问以此间上课情形，我回信告以一切满意，风雨无阻。这就是我们在联大读书了不起的地方，你们看是不是‘风雨无阻？’引得全班一片笑声”。
但如此窘迫恐怖的情形，对师生的生活及身心健康极为不利，必须设法改善。于是，梅贻琦与蒋梦麟与云南省政府机关左右周旋并得到支持。这年7月，联大选定并购置昆明西北城外三分寺120余亩土地作为校舍建筑之用，初步预算暂定为二十万元，按梅贻琦向清华校友的通告，这笔建筑费，是西南联大从牙缝里省出来的，因此校委会议决，整个建筑除图书馆和食堂使用砖木结构和瓦屋顶外，其他房舍与办公室使用铁皮屋顶并覆盖茅草。此举令具体负责建筑设计的清华校友、中国营造学社负责人梁思成，既同情又感动，曾当着梅贻琦的面流下了眼泪。
1939年4月，按照梁思成的设计，联大新校舍在三分寺一片荒丘坟地里建了起来，其景观是：所有校舍均为平房，除图书馆和东西两食堂是瓦屋，只有教室的屋顶用白铁皮覆盖，学生宿舍、各类办公室全部用茅草盖顶。尽管如此，毕竟有了自己的教室、宿舍、图书馆、餐厅等设施，用冯友兰的话说就是“肝胆俱全，有了这座校舍，联大可以说是在昆明定居了”。
遗憾的是，因经费奇缺，新建教室及宿舍容量，尚不及全校教职员生及其家属所需的一半，只有几位校领导因职务关系，办公室设在新校区，家舍仍需在城里租赁居住，条件依旧局促简陋。几年后，梅贻琦曾在日记中描述了一家人租住昆明西郊龙院村李家院子房舍的尴尬情形：“屋中瓦顶未加承尘，数日来，灰沙、杂屑、干草、乱叶，每次风起，便由瓦缝千百细隙簌簌落下，桌椅床盆无论拂拭若干次，一回首间，便又满布一层，汤里饭里随吃随落。每顿饭时，咽下灰土不知多少。”
在忍无可忍的情况下，梅贻琦一家搬到了不远处惠家大院一幢小土楼一层租住，因小楼年久失修，显得格外破旧，但毕竟有了安身之处。不大的院落是二层建筑，除梅贻琦一家外，西南联大理学院院长吴有训、清华大学无线电研究所所长任之恭、数学系主任杨武之、中文系教授朱自清等共14家50多人居住于此，这个院落成为当时西南联大人数最多、最集中的住宅点。
当时在联大图书馆任职的唐冠芳一家住在楼上，许多年后，唐冠芳的儿子还记得这样一幕：有一天中午吃完饭，母亲照例收拾桌椅、扫地。正在这时，只听见楼下的梅家三姑娘高声喊道：“唐太太，你别扫地了，我们在吃饭！”原来，土碴与灰尘随着扫帚扫动顺着楼板的裂隙落了下去，成为梅家饭菜的“胡椒面”了。
住瓦房和小楼的梅贻琦尝了不少云南的灰土，而有幸迁往铁皮顶教室教书与上课的师生，同样深为苦恼。教室内除了黑板、讲桌、课椅，别无他物。多雨的云南，潮湿与闷热使北方来的师生难以忍受。一旦遇到刮风下雨，铁皮便在屋顶抖动摇晃起来，并伴有稀里咣当、叮叮咚咚的叫嚣声，其声之大、其音之刺耳，早已压过了面呈菜色教授的讲课声。
有苦中求乐者，把这一独特风景写成对联在校园贴出，称：
风声、雨声、读书声，声声入耳；家事、国事、天下事，事事关心。
这一副对联，既是自嘲，也借以激励联大师生在举国抗战的艰苦环境中，按照“刚毅坚卓”的校训与民族共患难，为国家争未来。许多年后，在此就读的杨振宁对这段特殊生活仍记忆犹新，他说：“那时联大的教室是铁皮顶的房子，下雨的时候，叮当之声不停。地面是泥土压成，几年之后，满是泥垢；窗户没有玻璃，风吹时必须用东西把纸张压住，否则就会被吹掉……”这位后来的诺贝尔物理学奖得主，连同与他一道获奖的李政道等学生，就是在这样的环境中一步步成长了起来的。
教室条件如此，学生宿舍更是等而次之。由于校舍是在一片乱坟圹子之上建成的，不免有些恐怖。据大作家汪曾祺说：“有一天夜里，我听到墙外一派鼓乐声，虽然悠远，但很清晰。半夜里怎么会有鼓乐声？只能这样解释：这是鬼奏乐。我确实听到的，不是错觉……”
尽管有疑似小鬼或阎王的潜伏于坟地阴沟于夜间哀号奏乐，但学生人多势众，且正是血气方刚，天不怕、地不怕的年龄，并不惧怕邪魔鬼怪缠身叫魂，甚或还有点好奇与刺激。时国难当头，前方将士在流血，难以计数的人民在流亡中，作为学生，能有一个藏身安歇的茅舍已属不易且很满足，因而有学生开玩笑道：“蒋校长大概认为住宿条件不错，可以把他的孩子送到这宿舍里住了。”
此话暗含了一个不太为人所知的典故。在长沙临时大学时，学生们住在一个晚清时期留下的破旧营房内。某日上午，蒋梦麟、梅贻琦、张伯苓三常委巡视宿舍。蒋梦麟看到宿舍破败不堪，一派风雨飘摇的样子，大为不满，认为此处会影响学生的身心健康，不宜居住。海军出身、在长沙临大负责设备采购的张伯苓则认为国难方殷，政府在极度困难中仍能顾及青年学生的学业，已属难能可贵，而且学生正应该接受锻炼，有这样的宿舍安身就很不错了，于是二人争执起来。梅贻琦作为张伯苓的学生，生性寡言，此时不便表示态度。
争执中，蒋梦麟突然有点赌气地说：“倘若是我的孩子，我就不要他住在这个宿舍里！”张伯苓听罢，脸一沉，不甘示弱地反击道：“倘若是我的孩子，我一定要他住在这里！”见二人皆面露愠色，梅贻琦不得不出面打圆场，说：“如果有条件住大楼自然要住，不必放弃大楼去住破房；如果没有条件那就该适应环境，因为大学并不是有大楼，而是有大师的学校。”
梅贻琦一语双关的劝说，才使一场争执得以平息。
想不到学生们的一句戏言，竟真的成为事实。联大新校舍建成不久，蒋梦麟的儿子真的由内地越过数道敌人布设的铁丝网和岗哨，经过九死一生辗转来到联大求学并在茅屋住了下来。当年蒋、张之争与梅贻琦打圆场的典故再度被师生忆起，并作为逸闻趣事随着西南联大校史一同流传下来。
因为学生与教职员工人数迅猛增加，校舍内外混杂不堪，失窃现象时有发生，学生们对此非常窝火。有一天学生们抓住一个小偷，先将对方五花大绑，继之怀揣满腔怒火把小偷吊起来，用刮胡刀在小偷眉毛处左右削刮，待剃掉一条眉毛，再把头发刮成有如印第安人的发型，最后用红药水于脸部写上“小偷”二字，领到校园展示之后，才放其走开。
学生们终于出了一口恶气，对待小偷的方式方法很快在联大传开，梅贻琦闻知，专门派训导长查良钊向学生训话。他说小偷固然可恨，但学生如此做法也是不妥当的，抓住小偷要送警队处理，不要殴打，更不要以刮胡刀乱剃眉毛、把人弄成红番模样污辱人格。但按郭作青的解释：学生在气愤之下不冷静，甚而不讲理，给小偷施以各种颜色。这一切，或许是大家对美国西部牛仔影片看得太多的缘故，英雄无用武之地，便对贼娃子施起虐来。好在联大小偷虽不少，但真正抓住的贼娃子却不多，如此场景也只能是偶尔为之，随着一阵嘻嘻哈哈的哄笑，同学们心中的郁闷与愤慨得以平息，又把主要精力转回到自己的主业——读书学习上去了。