上一节说到盛宣怀的计划，对胡雪岩的打击并不大，真正压垮这位红顶巨商的人，是汇丰银行的买办席正甫。
正当胡雪岩与怡和洋行在生丝大战中处于僵持不下的状态时，上海的银根一天天被收紧，大批丝商斩仓出局，丝价直线下跌。9月初，上等生丝每包价格尚能维持在427两；10月，跌为385两；11月初，更进一步下跌至375两。此时，上海各洋行完全停止收购新丝，胡雪岩的资金链濒于崩溃。
到11月9日，公众对胡雪岩的资金担忧终于全面爆发。阜康钱庄在杭州和上海的分号遭到挤兑。欠汇丰的50万两白银债务到期也无法延展，而上海道“恰巧”没有协饷来偿还汇丰的债务，胡雪岩只好以阜康钱庄仅存的家底还债，不堪重负的金融帝国终于在1883年12月1日倒下了。
胡雪岩所经营的京城、上海、镇江、宁波、福州、湖南、湖北等地的阜康分号同时倒闭。胡雪岩苦心经营几十年的金融帝国崩溃了，最终，生丝被怡和洋行抄了个大底。
胡雪岩无法忍受洋行的压价行径毅然起而反抗，但是定价权的争夺背后其实是金融权力的争夺。可惜胡雪岩至死也没搞明白，在丧失中央银行这一金融制高点的情况下，单单依靠囤积生丝试图在贸易上与洋行一较高下是徒劳的，一旦银根被收紧，他的资金链将立刻陷入崩溃边缘。
胡雪岩领导的这场中国本土金融力量对国际银行家的反击，最终以完全失败而告终。他陷入的是国外金融资本势力和国内金融买办势力的内外夹击，其失败在战略上早已无可挽回。
胡雪岩破产以后，由左宗棠出面，会同浙江藩台德晓峰（满人）和杭州知府，钱塘、仁和两县主持债务清理工作。最大的债权人文煜亲王，依仗光绪皇帝势力，获得了胡庆余堂和元宝街胡宅芝园的全部产权。其余大小官员存款由自己申报，然后按数折减。因由左宗棠亲临清理，好多官员不敢实报，怕有涉贪之嫌，只有少报或不报。所以，很顺利清理完毕。唯有小户存款，则无人料理。这些小户牵涉面广，有贩走卒、和尚道士、流氓妓女、鳏寡孤独，他们一生积蓄，分文无着。连胡雪岩自己也感内疚。
这些人一看偿还无望，便纷纷拥至胡庆余堂索债闹事。杭州官府为了维护胡庆余堂营业特出告示，严惩拥店闹事者。有不少小户债权人迫于无奈，愤然采取自由行动，纷纷拥进元宝街胡宅芝园，强行搬走各种家具、摆设。这些家具都很值钱，有红木的、花梨木的、紫檀的。各种摆设，雕刻精细，形态各异。有洋人送的、有官员送的，也有胡雪岩欢喜收藏的。顷刻之间，均被搬走。家人也自知理亏，不便阻拦。
传说灵隐寺一个和尚，在阜康钱庄存有三百金，闻讯也跑来搬东西，但来迟了，家具摆设都被捷足先登者搬走，他转辗走到灶边，见灶龛中有一个泥塑灶君，形颇精巧，两旁有蜡台香炉，状也可爱，随手拿走，回到庙里，请人仔细观看，灶君并非泥塑，乃是赤金制成，蜡台银质也很值钱，而香炉竟是赫赫有名的“宣德炉”。这一来，和尚一下子成了富翁了。谁知第二天一觉醒来，这三件宝贝竟不翼而飞，和尚得而复失，悔恨交加，竟然一头栽进寺旁的冷泉亭下溺水而亡。
光绪九年（1883年），胡雪岩曾花巨资在留下黄泥坞买山地200余亩，建造颇有气派的胡庆余堂坟庄。附近还建有石亭子，石牌坊。坟庄有木结构房屋上下七间，平时由姚姓坟亲看管，逢清明冬至上坟，坟庄可摆席和供休息。黄泥坞对面的荆山岭为其父胡鹿泉、母金氏安葬墓地，墓道两旁设置华表。当时，没有一定的官衔权势，墓前是不能设置华表的。
胡雪岩生前曾嘱咐家人，将华表卖脱，以备做坟不敷之用。后来，家人并没有遵照胡嘱，把早已做好的华表仍然设置在中村鹭鹚岭胡雪岩夫妇墓前，让其死后依然享有皇帝诰封“荣禄大夫和一品夫人”的荣耀。
光绪六年（1880年）胡雪岩曾在龙井戚家岭为其祖父胡国梁、祖母周氏建造了同样的墓地。
胡雪岩弥留之际，再次嘱咐家人：丧事从简，切忌张扬。坟墓不要葬于龙井和留下，而葬于离杭城较远的偏僻泗乡。更不要用值钱之物陪葬，只要用纸衣纸褥入殓即可。死后三日有一头带铁帽之汉子在门外逗留，你们要热情请他进屋，剪下我穿的纸衣纸褥一角，交于他藏在怀内带走。家人不明其意，事后遵嘱。
一日，风雨交加，家人启门探视，果然见门外有一头顶铁锅之汉子在门楼下面躲雨，家人请他进屋并酒肉款待，然后剪下穿在胡雪岩身上所有衣褥一角交其带走。
胡雪岩安葬后，被人称作“活财神”之墓颇惹盗坟者觊觎。盗坟中有一头儿，他出示胡雪岩入殓时纸衣碎角，告知盗坟者实情，无一人再有兴趣去盗胡雪岩墓了。这名头儿据说即是头戴铁锅之汉子也。
自胡雪岩去世之后，胡宅显得十分冷落，众多仆婢作鸟兽散，剩下的几名忠于主人的帐房、家奴为侍候东家，共同过着悲凉、寂寞的生活。
胡老太太金氏虔诚念佛，平日总怪儿子胡雪岩代左宗棠购买枪炮、涂杀生灵，作了很多孽，今日儿子遭此厄运，冥冥之中得此报应乃天意。同时，看到儿子临终时愧恨交加，死不瞑目之惨状，入殓之日，又逢章氏小妾上吊身亡的情景，老人受此双重打击真是痛不欲生。诺大的胡宅花园，一时笼罩在阴森、恐怖的气氛中。胡老太太便请来了灵隐寺一批和尚，在宅内做起佛事，为超度各冤魂，保护全宅平安热闹了一阵子。尽管如此胡宅还经常闹鬼。每逢月黑深夜，有人看见有一身穿白衣衫、满脸白胡子老人，经常出没于后园各处。吓得人们晚上不敢出屋。因为胡宅芝园有多处人工岩洞和地窖。传说这穿白长衫、满脸白胡的老人是“窖神”。
民间流传：山上有山神，灶前有灶神，地窖岩洞当然也有窖神。可是，胡雪岩在世时园内从未出现过窖神，现在窖神频频出现，引起了全宅人员的注意和惊奇。有人猜测可能是胡雪岩生前，曾有大量金银财宝秘密埋在后园地下，于是各家各户当夜深人静之际，动手在各处偷挖地窖，希望能挖得这笔意外的财富。开始时，芝园内部墙角内，假山下多处被挖，后来胡宅外面轿班轿夫以及佣人所居的一排排小屋也有人偷挖，究竟有多少金银财宝被挖到，任何人都不知。