胡雪岩发迹以后，在元宝街择地十亩，大兴土木，营造豪宅。他特地从北京请来了著名建筑匠师尹芝进行精心设计。尹芝为了体现杭州山水的特点，专门去了杭州有名的风景胜地灵隐住了几天，仔细揣摸灵隐山水风光的奥秘，他以飞来峰为借鉴，设计出了一幅园林建筑蓝图，胡雪岩看了十分满意，动工时还请来了魏实甫等4位本地叠山匠师，共同参与施工。园内有名贵的松皮石笋81支。同治十一年修建完工，为纪念其父芝田，取名“芝园”。园内有“魏紫”、“姚黄”等名贵牡丹和白皮松等，把园林装点得富丽堂皇，既有宫廷的气派，又有西洋的风姿。园内除了五开间正厅外，还有楠木厅、鸳鸯厅、四面厅等建筑，四面厅的东西南北可见园内的百竿竹、百章梅、百株桃、百本李，另有曲廊、小桥、，荷花池、牡丹台等。
人工堆叠的大岩洞就有四处，分别取名滴翠、颦黛、皱青、悬碧。其中有一大岩洞高达4米、宽10米、深10米。洞上面结顶的山石奇形怪状、形象百出，有的像狮虎、有的像人物、有的像凤凰、有的像鬼怪。园内池塘用点铜浇铸，终年不枯，一泓清水映着奇形怪状的假山，犹如人间仙境。池边饲养孔雀、白鹤等珍禽点缀园林景色。假山上下两边都有手扶栏杆，用铁杆子做中心，外用五色彩瓷做成竹节筒式扶手，只要不打碎，一百年也不腐烂。园内假山有17米高，山上有一座亭角，亭外有一座牌楼，牌楼下面有一段游廊，中间匾额题“水木湛华”四字，据说为左宗棠手书，它道出了“芝园”的绝妙佳境。
胡雪岩在“芝园”内建造了十六所院子，取名为安吉院、冷香院、影怜院、红芸院、古香院、春晖院等，分别安置妻妾和女儿。为了随时可以叫唤某妻妾，胡雪岩还效法西洋，在妻妾房内都安装了“德律风”（即电话）。
每座院子的建筑、陈设无不精美绝伦。大太太住的安吉院中的百狮楼，造得非同一般，栏杆是用一百个紫檀木做成狮子，狮眼是用黄金做的，看上去光采四射，华丽至极。登上三楼眺望，吴山、江干、湖墅景色尽收眼底。因楼高风大，衣裙几乎要乘风飞去，故取名御风楼。在影怜院中间两边墙上嵌有黄边大镜，是
英国一位钦差送的。镜面有3米阔，1.5厘厚两面镜光，互相照映，一层层看去也数不清有多少层次。居中有一架十三层水法塔灯，是日本制造的。全是湖色洋磁描金花的，六角挑起水法龙条，上面擒着灯，下面坠着磁做的风铎，风吹起来，满园只听得玲玲琅琅的响声，连王宫后院也不过如此。
“芝园”建成后，不少文人前往参观游览。据称：“入芝园，绕回廊，循华规，仰高阁，临清池……无品不精，有形皆丽。奇巧之匠，彤采之饰，组锦锈之千丝，罩为层障；标琉璃之五色，**作十光，美矣茂矣。”
胡雪岩修建“芝园”以及开创胡庆余堂正是他“理财之名大著，富可敌国，资产半天下”事业发展的鼎盛时期。“芝园”建成后除了大太太住在百狮楼外，他效仿《红楼梦》中的金陵十二钗，在宅内安置了十二名小妾，住在麝月楼、花影楼、醉春楼、听莺楼等，享尽了人间风流事。
胡雪岩从小喜爱象棋，成为巨富后仍爱下棋。他别出心裁地想出下“人棋”游戏。他在走马楼下面大厅建成一面大棋盘，以三十二名妾婢作为棋子，穿上红蓝背心站在大棋盘上行走。这些妾婢事先均经过一番训练，因此，胡雪岩和友人用竹竿指挥时，她们都能按棋谱走法，举止进退自如相互走来走去，煞是热闹。事后胡还对她们作一番奖罚。
胡雪岩酷爱古董，凡是上门来的古董商人胡一概来者不拒，高价收下。一次有一人携来一只古铜做的睡鸭炉，那只鸭子的两只眼睛是两粒透灵的宝石，奕奕有光。对方收来仅五十两银子，胡雪岩出价五百两买下。有人知道胡雪岩不论真假古董都愿出高价买下。先前胡雪岩府上的古董真的好的固然不少，后来有人相互串通，你哄我骗，大家心照不喧，都拿些假古董上门骗钱，所以不少人从中都发了大财。《南亭笔记》卷十五云：“胡好骨董，以故门庭若市，真伪杂陈，胡亦不暇鉴别，但择价昂者留之而已。一日有客以铜鼎出售，索八百金，且告之曰：‘此系实价，并不赚钱也’。胡闻之颇不悦曰：‘尔于我处不赚钱，更待何时耶？’遂如数给之，挥之使去曰：‘以后可不必来矣。’其豪奢皆类此。”