胡雪岩的事业迅速发展，与当时官府势力是密不可分。他所做的蚕丝、茶叶、军火生意所投入的资金达二千万两白银，这些资金都没有投资于相当稳定的实业，而全部用于金融流通事业，发展固然迅猛，但同样潜伏着失败的巨大风险。开药店既稳妥而又不易亏损倒闭，又能行善扬名，于是经过深思熟虑，下决心投资十八万两白银，开一家气势恢宏、独步江南的胡庆余堂雪记药号。
“庆余堂”金字招牌叫哪位著名书法家来写好？胡雪岩竟然想起了秦桧。
杭州城里提起秦桧，无人不晓。他是南宋陷害抗金名将岳飞的第一个奸臣。结果被后人铸成铁身，反剪双手，跪于岳飞墓前。有诗曰：“白铁无辜铸佞臣，青山有幸埋忠骨”。不过秦桧品德虽然不好，却是一个大书法家。胡雪岩将原来秦相府的“余庆堂”手迹倒过来为“庆余堂”所用，除了欣赏秦桧的字外，还隐含从反面利用秦桧的“名人效应”的因素，也可以说是胡雪岩得意的一则广告创意。
同治十三年（1874年），胡雪岩在杭州直吉祥巷平阳里设立胡庆余堂雪记药号筹备处。他邀集众多名医，中药界人士，建筑匠师共同商讨药店的建立以及经营方针。
胡雪岩提出：我将开药店看作是一种善举。为了打响“庆余堂”这块牌子，可以不惜一切代价。胡雪岩虽不是中药行家，但他善于听取行家意见。
驴皮胶是百姓喜爱的传统补品。早年最好的驴皮胶是产于山东东阿县。他们是用一口叫阿井的井水熬成驴皮胶，成为全国闻名的补品。行家建议，我们可以利用西湖淡水煎制驴皮胶，质量可以超过北方阿胶。驴皮胶性热，民间认为煎制后必须存放三年，让其慢慢退火才能出售。胡雪岩听了行家建议，决定于光绪二年（1876年）先在涌金门买地十余亩建造胶厂，利用西湖水漂洗驴皮，煎制驴皮胶。西湖水原本是群山汇聚之泉水，水质甘醇，是生产驴皮胶的理想净水。
胶厂建成后，胡雪岩叫人在涌金门湖边打下排排水桩，搭起又长又阔的跳板，每天雇用数十名工人，穿上号衣，挑起担桶，排成长队来湖边挑水。吆喝之声，不绝于耳，声势之大颇惹市民注目。这样市民都知道了，胡庆余堂的驴皮胶是用西湖水熬制的。这对杭州人来说显得特别亲切，美不美，家乡水；而对外地人来说，也不乏吸引力：杭州佛地，西湖净水。使人们产生美好的遐想。于是胡庆余堂的驴皮胶很快驰名江南，年销以万斤计，成为胡庆余堂的著名产品。
胡雪岩在用西湖水熬制驴皮胶的同时，还在钱塘门外建起铲皮漂皮工场。他规定从北方采来的大批驴皮在铲去毛肉之后，用大石块压于钱塘门旁水闸下面用西湖水漂洗。
当年，漂净的驴皮晒干成件，络绎不绝地从钱塘门外用船载运到涌金门胶厂上岸，成了西湖上的一个奇特景观。按当时官府规定，西湖里只准行驶用浆划的小船不准用篙撑驶的大船，而胡庆余堂却得到官府特许。每当运驴皮时，一艘古色古香的平底大船，两边是朱漆栏杆，船头迎风飘着“胡庆余堂”的大旗，犹如一艘官船行驶于西湖上，甚是气派。
同治十三年（1874年）胡雪岩特邀京、杭两地著名建筑匠师尹芝、魏实甫等人，共同商讨要建造一座别具一格的徽派古建筑药铺。地点择在商业繁华的河坊街，以及上吴山进香农民必经之路的大井巷。图样拟定以后，胡雪岩十分满意。决定出资十八万两银子建造店屋。他认为：要打响牌子，除了货真价实，服务优良外，建造一座有气派，有号召性的大药铺十分重要。
按照常规，店铺营业店堂应与顾客直接见面，但精明干练的胡雪岩却不这样想，而是独辟蹊径。大门筑起“神农式”青砖高墙，一进门，跃然入目是四个金光灿灿的镏金大字：“进内交易”，近看字字凹进，远看个个凸出，不愧是能工巧匠之作。整个店铺宛如一只仙鹤匐伏在吴山脚下，进大门经过“鹤首”门庭拐角拾级而上，转入“鹤颈”长廊，抬头仰望八角石洞门上青砖雕出“高入云”三字，犹如登入仙境，右侧壁桂上了38块药品介绍，使人顿感这是一家豪华药铺。长廊末端有座四角亭，四周挂着古色古香宫灯，梁上浮雕众多人物花卉，神态栩栩如生。亭子下面安有“美人靠”供顾客小憩。走进右侧二大门豁然开朗，一座金碧辉煌的营业店堂呈现眼前。门上高悬“药局”横匾。这意味着继承了南宋时的官方制药机构——太平惠民和剂药局。凭着红顶商人胡雪岩的特殊地位，经过清政府默许，才挂上这块全国绝无仅有的“药局”匾额，也可称作“胡庆余堂药局”。太平惠民和剂药局所载的许多传统药品，由胡庆余堂继续生产。如紫雪丹、牛黄至宝丹、牛黄清心丸、黑锡丹、苏合香丸等。
二大门背面，上刻“是乃仁术”四字，这是他的开店宗旨，意思是药业是普济众生的事业。
在店堂正中挂有“庆云在霄甘露被野”“余粮访禹本草师农”及“益寿引年长生集庆”“兼收并蓄待用有余”。
对联字体刚劲有力，还把“庆余”两字妙用在两幅对联的首尾。旁则又有“七闽奇珍古称天宝”“元霜捣臼玉杵奇功”对联，说明名药的艰辛采集和精细加工的过程。
店堂内外各种招牌、楹联、匾额50多块都挂向外面，给顾客看的。唯有一块“戒欺”匾是朝向里面帐房间挂的。胡雪岩亲自跋文：“凡百贸易，均着不得欺字，药业关系性命，尤为万不可欺。余存心济世，誓不以劣品弋取厚利，惟愿诸君心余之心。采办务真、修制务精，不至欺予以欺世人，是则造福冥冥。谓诸君之善为余谋也可。谓诸君之善自为谋也亦可。”
“采办务真”，就是原料要精选道地药材。胡雪岩规定要到全国各地坐庄办货。如到陕西办当归、党参、黄芪；到四川办杜仲、川贝、黄连；到东北去办人参、虎骨、鹿茸等。
“修制务精”。胡雪岩不惜工本，花巨资铸成金铲银锅。一只金铲用了黄金138克，一只银锅用了白银1835克。目的是要求员工制造一切药品必须精工细作，讲究质量。如制辟瘟丹要戒斋沐浴；炮制大黄要九蒸九晒。在开店之初，店堂内就设有一只大香炉，平时供顾客点吸旱烟，如顾客发现不满意药品，可随手丢入香炉焚毁，另配满意的药品回去，在这种“质量第一”“顾客至上”的经营思想影响下，胡庆余堂树立了良好的经营作风。如生产人参必甲煎丸，制造部门早一天就办来数百斤甲鱼放入缸内，次日一早动手宰杀，每次总有好几只甲鱼在缸底被压死，头儿指出要把死甲鱼一一挑出，绝不能投料，这是胡大先生规定的。
光绪四年（1978年），胡庆余堂雪记药号在吴山脚下正式开张。在高大的石库墙门上，题上“庆余堂”金光熠熠三个大字，远近百姓闻讯纷至沓来，盛况非凡。
顾客买好药后，又可进内看鹿。当时杭城还没有动物园，药铺里面有一鹿园，养鹿五十余只，很值得一观。走出药铺在出口处八角门上，刻有“乃眷”两字。“乃”是虚字，“眷”者恋也。意思是走进药铺买药或游览之顾客，出门之后有留恋忘返之感。
创办胡庆余堂之初，胡雪岩有“三聘经理”之佳话。他深知要办好药店，必须要有富有远见的中药行家担任经理。
第一位候选人是杭城某大药店精通算盘的人。他认为胡雪岩花这么大资本开药店，目的当然是想赚大钱。
他认真算一笔赚钱账，保证每年能赚十万两白银，胡雪岩听了却一笑谢绝。
第二位候选人也算中药行家，他主张头一年先赚少量钱，待牌子做出后再设法赚大钱。胡雪岩认为这是小本经营方法，没有魄力，也是笑笑而谢绝。
二选未中，胡雪岩倒也并不着急。后来他有事去南浔，偶然的机会碰见了松江县余天成药店老板余修初。胡见这家药店虽小，名气却大，附近一带妇孺皆知，心中便有了打算。余修初也知其来意，便谈了自己的设想：开药店是名利双收的事，要使胡庆余堂名震天下，就要敢于抛血本，先亏本它三年，如赠送痧药益民济世，先求其名，再求其利。胡雪岩一听正合心意，当场拍板，重金聘他为胡庆余堂经理。
余修初不愧为一名富有胆略的经营者。他在筹备胡庆余堂药店前后，不惜重资在全国各地坐庄办货，收购道地药材。又大做广告，印刷大量《浙杭胡庆余堂雪记丸散全集》广为分发；在配制全鹿丸时，抬鹿游街示众，公开宰杀。把胡庆余堂办成既可买药，又可游览、看鹿、憩息的场所。
胡雪岩曾说过：一个人的力量到底有限，就算三头六臂，又办得了多少事？要成大事，全靠和衷共济。又说：自己不懂不要紧，只要敬重懂的人，用的人没本事无妨，只要肯用人的名声传出去，自会有本事的人投到门下。
胡雪岩在开店初，凡对中药经营和制作有高超技艺者均不惜重金聘用，进店以后凡对药店作出贡献必定奖励。他家中一名裁缝师傅向他推荐一名在叶种德堂工作的药工。胡雪岩问这名药工有何特长。裁缝师傅说：“他有把一颗槟榔切成一百零八片，而且片片簿如蝉羽的绝活。”
胡雪岩听了大喜，满口答应。不仅给这名药工高额薪金，还聘他为切药房头儿。这名药工叫孙永康，重用以后工作十分卖力。有一次，大井巷口发生大火，火势直扑胡庆余堂门口，孙永康冒着生命危险把挂在门口的两块直督金字招牌抢了进来。胡雪岩得知这一情况后认为：金字招牌是药店的象征，孙永康冒死去抢招牌，足见他和药店生死与共，这种人应该奖励。立即宣布给孙永康一份“功劳股”。这种“功劳股”是从企业红利中提出来的，专奖给对企业有重大功绩者，一般都是归经理和高级职员所得，从没奖给一般职工，而且是永久性的，可以一直到获奖者去世为止。通过这一奖励全店职工受到极大鼓舞，人人都愿意为胡庆余堂效劳。
孙永康担任配料房头儿时，因技术过硬，工作认真出了名，被大家取了绰号“石板刨”。刨子是刨木头的，能刨石板可见刨子之硬。有一次配制全鹿丸，遇到一头梅花鹿未缢先死。“石板刨”立即拒绝，理由是：死鹿从不投料。开店时胡雪岩立下“戒欺匾”规定：“采办务真修制务精，不以劣品以欺世人。”进货阿大见他说得有理，立即收回成命，将死鹿深埋处理。事后，胡雪岩再次表彰孙永康对维护药品质量有功。“石板刨”由此而成为坚持原则的美称。这是胡雪岩的“有功必奖”。
对于人才，品行上的最大要求，用胡雪岩的讲法是：不可拆烂污。这本来是生意上做搭档的基本准则。既然是一条船上共生死，如果有人在那里做手脚，坏声誉，那这条船就没法行驶了。胡雪岩说：“你最多拆我两次烂污，第一次我原谅你，第二次，对不起，要请你卷铺盖了。”他又说：“君子爱财，取之有道”。凡有功绩者必定奖励，但绝不许有人犯偷盗行为。胡庆余堂开店时就有一条店规：凡有偷盗行为者一律解雇，决不宽恕。这条店规长久沿袭下来，让职工们引以为戒。
向职工施以小恩小惠，笼络人心，无微不至，胡雪岩是颇有手腕的。如过年除夕这天，他叫人挑了一担银角子，给药店职工分发压岁钱。经理说：“商店里从来没有分压岁钱的惯例。”
胡雪岩不以为然。他说：职工一年辛苦下来，过年分点压岁钱高兴高兴，有啥不好，过去没有惯例，我们可以做起来。于是命经理立即把压岁钱分给职工。胡雪岩对职工的关心，目的是希望职工为店效劳，职工对他的宽厚待人还是感激的。后来，经理也说：胡大先生确是懂得经营和治人之道的。
满清皇帝曾赐给胡雪岩一件黄马褂，胡对这件黄马褂颇为看重，平时很少穿它。但每年正月初三，胡却一定要穿上这件黄马褂向胡庆余堂全体职工敬酒，以示庄重。感谢职工对药店做出成绩，也预祝来年更加兴旺发达。职工们个个受宠若惊，坐立不安。年终还给每个职工分发花红，职工们拿到花红以后，知道自己一年来的工作已得到老板的奖励，来年当然会更加努力工作。这是胡雪岩的“恩威并用”。
“解除人的后顾之忧”是胡雪岩用人之一大特点。在他处当伙计，总是要减轻你的经济担子，使你一则用心更专，能把全部精力投入工作中去，二则内心产生感恩心理，激发你的工作热情。
“生老病死”，对年龄稍长的伙计来说，后顾之忧重重。在旧社会，所谓“伙计做到老不及一根草”，胡雪岩在胡庆余堂就立下了老年职工身后优抚措施。如“阳俸和阴俸”。“阳俸”是对那些对药店有一定贡献，后因年老或生病已无法为店继续工作的，依旧可以发给原薪，一直到死亡为止。“阴俸”则是对药店有一定贡献的职工死后按贡献大小分别发给“阴俸”。主要用于遗属抚恤，至多可领取10年“阴俸”。
丸散部头儿毛祖恩，对制药和柜台管理都有突出贡献，工作多年，积劳成疾后死亡，同事们都感到痛惜，胡雪岩知道后除发给“阴俸”10年外，还由店里出钱买棺成殓。沿街出殡，当棺材抬过胡庆余堂门口时便停了下来。这时经理和高级职员代表老板出来跪拜、祭奠。门口设有祭桌，店中宣布停业片刻，以示吊念之意。当时在市民中影响极大，这种被称之为“路祭”的追悼仪式，在商店中是极为罕见的。
胡雪岩这种对死亡职工无微不至关怀的手腕是十分高明的，它激励全店职工忠心耿耿，尽职尽力为药店作出一切贡献。