就在顽强以平原郡为中心的河北东南部官民同叛军浴血奋战的时候，常山郡官民与平原郡的抗敌斗争遥相呼应，也与叛军进行了顽强的战斗。
常山郡位置非常重要(治今河北正定)是叛军南北咽喉之地，西南有土门(井陉口)之险，是河东通河北的军事要塞。时颜真卿任常山太守，他性情刚烈，处事果断，原任范阳户曹参军，经安禄山推荐始任营田判官、摄常山太守。
安禄山起兵南下到了槁城(今河北槁城),颜真卿一时无力抵抗，只好与长史袁履谦前去迎接，安禄山赐予他紫袍，赐袁履谦绯袍，并把他的一个儿子作为人质随军南下。
在返回常山的途中，颜真卿指着所赐章服对袁履谦说：“我与你为何穿此服?”袁履谦明白了他的意思，遂秘密准备起兵。颜真卿从此称病不治理郡事，暗中却与袁履谦、真定令贾深、内丘令张通幽谋划方案，又让其子颜泉明往返于各地联络，并与太原尹王承业取得了联系。
天宝十四年(755)十二月，朔方节度使郭子仪奉命率军东下，击败了进犯振武军(今内蒙托克托)的叛军大同军使高秀岩部，又乘胜东进，攻下静边军(今山西右玉)。
郭子仪命左兵马使李光弼、右兵马使高溶、左武锋使卜固怀恩等将击溃了前来进犯的大同兵马使薛忠义部，坑杀其骑兵七千余人。
接着，郭子仪派兵包围了云中(今山西大同),另派将领公孙琼岩率二千骑兵攻克军事要地马邑(今山西朔县东北),又打开了雁门东陉关(在今山西代县)。至此，解除了大同叛军对河东太原的军事威胁，为官军进兵河北扫清了道路。
颜真卿认为起兵时机成熟，既可开井陉口，迎接官军，又可牵制安禄山主力军西攻长安，遂决定起兵。这时安禄山派金吾将军高邈赴幽州征兵，尚未回来，颜真卿以安禄山之命召驻守土门的李钦凑及其将领来常山受犒赏。
十二月二十二日傍晚，当他们来到常山后，先用酒食妓乐盛情招待，乘他们喝得烂醉不省人事时，杀死了李钦凑，捆绑了其将领，并解散了守井陉的兵士。接着又设计于槁城捉住了从幽州征兵回来的高邈，于礼泉驿又生擒从东京来的何千年，并一同押送到常山。
胆小如鼠的何千年向颜真卿献计说：“常山郡士兵多是新招募的乌合之众，难以应战，要深沟高垒，勿与敌争锋。待朔方军到，并力齐进，传檄赵、魏，断燕、蓟要膂。现在要扬言李光弼率步骑万余人出井陉，并派人去劝说围攻饶阳的张献诚，说他部下多团练兵，无坚甲利兵，难以阻挡李光弼劲兵，他必解围逃去。”
颜真卿觉得有理，便按照他的计策去做，果然张献诚撤围而去，其团练兵也多溃散。颜真卿一面派人进入饶阳城慰劳将士，一面让槁城尉崔安石等分别到各郡县宣告说：“唐大军已下井阱，早晚即到，将平定河北诸郡，先下者赏；后下来诛!"于是河北诸郡纷纷响应，原来陷落的十七郡又重归顺朝廷，安禄山所能控制的只有范阳、卢龙、密云、渔阳、汲、邺六郡而已。
与此同时，颜真卿又派人秘密地潜入范阳，劝说范阳守将贾循、马燧弃暗投明，反戈一击，以倾覆叛军老巢。贾循虽然答应了，但犹豫不定，没有按时起兵，被别将牛润客察觉，密报给安禄山，安禄山即派他的亲信韩朝阳到了范阳，设计缢杀了贾循，命别将牛廷环知范阳军事，马遂知道计谋泄露，急忙逃进西山。
虽然颜真卿欲捣毁叛军老巢的计谋未能实现，但是常山起兵曾一度使得河北的抗战形势大有改观，给安禄山增加了后顾之忧。
当时安禄山欲亲自率大军进攻潼关，刚行至新安(今河南新安),听说河北形势骤变，马上退兵回到洛阳。他先曾命史思明、李立节率蕃、汉步骑十万人进攻博陵、常山，这时再派蔡希德率兵十万人，从河内(今河南沁阳)北上，进击常山。
颜真卿起兵仅仅八天，守备尚未完复，史思明，蔡希德率领的大军即兵临城下，城内兵寡粮少，难以抵御，向太原尹王承业求援，但他却见危不救。
原来，颜真卿派使者将李钦凑首级与何千年、高邈二将押送京师途经太原时，王承业窃取他人之功为己有，改换了他的奏表，另派自己的使者送往京师。现在王承业已窃取其功，希望常山陷落，杀人灭口，哪里还肯出一兵一卒?颜真卿孤立无援，又势单力薄，尽管昼夜拒战，终是寡不敌众。至德元年(756)正月八日，粮尽矢绝，城破被俘，叛军屠杀了数万人。
这时，王承业的使者到了京师，玄宗十分高兴，拜王承业为羽林大将军。后来得知颜真卿的功劳，遂拜他为卫尉卿、兼御史大夫，袁履谦为常山太守。但朝命还未到达，常山已经陷落，其他如广平、巨鹿、博陵等郡，也再度陷入叛军之手。
颜真卿被押送到洛阳，安禄山责备他说：“我把你从户曹参军举荐为常山太守，为何还反叛我?颜真卿却怒目而视，斥责他说：“汝本营州牧羊羯奴，天子擢汝为三道节度使，恩幸无比，何负于汝而反?我世为唐臣，禄位皆唐有，虽为汝所奏，岂从汝反耶!我为国讨贼，恨不斩汝，何谓反也?臊羯狗，何不速杀我?"
颜真卿正气凛然，铁骨铮铮，把安禄山骂得狗血淋头，他又羞又恼，暴跳如雷，立即下令把他与袁履谦绑在天津桥柱子上，一刀一刀地零割碎剐。颜真卿骂不绝口，至死为止。颜氏一家死于刀锯者，竟有三十多人。
常山及河北诸郡县相继失守，安禄山减少了后顾之忧，使他可以全力进攻长安了。在这种情况下，玄宗命郭子仪停止围攻云中，回兵朔方，然后进击东都洛阳；还命他选拔一名良将，分兵出井陉，以平定河北。郭子仪慧眼识英雄，推荐李光弼。李光弼本为契丹族酋长李楷洛之子，从小善于骑射，爱读《汉书》,少年从戎，严毅有大略。
天宝初年，李光弼任左清道率，兼安北都护，补河西王忠嗣府兵马使。王忠嗣欣赏他的才干，常说：“光弼必居我位。”玄宗任命李光弼为河东节度使，并分给他十万兵士。
至德元年(756)二月，李光弼率蕃、汉步骑万余人及太原弩手三千人出井陉，兵临常山城下。常山团练兵三千人发动兵变，捆绑了叛将安思义，出城投降。李光弼劝他立功赎罪，询问敌方情况，他说：官军远来疲劳，难以应敌，不如入城加强守备。胡骑虽然迅猛，但不能持重，一旦不胜，则气沮心离，此时方可出击。李光弼觉得有理，亲自为他松绑，照他的方略行事。
史思明、蔡希德正围攻饶阳，听说常山光复，急忙回兵自救。第二天凌晨，其先头部队即飞驰而至，史思明率大军也随后赶到，合兵二万多人，直抵城下。
李光弼欲率兵从东城门出战，叛军堵住城门不退，官军无法出城，他只得命弓弩手于城上万箭齐射，叛军立时后退。李光弼组织了五千人的长枪队，沿呼沱河两岸布下了阵势。史思明用骑兵冲击，官兵即用箭远射，叛军人马中箭者过半，只好撤退等待步兵。
这时，有人向李光弼报告说叛军步兵五千人从饶阳来这里，一昼夜走了一百七十里，精疲力竭，正在九门以南的逢壁休息。李光弼当即派出二千骑兵，偃旗息鼓，沿河悄悄进发。
到了逢壁，叛军正吃饭，官兵跃马横刀，直冲向叛军，一阵砍杀，五千名叛军步兵个个横尸地上，无一人逃脱。史思明得知此消息后大惊失色，一时锐气顿失，只好退入九门。
李光弼初战告捷，极大地鼓舞了常山地区官民的抗敌斗志，常山郡所属九县，只有槁城、九门仍在叛军手中，其余七县先后回归了朝廷。
李光弼与史思明两军各自坚守城池，相持四十多天，谁也不肯轻易出战。史思明常用奇兵断绝官军的粮道，城中缺乏草料，致使战马以草席草垫充饥。李光弼派出五百辆车去附近的石邑县取草，驾车者皆披盔戴甲，又派出一千名弓箭手加以保护，结成方阵而行，叛军无可奈何。
史思明命蔡希德率兵进攻石邑，被守城裨将张奉璋击退。但是，因为李光弼孤军深入叛军腹地作战，河北大部分郡县仍在叛军控制之下，粮草运输困难，又面对强敌史思明，一时感到难以决战，便向郭子仪告急。
这年四月，郭子仪率大军出井陉，抵达常山，与李光弼会师，拥有蕃、汉步骑十余万，占有压倒优势，遂主动出战，在九门城南与叛军决一死战，叛军全线崩溃，叛将李立节被射杀，史思明收集残兵败将逃奔赵郡(治今河北赵县),蔡希德逃往巨鹿。
接着，郭子仪、李光弼乘胜追击，兵下赵郡，一天血战，即拿下赵郡城，俘虏四千人，杀死了太守郭献璆。李光弼治军严明，当官军攻下郡城时，他坐在城门，见士卒掠夺的财物，全命他们物归原主，老百姓十分高兴。而叛军却烧杀抢掠，十分残暴，河北人民恨之入骨，常常聚集在一起，多的有二万人，少的也有万余人，各自为营，自动抗击叛军，郭子仪、李光弼率大军一到，又主动与官军联络，配合作战。
史思明从赵郡逃往博陵(治今河北定县),李光弼尾随而至，进而包围了博陵，连续攻打了十来天，没有攻下，粮草又一时接济不上，只得暂时退兵。
郭子仪、李光弼回师常山，史思明收集了数万散兵游勇，紧紧尾随。郭子仪选拔骁骑轮番挑战，持续了三天，叛军疲惫不堪，只好撤退，郭子仪又乘势追杀，大破叛军。
蔡希德从巨鹿赶到洛阳告急，安禄山感到形势危急。河北是叛军的巢穴所在之地，稍有动摇就会军心不稳。于是又分出二万步骑，让蔡希德率领北上，以支援史思明；同时，又命牛廷蚧从范阳等郡发兵万余人南下助战。这样合兵六万余人，其中同罗、曳罗河居五分之一。史思明一时恢复了元气，又卷土重来。
郭子仪率军进至恒阳(今河北曲阳),史思明率军也随后赶到。郭子仪见叛军来势凶猛，兵锋甚锐，宜徐图之，遂深沟高垒，坚壁以待。他采用灵活机动的战术：“贼来则守，去则追之，昼则耀兵，夜斫其营”,闹得叛军不得安宁。
过了几天，郭子仪与李光弼说：“叛军已人困马乏，丧失了锐气，可以出战了。”遂全面出击，在嘉山与叛军展开了决战。
官军奋勇冲杀，打得叛军人仰马翻，全线溃败，斩首四万级，俘虏千余人。史思明在混战中跌下马来，枪也折了，丢了头盔，跑丢了皮靴，直到天黑才披散着发髻，光着脚，拄着半截枪，狼狈不堪地逃回军营。
史思明见四面楚歌，不敢久留，随即逃奔博陵。李光弼乘胜追击，再次把博陵围得水泄不通。
嘉山大捷不但消灭了敌人的有生力量，而且沉重地打击了叛军的士气，使官军重振了声威。