西晋永康元年（300年），赵王司马伦使用离间计挑拨皇后贾南风毒杀太子司马遹，又鼓动司马遹旧部及齐王司马冏起兵，废黜并杀死贾南风，又杀淮南王司马允，自领侍中、相国、都督中外诸军事，加九锡。逼迫晋惠帝退位，擅自称帝。随后司马冏、河间王司马颙、成都王司马颖跟着起兵讨伐司马伦，西晋内战爆发，史称八王之乱。
晋惠帝永宁元年（301年），凉州望族张轨出任凉州刺史兼护羌校尉，大筑姑臧城（今甘肃武威）。延用当地有才干的人共同治理凉州，课农桑、立学校，阻击入侵的鲜卑部，同时又联合凉州四部鲜卑，保境安民，抚定地方，多所建树，进朝纳贡，对晋室司马家颇具敬畏拥戴。
元熙元年（304年），八王之乱导致长安尽毁，张轨派凉州铁骑三千，东奔京师保卫天子。同年鲜卑贵族若罗拔能反叛骚乱，张轨派司马宋配征讨叛敌，斩杀若罗拔能，俘虏十余万人，张轨威名大震。晋惠帝派遣使者任命张轨为安西将军，并封为安乐乡侯，食邑一千户。又升张轨为车骑将军、开府辟如、仪同三司。
元熙二年（305年）张轨大规模修建姑臧城、休屠城，在此二城基础上增设四城，共六城。姑臧城本是匈奴人所建，南北长七里，东西长三里，地势有龙的形状，所以又称卧龙城。汉末博士、敦煌人侯瑾对他的门徒说：“日后城西边的泉水会枯竭，将有双座楼台立于泉水潭上，与城东门相望，其中定有霸者出现。”到曹魏嘉平年间，郡里长官果然建造学馆，在城西泉水潭上筑起两座楼台，与城东门正好相遥望。至此时，张氏便成为西北霸主。
元熙四年（307年），刘渊起兵杀奔洛阳，青州王弥已攻至洛阳津阳门，晋廷震惊，满朝文武纷纷逃难。凉州北宫纯受上司张轨命令援救洛阳，恰逢匈奴兵至，北宫纯入城见过司徒王衍，受命与东海王司马越率军出击，北宫纯原为前驱，便命令其只近千人的凉州卫队至洛阳城门列阵抗敌，史称“永嘉之乱”，导致洛阳尽毁。
元熙五年（308年），刘渊称皇帝并令刘聪率兵再次南进，大败东海王司马越，再次抵达洛阳城关。张轨又派北宫纯入援洛阳。北宫纯率西凉军队夜袭匈奴大营，杀死刘聪部下征虏将军呼延颢，令大司空呼延翼死于军中内乱，凉州军获胜，由于其他各路勤王军的陆续到达，逼迫刘聪退军。
同年张轨因患中风而不能说话，命儿子张茂代管凉州。酒泉太守张镇暗中召引秦州刺史贾龛以取代张轨，秘密遣使到京师，请求尚书侍郎曹祛任西平太守，图谋构成相依互佐之势。张轨别驾麹晁想独断专行作威作福，又派使者到长安，告诉南阳王司马模，声称张轨身体残废，请求朝廷让贾龛代替张轨，而贾龛也准备接受这一任职。贾龛之兄责备贾龛道：“张公是当今名士，在凉州威名卓著，你有何德何能可去代替他”贾龛便打消了这一念头。朝廷又任命侍中爰瑜为凉州刺史。治中杨澹快马奔驰到长安，将自己的耳朵割下来放在盘子上，诉说张轨遭人陷害，南阳王司马模便上疏朝廷制止了更换刺史之事。
晋昌郡人张越是凉州的大族，有谶言说张氏雄霸凉州，张越自以为自己的才干能力可以应验此言。张越从陇西内史升任梁州刺史。张越志在统辖凉州，便托病回到河西，暗中谋划取代张轨，派其兄张镇及曹祛、麹佩传书各郡废免张轨刺史之职，以军司杜耽代理州事，让杜耽上表朝廷请求任命张越为凉州刺史。张轨发出命令道：“鄙人在凉州八年，不能安定地方，又适值中州叛军作乱，秦陇危急，加之身患重病命在旦夕，因而真心考虑隐退让贤。只是职位所在责任重大，不便马上了结心愿。不料有人无端兴起事变，这实在是不明白鄙人之心。鄙人把离开凉州贵地看作如同脱掉脚上的鞋子”张轨打算派主簿尉髦拿着疏表进京，同时准备车马，预备回宜阳养老。
凉州长史王融、参军孟畅用脚踩断张镇发送的文告，推门而入劝谏张轨道：“晋室多变，人民涂炭，实在依仗明公安抚西方。张镇兄弟胆敢放肆作乱，应宣明其罪行而诛杀叛党，不能成全他们的野心。”张轨默然。王融等实行戒严。
武威太守张琠派儿子张坦快马奔赴京师，上表朝廷说：“魏尚安抚边疆反而获罪，赵充国尽忠报国反而遭贬，这都是前代历史中值得讥讽而当今可引为借鉴的事。顺阳吏民怀念太守刘陶，为他守墓者多达千人。张刺史来治理凉州，好比慈母抚育赤子，凉州百姓爱戴张轨，好比干旱季节的禾苗迎得甘雨。听说朝廷听信流言，打算更换刺史，百姓惊慌不安，如同将要失去父母。当今戎夷胡人扰乱华夏，不宜轻率搔动一方。”
永凤二年（309年），张轨任命其子张寔为中督护，率兵讨伐张镇。又派张镇的外甥太府主簿令狐亚前往劝导张镇说：“舅舅何不审时度势看清成败安危张公在凉州德高望重，兵马如云，这就像烈火已熊熊燃烧，你却等待江汉之水来浇火；溺于洪流，指望越地之人来救助，岂不是鞭长莫及数万大军已兵临城下，惟有诚心诚意归顺官府，才能使亲人平安，延续门户，保全家族幸福。”张镇痛哭流涕说：“我这是为他人所误”罪名加到功曹鲁连身上并将其斩首，向张寔投降谢罪。张寔率部南进讨伐曹祛，赶走了曹祛。
张坦从京师洛阳赶回，晋怀帝特下诏慰劳张轨，依准司马模所奏，下令诛杀曹祛。司马模家族与张氏关系颇好。此时张轨大喜，赦免州内死罪以下的叛党，命令张寔率尹员、宋配领步兵骑兵三万余众讨伐曹祛，另派从事田迥、王丰率八百骑兵从姑臧西南出石驴，占据长宁。曹祛派麹晁在黄阪一线设防抵抗张寔大军。张寔从隐秘小道通过浩亹，在破羌与曹祛交战。张轨斩杀曹祛及其牙门将田嚣。
光兴二年（311年），汉军攻陷洛阳，俘晋怀帝及在洛阳的宗室官员，北宫纯转守南阳王司马模所据之长安，不久，刘粲又攻长安，兵至下邽。司马模派兵出战，失败投降，为刘粲所杀，北宫纯悲哭司马模，后北宫纯解送平阳。北宫纯在汉赵，官至尚书。太府主簿马鲂向张轨进言道：“四海动荡，天子未得反正，明公率凉州之兵直捣平阳，必将所向披靡，有征无战。不知明公担心什么而不采取这一行动”张轨道：“这正是我所想的事。”同时，张轨亦继续支持西晋，晋怀帝被掳到平阳后，张轨曾打算倾凉州一州之力进攻平阳救出怀帝。这时秦王司马邺进入关中，张轨便迅速传檄至关中，檄文说：“主上遇险，流落贼营，普天分崩，举国丧气。秦王司马邺天资圣明仁德，神机武断以应天时。世祖之孙中，秦王今为长者。凡我大晋之人，食粮之民，占卜取卦克期效忠，光明险恶同心同步。应选择吉日，奉尊秦王登基继位。派前锋督护宋配率步兵骑兵二万，直抵长安，护卫天子，击退左右之敌。西中郎将张寔率中军三万，武威太守张琠率胡人骑兵二万络绎进发，将于仲秋中旬在临晋会师。”
为躲避中原混战，关东和关中地区有很多世家大族、宗室子弟、豪门望族、宫廷技师、天师高僧、商贾百姓流入凉州。张轨于姑臧西北置武兴郡，分西平郡界置晋兴郡以处流民，又分部分世家去往晋昌郡。又铸凉造新泉，通行境内。
嘉平二年（312年），九月初三日，阎鼎等人拥立司马邺为皇太子，登坛祭天，建立宗庙社稷，实行大赦。给凉州贾诩之后贾疋加征西大将军称号，以秦州刺史、南阳王司马保为大司马，贾疋讨伐贼张连，被张连杀害，张轨知贾疋被杀又遣凉州大将宋配助卫洛阳京师。
嘉平三年（313年）四月初一，得到晋怀帝的死讯，举行哀悼祭奠之礼。四月二十七日，司马邺即皇帝位，大赦天下，年号建兴，司马邺任命卫将军梁芬为司徒，雍州刺史麴允为使持节、领军将军、录尚书事，京兆太守索綝为尚书右仆射。五月十八日，司马邺任命镇东大将军、琅琊王司马睿为侍中、左丞相、大都督陕东诸军事，大司马、南阳王司马保为右丞相、大都督陕西诸军事。当时的西晋皇室、世族已从京师洛阳纷纷迁至江南，西晋王朝已名存实亡。
司马邺又升张轨为司空，张轨坚辞不受。太府参军索辅向张轨进言道：从前用金贝皮币作买卖货币，消除了用粮食布帛度量交换的损耗。两汉制造五铢钱，贸易流通不息。泰始年间，河西地区荒废不堪，便不再使用钱币，割布分段来计钱数。绢布既被毁坏，交易起来又困难，只会徒然破坏女工的作业，使布帛不能制作衣服，实为严重的弊病。如今中州虽战乱不休，但凉州安定，应恢复使用五铢钱以畅通买卖贸易。同时，刘曜寇犯北地，进逼长安，张轨又派参军麹陶率三千人马保卫京都长安。
嘉平四年（314年），司马邺派大鸿胪辛攀拜张轨为侍中、太尉、凉州牧、西平公，张轨又坚决辞谢。同年五月，张轨卧病不起，临终前留下遗言道：“我平生对他人无甚恩惠，疾病垂危，大概命将告终了。我死后，文武将佐都应尽忠尽义，务必安抚百姓，上报国家，下安家室。我死后以普通棺木从简安葬，墓中不藏金玉。好好辅助我儿安逊（张寔的字），听从朝廷旨意。”五月己丑日，张轨去世，终年六十，葬于姑臧建陵，朝廷追赠侍中、太尉，谥号为武公，之后又追谥为武王，庙号太祖。
与此同时，凉州长史张玺等人表奏张寔代理张轨的职务。张轨的亲信部下及后拥立张寔继任了凉州牧之职。十月，司马邺下诏授任张寔为持节、都督凉州诸军事、西中郎将、凉州刺史、领护羌校尉、西平公。
建元元年（315年）冬天，兰池长赵奭的上军士张冰得到的一方玺，上面有“皇帝玺”字样，献给了张寔，僚属们都来祝贺。张寔说：“孤常常恼恨袁本初举印向肘之事，诸君为何说这样的”于是把玺送往长安。
建元二年（316年）四月，张寔下达命令：所属的官吏、百姓有能指出自己过错的，奖赏给布帛、羊、米。贼曹佐高昌人隗瑾说：“您处理政事，事无巨细，都是自己来决断。同年八月，刘曜进逼长安，张寔派将军王该率军救援京城。司马邺嘉赏他，拜任都督陕西诸军事。司马邺将要投降刘曜时，下诏给张寔说：“国运困厄，灾祸降临到晋室，京城倾覆陷落，先帝在贼朝中去世。朕漂泊于宛、许，于是到了旧都。
同年12月11日司马邺降于汉赵大司马刘曜，临降前下诏给张寔：“仰惭乾灵，俯痛宗庙。君世笃忠亮，勋隆西夏，四海具瞻，朕所凭赖。今进君大都督、凉州牧、侍中、司空，承制行事。琅邪王宗室亲贤，远在江表。今朝廷播越，社稷倒悬，朕以诏王，时摄大位。君其挟赞琅邪，共济难运。若不忘主，宗庙有赖。明便出降，故夜见公卿，属以后事，密遣黄门郎史淑、侍御史王冲赍诏假授。临出寄命，公其勉之”寔以天子蒙尘，冲让不拜。
建武元年（麟嘉二年，317）正月，张寔得知刘曜强迫司马邺迁徙，聚哭告哀三天，派遣太府司马韩璞、灭寇将军田齐、抚戎将军张阆、前锋督护阴预率步骑兵一万，东赴国难，命令讨虏将军陈安、故太守贾骞、陇西太守吴绍各率郡兵作为韩璞等的前驱护卫司马邺。三月，司马睿于建康称晋王、改元建武，张氏世守凉州效仿窦融，长期沿用中朝晋愍帝的建兴年号。
麟嘉三年（318年）三月，焦崧、陈安进犯陇石，在东方与刘曜相持，雍、秦人十之八九死于战乱。焦崧、陈安进逼上邽，南阳王司马保派使者告急。任金城太守窦涛为轻车将军，率领威远将军宋毅以及和苞、张阆、宋辑、辛韬、张选、董广率步兵、骑兵两万赴援。部队进驻新阳时司马邺被杀的消息传来，于是全军穿孝服举哀，聚哭三天。
南阳王司马保图谋称帝，破羌都尉张诜对张寔说：“南阳王忘记莫大的耻辱，而想自称帝号，上天不授予图谶符命之书，德行不足以顺应期命，最终不是济时救难之人。晋王司马睿德才兼备亲近藩卫之臣，是先帝依靠属意之人，宜上表称颂圣德，劝其登帝位，传送檄文到各藩镇，再给相府附加上书信，那么想要争强的念头就会平息，还没有聚集起来的党徒就会散去。”张寔听从其意。于是向天下发送檄文，推崇晋王司马睿为皇帝，派牙门蔡忠奉表章到江南，劝司马睿称帝。
同年三月，司马睿在建邺称帝，年号大兴，但张寔不用司马睿的大兴年号，还称建兴六年，这标志着张寔已完全脱离司马家的管控正式独立，史称前凉。也就在当年，靳准杀隐帝刘粲，自立为汉天王。北宫纯借机招集汉人，在东宫结堡自守，惟被靳准堂弟靳康所杀，结束了自己辉煌的一生。后在洛阳城流传出一首著名的童谣，凉州大马，横行天下，凉州鸱苕，贼寇消，鸱苕翩翩，怖杀人，让北宫纯威名大振，获得了司徒王衍和晋怀帝司马炽的高度的认可和评价。
光初二年（319年）正月，南阳王司马保得知司马邺被杀后也自称晋王，年号建康，设置任命百官，派使者封张寔为征西大将军、仪同三司，增食邑三千户。不久陈安背叛了司马保，氐、羌都响应陈安。司马保很窘迫，于是离开上邽，迁往祁山，张寔派部将韩璞率步骑兵五千赴难。陈安退守绵诸，司马保回到上邽，又被陈安击败，派使者到张寔处请救兵。
张寔派宋毅前往，陈安退去。正好司马保被刘曜逼迫，迁到桑城，打算要投奔张寔。张寔认为他是西晋宗室中比较有声望的人，如果到了凉州，必会动摇人心，派其部将阴监迎司马保，声言说是护卫，实际上是抵御他。正好司马保去世，手下众人散逃投奔到凉州的有两万余人。
建兴八年（320年），当时的京兆人刘弘，擅长旁门左道之术，客居在凉州的天梯山，在山穴中点灯悬挂镜子取亮，用来迷惑百姓，跟从他受道的有一千余人，张寔身边的人非常崇奉他。张寔帐下将军阎沙（《资治通鉴》作阎涉）、牙门赵仰（《资治通鉴》作赵卬）都是刘弘的同乡。刘弘对他们说：“上天送给我神玺，将在凉州称王。”阎沙、赵仰对他的话深信不疑，暗中与张寔身边的十多人密谋杀害张寔，奉拥刘弘为君主。 [4]
张寔的弟弟张茂得知他们的计划，请求诛杀刘弘。张寔命令牙门将史初拘捕刘弘。史初还未到刘弘处，阎沙等人怀藏凶器入内。把张寔杀死在外寝，时年五十岁。刘弘见史初到来，对他说：“张使君已经死了，为什么还要杀我”史初发怒，把他割掉舌头后关了起来，在姑臧城的街市上处以车裂的酷刑，并诛杀刘弘党徒数百人。左司马阴元等人认为张寔的儿子张骏的年龄幼小，于是推举其弟张茂继位，张茂自称凉州刺史、西平公，在境内赦免罪犯，任张骏为抚军将军。 [4]
光初六年（323年），张骏亲自耕藉田地。不久接获晋元帝驾崩的消息，张骏聚哭，告哀三天。适逢有黄龙在胥次的嘉泉出现，右长史氾祎对张骏说：“考察建兴之年，是少帝开始兴起的年号。皇帝凶死，理应改换年号。朝廷远在江南，音讯隔绝，宜趁着黄龙出现改换年号，以突出吉祥的征兆。”
光初七年（324年），汉赵封张茂为凉王，这是前凉称王的开始。张骏、张重华父子在位期间是前凉的极盛时期，境内分置凉、沙、河三州，设西域长史于海头，在今吐鲁番地区设置高昌郡，统治范围包括甘肃、宁夏西部以及新疆大部，史载其疆域“南逾河、湟，东至秦、陇，西包葱岭，北暨居延”。
五月，太宁三年五月十四日（325年6月22日），张茂去世，在临终时，拉着侄子张骏的手流泪说：“从前我们的先人以孝友著称。自从汉朝初年以来，世代忠诚顺从。华夏虽然大乱，皇上漂泊迁徙，你也应当谨慎地遵守人臣节度，不要有所丧失。我碰上天下大乱的时代，秉承先人的余德，代理此州，以保全性命，在上想不辜负晋室，在下想保护百姓。然而官职不是朝廷任命的，职位出于私下的议论，苟且地以此成事。哪里有什么荣耀呢到了的那天，戴白色便帽入殓，不要穿朝服，以表达我的心志。”享年四十八岁，共在位五年，谥号为成。前赵皇帝刘曜遣使赠张茂太宰，谥号成烈王。张茂死后无子，由侄子张骏继位。 [5]
光初八年（325年），当时张骏全部占有了陇西之地，兵马强盛，虽向东晋称臣，但不使用东晋历法。跳六佾之舞，树豹尾之旗，设置的官僚府邸都比拟君王，只是名称略有区别。又分出州西部边境的三个郡设置沙州，东部边境六个郡设置河州。二府的官僚无不称臣。张骏又在姑臧城南修筑城池，盖谦光殿，用五彩描绘，用金玉装饰，用尽了珍奇巧技。在殿的四面各盖一座殿，东面的叫宜阳青殿，春季三个月居住，礼服器物都依照东方之色；南面的叫朱阳赤殿，夏季三个月居住；西面的叫政刑白殿，秋季三个月居住；北面的叫玄武黑殿，冬季三个月居住。殿旁都有当值内官的公署，全都与各方之色相同。到他晚年时就随意游玩居住，不再依照四季分别居住。 [6]
建武十一年（345年），张骏封世子张重华为五官中郎将、凉州刺史。酒泉太守马岌上言说：“酒泉的南山，就是昆仑的山体。周穆王见西王母，乐而忘归，说的就是此山。这座山中有石屋玉堂，用珠玑装饰，就像神宫一样辉煌。应当修立西王母祠，以保佑朝廷无边之福。”张骏听从。
建武十二年（346年）五月丙戌日张骏去世，共在位二十二年，享年四十岁，私谥文公，晋穆帝追赠谥号为忠成公，葬于姑臧大陵。张祚继位后，追谥为凉文王，庙号世祖。
晋穆帝诏遣侍御史俞归拜重华护羌校尉、凉州刺史、假节。是时石季龙西中郎将王擢屯结陇上，为苻雄所破，奔重华。重华厚宠之，以为征虏将军、秦州刺史、假节，使张弘、宗悠率步骑万五千配擢，伐苻健。健遣苻硕御之，战于龙黎。
擢等大败，单骑而还，弘、悠皆没。重华痛之，素服为战亡吏士举哀号恸，各遣吊问其家。复授擢兵，使攻秦州，克之。遣使上疏曰：“季龙自毙，遗烬游魂，取乱侮亡，睹机则发。臣今遣前都锋督裴恒步骑七万，遥出陇上，以俟圣朝赫然之威。山东骚扰不足厝怀，长安膏腴，宜速平荡。臣守任西荒，山川悠远，大誓六军，不及听受之末；猛将鹰扬，不豫告成之次，瞻云望日，孤愤义伤，弹剑慷慨，中情蕴结。”于是康献皇后诏报，遣使进重华为凉州牧。 [21]
是时御史俞归至凉州，重华方谋为凉王，不肯受诏，使亲信人沈猛谓归曰：“我家主公奕世忠于晋室，而不如鲜卑矣。台加慕容皝燕王，今甫授州主大将军，何以加劝有功忠义之臣乎明台今宜移河右，共劝州主为凉王。大夫出使，苟利社稷，专之可也。”
归对曰：“王者之制，异姓不得称王；九州之内，重爵不得过公。汉高一时王异姓，寻皆诛灭，盖权时之宜，非旧体也。故王陵曰：‘非刘氏而王，天下共伐之。’至于戎狄，不从此例。春秋时吴楚称王，而诸侯不以为非者，盖蛮夷畜之也。假令齐鲁称王，诸侯岂不伐之故圣上以贵公忠贤，是以爵以上公，位以方伯，鲜卑北狄，岂足为比哉子失问也。且吾又闻之，有殊勋绝世者亦有不世之赏，若今便以贵公为王者，设贵公以河右之众南平巴蜀，东扫赵魏，修复旧都，以迎天子，天子复以何爵何位可以加赏幸三思之。”（沈）猛具宣（俞）归言，重华遂止。
353年，张祚乘张重华病死，即位的张曜灵年幼之际发动政变夺位，张祚自称凉公，随后称凉王，给张轨以下的君主统统追加庙号和谥号。但张祚猜忌手握重兵的族人张瓘，就派兵攻杀他，张瓘也带兵还击，355年张祚战败被杀。张瓘立张玄靓为新任凉王。
376年，苻坚以步骑十三万大举进攻前凉，张天锡被迫出降，前凉灭亡，苻坚封其为归义侯。后来前秦在淝水之战中失利，张天锡趁机投奔东晋，得了个官，桓玄篡位作乱时去世。
张氏的前凉政权依靠凉州大姓﹐并始终对东晋表示忠诚﹐藉以维系人心。各代统治者除张祚外，都自居晋朝的刺史或州牧，还接受东晋的封号。张骏为和东晋沟通﹐甚至不惜向成汉皇帝李雄称臣，以求假道。
张氏子孙世代保守的凉州，是当时中国北部最为安定的地区和文化中心，都城姑臧是西北地区政治、经济和文化中心。西北原是通往西方的陆路交通要道，商业繁荣，农业和畜牧业生产也较发达。西晋灭亡后，内地流亡人民相继到来，劳动力增加，生产经验传播，凉州的社会经济更有发展。当时的凉州还是中国北部保存汉族传统文化最多和接受西域文化最早的重要地区，有南有建康，北有姑臧的美誉。 复国余烬
张大豫是张天锡次子，被立为世子，张天锡投靠东晋时，他来不及随往，又怕前秦君主苻坚加害，无奈投奔长水校尉王穆，在河西由焦松、齐肃、张济等人拥立占据阳坞，386年他自称凉王、抚军将军，年号凤凰。
不久，吕光奉苻坚之命征讨张大豫，吕军一时大败，但张大豫不纳智囊王穆之言，因胜而骄，用强兵伐吕，虽得建康太守李隰、祁连都尉严纯相助，但吕光寻机攻破对方兵营，张大豫军大败。张大豫逃奔广武，被当地人捉住交给了吕光，同年被吕光斩杀于闹市，至此前凉灭亡，后凉州由凉州大姓梁熙镇守。
