建安十五年（公元211年），交趾太守士燮以岭南九郡（原属交州管辖）归附孙权，从此，今广东、广西、海南、越南等地，才归孙吴管辖。

当时，岭南称“南蛮”，居住着的全是俚、僚人。这些人以山洞为家，“俚、僚杂居，据居山险，不肯宾服”，不服从汉人的统治。暴乱事件时有发生。

东汉建安元年（196），交趾俚人，因对官府苛政（税收过重）不满，冲进府衙，将刺史朱符杀死。嘉靖（广东通志）有载：“建安元年，夷贼杀交趾刺史朱符。”过后不久，在高要，土人截击官兵事件又有发生。据2000年版《阳江县志》载：建安十五年（211），交州刺史步骘统兵二万南下，当他来到苍梧郡高要路口时，竟然遭到苍梧人衡毅和钱博的截击。衡毅战死，钱博和部属逃到高凉，继续反抗。钱博在高凉一直待了八年。

延康元年（220）孙权再次派步骘前往征讨，钱博最后投降。嘉靖（广东通志）有载：“延康元年，孙权征步骘还，以吕岱为交州刺史，交趾太守士燮、高凉帅钱博降。”乱平以后，孙权为加强对高凉地区的管理，设立了高凉郡（隶属广州），任命钱博为都尉（首任长官）。这是高凉郡的由来。

高凉郡设立后，其管辖的县逐年增多。初时，高凉郡只领高凉（阳江县北部）、安宁（今阳江城境）、西平（今白沙、平冈、埠场、程村）等三县。郡治设在安宁。

赤乌元年（238），高凉郡西北部的广化（今阳江西境）海安（恩平西北部），莫阳（阳春中西部）、化平等县成立。孙权又在该地区设立高兴郡。

晋朝太康二年（282），高兴郡并入高凉郡。

南朝宋（420），县改令，高凉领西平、安宁（高凉并入）、莫阳、罗州（海陵东平）、平定、西巩、禽乡七令。郡治迁西平。南朝齐郡治又迁返安宁。这种建制，一直维持了308年。在此期间，高凉地区，仍旧动荡不宁，俚、僚人对汉人的命令根本不当一回事。《资治通鉴》记，“非土人号令不行”，他们只听从本地人的指挥。

到了南朝梁大通元年（527），广州刺史肖励在平定俚洞之后，以“南江危险，宜立重镇为由”，上书武帝，要求设立高州。经武帝批准，高州设立。州治在高凉县（是年，安宁改称高凉）。这是高州设立的经过。这个高州的管辖范围，与高凉郡同，只是级别提升了。在此期间，位于西部一带的杜陵、宋康（均在阳江境内）、连江、南巴、电白、海昌（以上为今电白、茂名、高州境地），等县相继成立。高州设立时，这些县，都改称郡，由高州统辖。

到了隋大业二年（606），废高州，复称高凉郡。郡治在阳江县（是年，高凉县改称阳江县），领高凉、杜康、海安、阳春、连江（南巴并入）、电白（海昌并入）、茂名、石龙、吴川九县。

高凉郡级别最高的年代，是从唐武德四年（621）开始。这一年，废高凉郡，设高州郡督府（唐代大州称府），府治阳江城。冼夫人的孙子冯盎任总管。唐朝以后，高凉郡废去。

武德五年，茂名北也设立了一个高州，这高州相当于县，由高州都督府统辖。

贞观二十三年（649），高州都督府撤销，阳江改称恩州。此后，原在高凉郡西部地区的连江、电白、茂名、化州（石龙）、吴川等县，划归高州府管辖。

高凉郡有过辉煌的历史。自三国吴设立至唐时废去，高凉郡共历429年。其中，梁大同元年（535）至贞观二十年（646）这段时间，是高凉郡最辉煌的岁月，在此期间，高凉出了个女英雄冼夫人和左卫大将军冯盎。高凉的名字显赫一时。壮哉！高凉郡，你的芳名永留史册。

太和十一年（487）于高凉县置高凉郡，领高凉、龙门二县，西魏改为龙门郡，隋开皇初废，故治在今山西稷山县。