始置年代不详。

唐上元二年（675），曾募镇防团结兵，设团练副使为帅；安史之乱后，唐廷多有编设。宋代、明代亦设团练兵。

清康熙初年，朝廷曾令各县设置。嘉庆年间（1796～1820），八旗兵、绿营兵衰败，为镇压白莲教起义，各地皆办团练。道光初年，为防备反清武装，各地团练分守要地或海口，主要职能是保卫乡里、缉防盗贼，也有随营征讨者。

太平天国起义后，曾国藩曾于1852年（清咸丰二年）奉命帮办湖南团练，成为统治阶级镇压农民反抗的工具。

1853年，清廷诏令各地办团练，并在南方诸省任命团练大臣。团练编制因地而异，南方城镇以坊为基层单位，乡村以都、图为主；一般在户籍保甲制基础上进行编成，即10户为牌，10牌为甲，10甲为保，保有保正，甲、牌各有长。合二三保或数保为一团。各户皆出壮丁，平时训练，有事出战。团练置团总一人，团副数人，以掌本团守御及各团联络之事。团丁不脱离生产，经费由地方公摊。团总名为公选，实由地主豪绅中有权势者把持。训练内容和方法各地有别。帮办人员多假公济私，逼勒州县供应钱粮，且无实绩，徒以骚扰百姓。