光绪二十一年（1895年）九月初，定武军因马厂营房不敷应用，而移驻小站。小站是距天津东南七十里的一个小镇，是李鸿章所部周盛传弟兄盛军经营二十年的驻扎屯田之所。胡燏棻的定武军十营移驻到这块沃土上，开始了“小站练兵”。它的各级军官都是淮军将领，同时还选拔了天津武备学堂的毕业生何宗莲（总教习）、吴金彪、曹锟、田中玉、刘承恩等担任教习和军官，购置西洋先进武器，又聘请德国军官沙尔等人任教习，根据德国陆军操典进行训练。力求以新的装备，新的武器，新的训练，形成新的阵容。

光绪二十一年（1895年）十月二十二日，“定武军”尚未招募足额，胡燏棻调任平汉铁路督办，清政府打算物色一位知兵大员来接统“定武军”。由于袁世凯在朝鲜搞过练兵工作，回国后又请人写了一部兵书，用自己的名字发表，博得知兵之名，因此清政府“督办军务处”大臣荣禄、李鸿藻、 翁同龢联名上奏，保举袁世凯。同年12月，清政府颁布“上谕”，派袁世凯督练新建陆军。袁世凯接管定武军，并加募步兵2000人，骑兵250人，将其扩充到7000人，改名为“新建陆军”，完全依照德国营制、操典进行训练，聘用德国军官充任教习，还专门成立了由德国人组成的教习处（后改为洋务局）。

光绪二十七年（1901）九月二十七日，李鸿章病逝，袁世凯凭着庚子年间的功绩和强大的军事实力成了李的继任者，42岁署理直隶总督兼北洋大臣，在清末政坛上堪称奇迹。袁世凯上任后即着手进行北洋常备军（简称北洋军）的建设。至1904年，先后编成三镇。1905年2月，袁世凯再次提议统一全国军队番号，将原有常备军各镇一律改称陆军各镇。5月14日，以北洋常备军、京旗常备军和原武卫右军、自强军一部为基础，在京、津、鲁地区建成北洋六镇。

袁世凯编练新军以后，制定了严格的招募条件：年限20岁到25岁；力大限平举100公斤以上；身高官裁尺四尺8寸以上；步限每一时20里以外；报明三代家口、住址、箕斗数目；曾吸食鸦片者不收；素不安分，犯有事案者不收；五官不全、体质软弱及有目疲暗疾者不收。在编练新军的过程中，袁世凯逐渐制定完善了各种章程条规，如《操场暂行规则》《出操规则》《打靶法式》《将领督操》以及考试、考勤、考绩、奖励、惩罚、校阅等章程，分别制定了冬春季、夏秋季《日课定程》，对何时操练，何时练考打靶，何时演练行军，何时野外攻守等，都做了明确规定。

袁世凯设计的常备军制度是一项创举，“计丁抽练，入伍当差”，支给全饷，在营三年，退伍为续备兵，月支饷银一两，又三年，退为后备兵，月饷减半，平时各就其业，冬季操练一月，它解决了平时练兵与战时扩军的衔接问题，也解决了在财力不足的条件下使军队（包括续备、后备兵）维持最大规模的供养问题。他创设的直隶军政司，是常备军的管理、训练和教育机构，为日后各省编练新军在组织机构、营制饷章方面提供了样本。他规划了完备的军事教育体系，陆续开设了陆军小学堂、高级军官学校以及不同兵种的专科学堂。以此为起点，袁世凯开始了新一轮的练兵事业，直至练成北洋六镇。美国记者托马斯·F.米拉德赞扬袁世凯：“在清国的所有官员里，他是第一个认真学习外国军队组织方法和战略战术的人，并且也是第一个极力鼓吹军队必须实现现代化的人。”

北洋新军的产生标志着中国旧式军队向近代化军队发展的重大转变。由于在武器装备、体制编制、官兵构成、军事训练、规章制度、后勤保障等方面的一系列变革，军队由步、骑兵为主的作战逐步向诸兵种合成作战演进，军队在作战能力、军事思想等方面有了较大的提高和发展。