玉麟率兄弟星夜赶来中安堡，里外夹攻，把金寿山绺子打退了。
中安堡解围之后，张作霖对汤玉麟非常感激，认为汤玉麟能征善战，有意和汤合在一起。汤玉麟对张作霖的印象也很好，虽然年轻，但是性情豪爽，胸有大志。
张作霖提出两股绺子合在一起，汤玉麟欣然同意，拥护张作霖坐第一把交椅。从此，张作霖保险队逐步扩大。
光绪二十六年（1900年）除夕，张作霖率领众兄弟喝酒吃肉，个个酩酊大醉。
金寿山率哥萨克骑兵一中队再次奔袭中安堡，将张作霖保险队大院团团包围，坐探乘机接应，顿时枪声大作。
张作霖指挥众兄弟仓促应战，因众寡悬殊，张作霖不得不指挥众兄弟突围，由孙德山背着已经怀孕四个月的张作霖的赵氏夫人，汤玉麟背着张作霖的长女张首芳，边打边退，张作霖手持双枪断后，当逃至雷家屯时，张作霖的队伍已散，只剩下八人。
张作霖将家眷送往张家窝棚赵氏的堂侄家中暂住，便与汤玉麟等几个人沿辽河两岸活动，一边收留被打散的残部，一边招收新人，重新组织队伍。
不久，张作霖经与汤玉麟合计后，决定投奔八角台团练长张景惠，张景惠不仅接纳了张作霖，而且推张作霖坐第一把交椅，任八角台自卫团的团练长，张景惠退为副团练长，汤玉麟协助二张训练团丁。
不久，又有张作相带领二三十号人马投奔张作霖、张景惠，力量更为增强。
光绪二十八年（1902年），张作霖在消灭拥有二百多名匪众的台安县巨匪项昭子之后，又吞并了周围小村的保险队，队伍逐渐发展到四百多人，成为辽西一股很大的力量。
张作霖不仅机灵过人，而且实有政治野心，热衷于升官发财。
有一次，张作霖和汤玉麟摆酒论英雄。张作霖酒后吐真言：“当今之世，满洲无主，我等不应安居一方，而应将小股流匪合并一起，形成强大势力，而后称霸。”
汤玉麟听了也说：“我也有这种想法。”
同年10月，当地乡绅张子云等串联十八屯绅商及各界代表作保，由新民府知府增韫手下红人赵经丞牵线。
张作霖率汤玉麟等共三百多人接受收编，增韫将张作霖的人马编为新民府地方巡警前营马队，张作霖任马队管带（相当于营长），下辖中、前、左、右、后五哨。
汤玉麟与张景惠、张作相、王利有、孙福山分任哨官。从此，汤玉麟等人摇身一变成了清廷的军官。
光绪三十三年（1907年），张作霖升任奉天巡防五营统带官（相当于团长）兼中营营长，汤玉麟与张景惠、张作相、邹芬分任营长。
同年5月，徐世昌出任东三省总督。鉴于东北“胡匪”遍地，“马贼”猖撅，徐世昌上任伊始，首先抓剿匪。
徐世昌命张作霖消灭辽西巨匪杜立三。
7月6日，当杜立三率亲随十多名到新民府来见张作霖时，张作霖早已设下埋伏。
伏在门外的汤玉麟从杜立三背后将其抱住，随后又过来几个人将杜立三按倒在地，摘下手枪，捆绑了起来。
当晚即将杜立三枪杀。汤玉麟与张作霖合谋除掉杜立三立了大功，徐世昌立即上奏朝廷为汤、张请奖，朝廷立即赏银两千两，并升张作霖为奉天省巡防营前路统领，汤玉麟升为二营帮带。
不久，徐世昌调张作霖部到辽源（郑家屯）、洮南追剿为沙俄收买的蒙古叛军。
这时张作霖的队伍由五营扩编为七营，除汤玉麟、张景惠、张作相、邹芬等营以外，又把驻在洮南的孙烈臣部划为张的部下，张的队伍增加到三千五百多人。
张作霖受命后，率领所部在漠北的荒原上，和蒙匪陶克陶胡、白音大赉等股匪进行了殊死搏斗。
光绪三十四年（1908年）6月，张作霖指挥所部奇袭内蒙的龙王庙（蒙匪的一个根据地），将白音大赉手下的干将巴塔尔斩首。
当陶克陶胡袭击长春一带，白音大赉乘此在洮南反击时，张作霖联合黑龙江官军进行夹击，迫使蒙匪西窜。
张作霖带领所部穷追陶克陶胡，一直追至大兴安岭的索伦山。