1924年春季，杨二在裕营房村结了婚。由于生活所迫，新婚不久，便去口外兴隆县太平村一带砍板子。一年到头，除大雪封山，很少回家。当时，马兰峪、东陵为清王贵族领地，当地八旗中的千总、郎中还颇有势力。郎中春三爷的孙子谭庆丰（乳名小贵子），就是八旗浪荡子弟。他见杨二之妻有几分姿色，心生邪意，经常用物质引诱调戏。后勾搭成奸。杨二得知此妻子红杏出墙之事，怒不可遏。1924年春节前夕，杨二匆匆赶回裕营房村，深夜闯入家门，恰将奸夫堵个正着，抄起菜刀将小贵子当场砍死。事发后谭家状告杨二。官府画影图形，通缉。从此，杨二被逼上“梁山”，遁迹绿林。
杨二刀劈小贵子后，逃到口外兴隆县莲花瓣子山。起初，在姚永兰手下干了一月有余的土匪勾当，以后见姚永兰和另一名匪首孙宝贵之间矛盾重重，便决计自己拉杆子(即拉队伍)另立门户。1925年初，杨二带领十几个志同道合的弟兄，离开莲花瓣子山，先在兴隆县倒流水二店子山上的一座庙里呆了两个多月。这时，一些零散土匪投奔了他。之后，杨二带领几十名弟兄转移到兴隆县金山子锅台杖子山不久，又到兴隆县牛筋洞安盘子(即安营扎寨)，在此地树起一面半边红半边黄的三角大旗，上书“杀富济贫替天行道”。并为自己的队伍规定三条纪律；一不许抢劫贫民百姓，二不许奸淫妇女，三不许将钱私入腰囊。杨二为人义胆侠肠，经常将缴获的钱粮周济当地的贫苦农民，因此颇得人心。
1925年春，平谷县大地主王金贵和王治松，又从外地雇佣了大批长工，来到马兰峪和东陵，并且临时搭上工棚和马厩，当地人称之为“锅伙”，进行春耕。杨二目睹父老乡亲们开垦的土地被地主霸占，当地贫苦农民生活无着的惨状，他又回想起进城请愿遭镇压的情景，心中更气愤至极，于是决议要砸大地主的“锅伙”。一天夜里，杨二带领几十名弟兄，闯入大地主王金贵、王治松的“锅伙”里。杨二见两个大地主都不在，便将长工集合到一起，劝他们不要为王金贵、王治松当苦力，让他们回家另谋生路。然后，将“锅伙全部砸毁，把粮食、饲料分给了当地的贫民百姓。
杨二率领弟兄抗官府杀富济贫，在遵化、兴隆一带的贫苦农民心目中很有威望，穷人投奔他的甚多。盘踞在其它山头的小股土匪也慕名投奔。前后有四海红(遵化三道沟人，姓舒)、老杂毛(兴隆县人，姓纪)、黑老虎(马兰峪人)。1925年底，杨二队伍发展到200多人。队伍壮大后，杨二经常为武器装备发愁。正在他一筹莫展之际，马兰峪、东陵一带有些到平谷县如口做买卖的小商贩，纷纷到牛筋洞找他，哭诉如口警察局为非作歹，敲诈勒索。杨二闻言，决计奇袭如口警察局，一为黎民除害，二为夺取武器。
1926年初春的一天夜里，杨二率队伍夜奔如口，到达后，他命一部分人在镇外警戒，自己率一百多名士兵包围了如口警察局。只经一个多小时的激战，几十名警察全部被俘，缴获了若干武器弹药，解决了自己武器不足的困难。
1926年，奉系军阀强迫农民用高价买回已由旗租改为官租的旗地，美其名为“旗地变民地”，并宣布过期不交款者，即由政府把地拍卖。一些土豪劣绅也乘机提高地价，从中渔利。遵化城西纪各庄的卞芳舟，是西二堡的一霸。他乘“旗地变民”之机，向农民敲诈勒索，当地农民叫苦不迭。1927年10月，杨二率部在大安口宿营。西二堡的一些贫困农民经常到大安口找杨二控告土豪恶霸卞芳舟。杨二闻言， 义愤填膺，立即修书给卞芳舟，限其三天之内，把吞剥农民的钱款如数送到大安口营盘，不然将卞家荡平。卞芳舟接到书信后，不禁哈哈大笑，挥笔给杨二写了十个字：“钱款岂能送?想要自己取。”杨二接信一看，见卞芳舟如此嚣张，决定施以厉害。
10月的一天深夜，杨二率领200多人，潜入纪各庄，将卞家大院重重包围。卞芳舟家里豢养着几十名护院家丁，大院围墙壁垒，四角设有岗楼。为此，卞芳舟有恃无恐，估量杨二不敢轻举妄动。 天近拂晓，杨二一声令下，200多名士兵勇猛出击。卡芳舟听见枪声，乱了手脚，忙指挥护院武装抵抗。杨二率队越打越猛，卞芳舟见自己难以抵挡，便带着一家老小，在部分护院武装的掩护下，骑马向县城仓皇逃走。杨二率部激战两个多小时后，冲进卞家大院，打开粮仓，周济贫苦农民。从此，杨二在遵化、兴隆一带的贫苦农民心目中，成为一位惩恶扬善、杀富济贫的英雄豪侠
1927年前后，在遵化县北部山区的长城内外，盘踞着十几股土匪。如大百龙、小百龙、马拐子、滚地雷、爬山虎、温瘸子、座山雕、姚永兰、孙宝贵、大天、亚九省等。这十几股土匪为非作歹，无恶不作，闹得良民百姓居无宁日，人心惶惶。尤其孙宝贵更坏，他打家劫舍，杀烧抢掠。孙宝贵奸淫幼女成嗜，经常将良家少女抢到山寨。杨二在莲花瓣子山时，曾劝导过孙宝贵。孙不但不听，反而更为放纵。1927年秋末的一天夜里，孙宝贵带领几十名恶匪，到兴隆县北台子王玉家里去抢掠。他见王玉的闺女长得俊俏，便命恶匪抢走。王玉拚命抵抗，被孙宝贵一枪打死。当时，杨二正在燕飞岭安盘子。他闻听孙宝贵打死王玉，抢走幼女，气得暴跳如雷。决心要消灭孙宝贵这股邪恶势力，为民除害。
一天，杨二请孙宝贵到兴隆县燕飞岭赴宴。酒席宴上，孙宝贵存有戒心。他虽然飞杯走盏，谈笑风生，但手不离枪，枪不离手。酒宴完毕，孙宝贵带领十几个随从辞行，杨二执意相送。杨二乘两名土匪扶孙宝贵上马之机，掏出七星手枪，处决了这个作恶多端的匪首。
杨二打死孙宝贵，解救了这一带老百姓，教育了为非作歹的土匪。以后，一些小股土匪和孙宝贵残部都投奔了杨二，队伍发展到300多人。队伍扩大了，纪律也加强了，杨二又率部从燕飞岭到遵化和蓟县交界的黄花山上的瓦岗寺安盘子。
黄花山巍峨峻峭，北接长城，是清东陵西侧的天然屏障。驻马兰峪的奉军第七补充团闻听杨二率部在黄花山安营扎寨，颇感不安。为巩固其在遵化的统治，决定剿灭杨二。1927年初冬的一天，杨二正指挥队伍下操练武，侦探报与杨二说，贾七团要剿灭黄花山。杨二得知后，在山寨上徘徊踱步，回想着贾七团和当地官府相勾结，倒卖土地，敲诈勒索的桩桩往事，使杨二新仇旧恨涌上心头。他横下一条心，要和贾七团决一雌雄。
杨二为保存实力，决定主动出击。这天夜里，他率部悄悄下了黄花山，命令四海红，黑老虎率一部埋伏在马兰峪镇西的小山丘上。他率余部抢占了马兰峪镇东的奶头山，命令队伍连夜构筑工事，严阵以待。翌日拂晓，贾七团浩浩荡荡向黄花山进发，行至马兰峪镇西小山丘时，遭到四海红，黑老虎出其不意的阻击。贾七团的队伍猝然受到如此打击，如同潮水一样退到马兰峪镇。四海红、黑老虎率部勇猛出击，贾七团被打得措手不及。团长贾文辉命令士兵抢占奶头山。他们刚冲上山坡，杨二一声令下，顿时山上弹如急雨。贾七团伤亡惨重，尸横山野。团长贾文辉命令炮手向奶头山轰击，十几发炮弹象流星一样飞出，奶头山上烟尘腾起，飞砂走石。杨二部在奶头山上伤亡很重。四海红、黑老虎见贾七团炮击奶头山，便率队越过马兰河，冲进贾七团的队伍里，展开了白刃战，杨二也率部冲下奶头山，贾七团腹背受敌，伤亡惨重，大败而逃。
杨二率部大战贾七团，出奇制胜，马兰峪附近的老百姓纷纷慰劳杨二部队。大天、亚九省等几股土匪也归顺了杨二，杨二部队发展到1000多人。杨二率部回到黄花山后，按团的建制进行了整编。队伍分为三个营，第一营营长四海红，第二营营长黑老虎，第三营营长老杂毛。并绣一面三角大旗，上书“天下第一团 富人都献钱”十个大字。从此，杨二部队在边关南北威名大震。