不把这些人找出来，始终是个最大的隐患。
于是，新四军制定了一套“引蛇出洞”的计划。
1939年6月17日，在安徽省的黄羊铺前的一条土路上，走来了一支新四军的部队。
这支部队有三百人左右，前面有一个班的前哨，后面有一个排的后卫，中间有着二百多人保护着十几个骑着马的新四军军官。
其中有一个年纪有四十多岁的人，此时他正在与旁边的一匹马上的人交谈着。
就在他们的部队行进到一条小河旁边，马上要转河进入山林中时，突然，河面上一阵水响，从河里冒出了二十多个持枪的新四军，他们对着新四军的队伍开枪射击，打开了一条通路。
这条通路是在牺牲的新四军战士中留出来的。
“敌袭！快保护首长！”有人大喊道。
新四军的战士紧急向敌人射击，当场打死了十个敌人。
但是，河中的敌人剩下来的十几个人继续从打开的缺口向里面冲来，虽然他们面临着死亡，但他们依然不怕死的向缺口里冲击。
一看到敌人如此顽固，新四军的战士立即对冲上了河岸的敌人进行了射击。
就在新四军战士的目标全注意到了河边的时候，从稀疏的树林中，突然冲出来了三十多个身穿日军军服的日本人。
他们快速地冲过来，开枪扫射着面向他们的警戒的战士，十几个战士很快都牺牲了。
得手后，乘着面向河边的新四军战士来不及回身。日本人扑向了那些骑马的新四军军官。
很快，他们冲到了那十几匹马的跟前，情况十分危急，斩首行动很可能要成功。在这危急关头，在他们的身后，突然飞出了一阵子弹雨，射向了扑向首长的日军。
在这批日本人准备开枪射杀马上的新四军军官时，他们身后的子弹射中了他们的身体。
最后，只有三位骑马的新四军军官受了伤，而那三十个日本人则被乱枪杀死。
保护在骑马的首长身边的新四军战士，立即对躺在地上没有死，还想引爆手雷的日本人射击。
半个小时，战斗结束，日军特别队的五十人全部死亡。
其中有一名日军大佐，两名中佐，五名少佐。
这时，从树林后面过来了一批新四军战士，他们来到了骑马的一个三十岁的新四军干部面前。
“报告！日军特别队的人已被我军全歼。”
骑在马上的指挥员说：“马上向首长汇报，请首长继续前行。”
这时，马上有人骑马向来路奔去，那里有着真正的新四军首长。
而这个骑在马上的首长，是首长的替身。很快，真首长过来了。
新四军首长过来后，看了看地上的日军尸体，命令道：“留一部分的人打扫战场，其余的人跟我去继续工作。”
于是，大部分的新四军战士保护首长去视察，而留下了五十多个战士，将日本人埋在了树林里。