不过令人觉得可惜的是，参战部队22个团中只有第八师和华中野战军第九纵队的3个团攻城，由于当时正处于雨季且准备不充分，还有炮兵迟迟未到、攻城队伍不易协调等问题也相继出现，陈毅从野战军司令部的警卫团里抽调了一个营给8师，并最终决定推迟一天再总攻。可惜的是由于8师侦察不充分，在战斗打响五个小时后只是将桂军部署在外围的加强营大部歼灭，对县城的攻击却不顺利了。负责守城的是白崇禧的“钢七军”，这支军队的战斗力很强，老兵多，有丰富的作战经验，防守是他们的强项。泗县县城周围本就河多沟深，再加上处于雨季，这给攻打泗县县城的部队带来了极大的困难。其实攻打县城之前，山东野战军参谋处的大部分都不主张攻城打桂军，但是参谋长宋时轮的意见则相反，最终陈毅支持了宋时轮的意见。

8月8日凌晨我军发起攻击，十分钟不到就突破了西、北两个城门进了城里，然而天亮时，桂军172师的师长朱乃瑞发现我军突破城防的部队在固守阵地，这一发现让他立即决定反击。在桂军迅猛的攻击下，我军突破的西门阵地失守，随后北门的大部门阵地又回到了桂军手里，虽然有增援，但并没有什么进展。9日天朦朦亮的时候，我军夺回了北门阵地，战至下午时却又被桂军围在了城里。22团联合24团经过多次反冲击之后终于突破了封锁线，这个时候，第九纵队在城东发起攻击，但是在桂军的拼死反抗下无奈从城中撤出，第二纵队因为河水阻隔着只能干着急。而此时的桂军再次对北门的我军部队发起更加猛烈的进攻，战至10日凌晨时撤围作罢。这一战，我军虽然击毙击伤、俘虏敌人三千多人，但我们自己的伤亡达2400人之多，这其中党员就占一半，还有一百零八名排以上的干部。一场战斗中损失这么多的干部，不能说绝后，也是空前的。