När medelklassen och kvinnor började gå på matcher, tyckte jag det var synd att huliganerna hade försvunnit, eftersom de tidigare hållit dem borta.