扣留工人的身份证是否违法，该怎么处理？

扣留工人的身份证是违法的行为。身份证是用于证明持有人身份的法定证件，每个人对自己的身份证拥有合法的持有和使用权。

从法律概念上来说，《中华人民共和国居民身份证法》明确规定了公民身份号码是每个公民唯一的、终身不变的身份代码，由公安机关按照公民身份号码国家标准编制。公民从事有关活动，需要证明身份的，有权使用居民身份证证明身份，有关单位及其工作人员不得拒绝。这里强调了公民对身份证使用的自主性和合法性。

根据《中华人民共和国居民身份证法》第十六条第（三）项规定，非法扣押他人居民身份证的，由公安机关给予警告，并处二百元以下罚款，有违法所得的，没收违法所得。也就是说，如果工厂或者个人扣留工人的身份证，工人可以向公安机关反映情况。公安机关在核实后，会要求扣留方返还身份证，同时可能对扣留方进行警告并处以二百元以下的罚款，如果扣留方因此有违法所得，还会将违法所得没收。

对于已经扣留身份证的情况，建议立即返还工人的身份证，避免后续可能面临的法律责任。同时，工厂如果担心工人突然离职等问题，可以通过合法、合理的途径，比如签订完善的劳动合同，明确双方的权利和义务等方式来保障自身的合法权益。