能否向纳税人追缴税款以及扣缴义务人有什么责任？

首先，税务部门是可以向纳税人追缴税款的。这里的纳税人就是负有纳税义务的个人或单位。在税收关系里，缴纳税款是纳税人的基本义务。当纳税人未按照规定缴纳税款时，税务机关有权依法进行追缴。

依据《中华人民共和国税收征收管理法》第五十二条规定，如果因税务机关的责任，致使纳税人、扣缴义务人未缴或者少缴税款的，税务机关在三年内可以要求纳税人、扣缴义务人补缴税款，但是不得加收滞纳金。如果是因纳税人、扣缴义务人计算错误等失误，未缴或者少缴税款的，税务机关在三年内可以追征税款、滞纳金；有特殊情况的，追征期可以延长到五年。对偷税、抗税、骗税的，税务机关追征其未缴或者少缴的税款、滞纳金或者所骗取的税款，不受前款规定期限的限制。

而关于扣缴义务人，扣缴义务人是指法律、行政法规规定负有代扣代缴、代收代缴税款义务的单位和个人。比如在工资发放中，公司就是扣缴义务人，要代扣代缴员工的个人所得税。按照《中华人民共和国税收征收管理法》第六十九条规定，扣缴义务人应扣未扣、应收而不收税款的，由税务机关向纳税人追缴税款，对扣缴义务人处应扣未扣、应收未收税款百分之五十以上三倍以下的罚款。所以，在您的情况中，税务机关向您追缴税款是有法律依据的，同时，如果公司确实存在应扣未扣的情况，公司会面临相应的罚款。