二手房存在违建部分能否作为理由退还给对方？

在这种情况下，二手房存在违建部分是否可以作为理由退还给对方，需要分情况来看。

首先，从法律概念上来说，违建是指未经规划土地主管部门批准，未领取建设工程规划许可证或临时建设工程规划许可证，擅自建筑的建筑物和构筑物。如果在购房合同中，卖家没有如实告知买家房屋存在违建部分，这就涉及到卖家的隐瞒行为。根据《中华人民共和国民法典》第五百条规定，当事人在订立合同过程中故意隐瞒与订立合同有关的重要事实或者提供虚假情况，造成对方损失的，应当承担赔偿责任。在这种情况下，买家因为卖家的隐瞒而做出了错误的购房决定，买家是有权利要求解除合同，将房子退还给卖家的。

其次，如果卖家虽然告知了买家有违建部分，但买家是在不知情违建的严重性或者不知道违建可能带来的法律后果的情况下购买了房屋，而之后发现违建可能面临拆除等问题，影响了房屋的正常使用和价值，买家也可以根据公平原则和诚实信用原则，与卖家协商退还房屋。若协商不成，买家可以向法院提起诉讼，请求法院根据实际情况判决是否可以退还房屋。

然而，如果买家在购房时已经明确知晓房屋存在违建部分，并且自愿购买，那么一般情况下就不能随意以违建为理由要求退还房屋。因为在这种情况下，买家被视为接受了房屋存在违建的现状。除非之后出现了新的情况，比如政府部门要求限期拆除违建，严重影响了买家对房屋的使用权益，买家可以尝试与卖家重新协商或者通过法律途径解决。总之，具体能否退还房屋要结合实际情况和相关证据，通过合理合法的途径来解决。