借了精神病人钱被说是诈骗该怎么办？

在这种情况下，判断是否构成诈骗需要依据具体情况和相关法律规定来确定。

首先，我们来了解一下什么是诈骗罪。根据《中华人民共和国刑法》第二百六十六条规定，诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。也就是说，要构成诈骗，行为人主观上得有非法占有别人财物的想法，客观上还得实施欺骗行为让被害人基于错误认识而处分财产。

对于你借精神病人钱这件事，关键要看你在借款时是否知晓对方是精神病人，以及借款过程中有没有采用欺骗手段。如果在借款时，你不知道对方是精神病人，并且按照正常的借款流程进行，比如签订了借条等，那就很难认定你有诈骗的故意。因为在你不知情的情况下，正常的借贷关系是受法律保护的。

然而，如果明知对方是精神病人，利用其不能正确表达自己意志的状况，通过欺骗等手段获取钱财，那就有可能被认定为诈骗。因为精神病人属于无民事行为能力人或者限制民事行为能力人，他们的民事行为能力是受限的。根据《中华人民共和国民法典》的相关规定，无民事行为能力人实施的民事法律行为无效；限制民事行为能力人实施的纯获利益的民事法律行为或者与其年龄、智力、精神健康状况相适应的民事法律行为有效；实施的其他民事法律行为经法定代理人同意或者追认后有效。所以，如果明知对方是精神病人而与之进行不符合其民事行为能力的借款行为，这个借款合同的效力就可能存在问题。

要是对方家属说你是诈骗，你可以先和他们沟通，把借款的真实情况和过程说清楚。如果沟通解决不了问题，对方报案了，公安机关会进行调查。在调查过程中，你要积极配合，提供能够证明借款真实性和合法性的证据，比如借条、转账记录、聊天记录等。最终是否构成诈骗，要由司法机关根据调查结果和法律规定来判定。