我养了别人婚外生的女婴，现在那个男人想把孩子要回去，我该怎么办？

在这种情况下，首先要明确几个关键的法律概念。收养，它指的是公民依照法律规定的条件和程序，领养他人的子女作为自己的子女，从而使原来没有父母子女关系的人之间，产生法律拟制的父母子女关系。而监护权，是监护人对于未成年人等无民事行为能力人和限制行为能力人的人身权益、财产权益所享有的监督、保护的身份权。

从法律依据方面来看，《中华人民共和国民法典》婚姻家庭编对收养有着严格的规定。一般情况下，收养应当向县级以上人民政府民政部门登记，收养关系自登记之日起成立。如果你没有经过合法的收养登记程序，那么从法律层面来说，你和这个女婴并没有形成受法律保护的收养关系。

对于孩子生父要求带回孩子这件事情，由于他是孩子的亲生父亲，在法律上他拥有对孩子的监护权等相关权利。除非他存在法律规定的不适合行使监护权的情形，比如虐待、遗弃孩子等严重损害孩子权益的行为。如果生父有正当理由要求带回孩子，并且他具备抚养孩子的能力和条件，从法律角度，他的诉求是可能得到支持的。

不过，你在这段时间对孩子付出了照顾和抚养，你可以和孩子生父进行沟通协商，要求他给予你一定的补偿，以弥补你在抚养孩子过程中所支出的费用，像生活费、教育费等。如果双方无法协商一致，你也可以通过向人民法院提起民事诉讼的方式，来维护自己合理的权益。法院会综合各方面的情况，依据法律规定做出公正的判决。