从小离婚，父亲没养过，自己还要负责赡养他吗？

在通常情况下，即便父母在子女成长过程中未曾履行抚养义务，子女在成年后仍需承担赡养父母的责任。

首先，赡养义务是基于亲子关系而产生的法定义务。亲子关系是一种天然的、无法改变的身份关系。从法律层面看，父母对未成年子女负有抚养教育的义务，这是为了保障子女的生存和发展；相应地，当父母年老、丧失劳动能力且无其他生活来源时，成年子女对父母负有赡养扶助的义务，这是对父母养育之恩的回报，也是维护家庭关系和社会公序良俗的需要。

其次，相关法律也对此有明确规定。根据《中华人民共和国民法典》第一千零六十七条规定，父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利；成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。同时，《老年人权益保障法》第十四条也强调了赡养人的赡养义务，包括经济上供养、生活上照料和精神上慰藉等方面。

不过，在某些特殊情况下，子女的赡养义务可能会有所减免。例如，子女自身无稳定的经济收入且丧失了劳动能力；或者在面临生活困境时，家庭总收入无法支撑家庭日常生活所需的最低标准；再或者父母曾对子女犯下严重的刑事罪行等。但这些特殊情况需要根据具体的事实和法律规定来判断。

总之，一般情况下，不能因为父亲未曾抚养而免除赡养责任，但如果存在法定的特殊情形，则可以依法适当减免。