1万保释金该向哪个部门退回来？

在我国法律体系中，“保释”对应的概念是“取保候审”，取保候审时缴纳的保证金也就是大家常说的“保释金”。

根据《中华人民共和国刑事诉讼法》第七十三条规定，犯罪嫌疑人、被告人在取保候审期间未违反本法第七十一条规定的，取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金。

具体退还流程是这样的，首先决定取保候审的机关，一般是公安机关、人民检察院或者人民法院，在犯罪嫌疑人、被告人取保候审期限届满或者发现不应当追究其刑事责任后，会作出解除取保候审的决定，并出具解除取保候审的通知或者有关法律文书。这个时候，执行取保候审的公安机关会根据决定机关的通知，及时向被取保候审人宣布退还保证金的决定。然后，被取保候审人就可以凭借解除取保候审的通知或者有关法律文书，到指定的银行领取退还的保证金。

所以，保证金虽然是交到银行，但退还手续得先通过决定取保候审的机关和执行取保候审的公安机关办理相关解除手续后，才能去银行拿到钱。