银行能否直接扣划保证人的保证金归还贷款？

不能直接划扣。
(1)《担保法》第六十六条:出质人和质权人在合同中不得约定在债务履行期届满质权人未受清偿时，质物的所有权转移为质权人所有。
(2)《最高人民法院关于适用<中华人民共和国担保法>若干问题的解释》第八十五条：债务人或者第三人将其金钱以特户、封金、保证金等形式特定化后，移交债权人占有作为债权的担保，债务人不履行债务时，债权人可以以该金钱优先受偿。