Er war derjenige, der auf Befehl seines Kalifen jahrelang Imam Kadhim (a.) im Gefängnis in Bagdad eingesperrt hat. Fadhl ibn Rabi sperrte ihn in ein spezielles Gefängnis, dass er von einem speziellen Sitz aus beobachten konnte, und er sah Imam Kadhim (a.) Tag und Nacht im Ritualgebet versunken und bei sehr langen Niederwerfung. So sehr Fadhl seinen Kalifen diente, so sehr fürchtete er sich vor der Verantwortung, den Befehl Haruns nachzukommen und Imam Kadhim (a.) töten zu lassen. Er ließ die Briefe diesbezüglich so lange unbeantwrotet, bis der schriftliche Befehl kam, Fadhl ibn Yahya zu übergeben, was Fadhl ibn Rabi sofort erfüllte.