Als sein Lehrer Abu Schutha Dschabir ibn Zaid aus Basra in den Oman verbannt wurde, wurde Abu Ubaida selbst in Basra eingekerkert. Nach dem Tod des Statthalters Haddschadsch ibn Yusuf 95 n.d.H. kam er frei und wurde Oberhaupt der Ibaditen in Basra. Er verfasste u.a. eine Sammlung mit Überlieferungen und machte Basra zu einem Zentrum der Gelehrsamkeit. Nach dem Tod von Umar ibn Abdul Aziz endeten die Freiheiten für die Ibaditen. So organisierte Abu Ubaida einige Aufstände, um auf den Trümmern der Umayyaden eine Art Ibaditen-Reich aufzubauen, war dabei aber wenig erfolgreich. Nach dem Tod Abu Ubaidas begann aber der Niedergang der Ibaditen.