به گزارش نماینده به نقل از فارس او یکی از یاران رضاخان میرپنج در امر کودتای ۱۲۹۹ بود و پس از کودتا به درجه سرتیپی رسید. زاهدی همچنین در سرکوبی شیخ خزعل حضور داشت و به پاس این خدمات به دریافت نشان درجه ۴ ذوالفقار نائل آمد.
او به حکومت خوزستان منصوب شد و در دوران سلطنت رضاشاه مصدر مشاغل نظامی چون ریاست امنیه (ژاندارمری)، ریاست شهربانی و ریاست باشگاه افسران بود.
زاهدی در ۱۳۰۸ به هنگام ریاست امنیه برای سرکوبی شورش عشایر فارس به شیراز رفت ولی پس از مدتی مورد سوء ظن شاه قرار گرفت و به همراه نصرت‌الدوله و صارم‌الدوله والی فارس به تهران احضار و تنزل درجه یافت او مدتی محبوس بود تا اینکه بخشوده و آزاد شد.
پس از خروج رضاشاه از ایران، فضل‌الله زاهدی به اتهام همکاری با آلمانها توسط متفقین بازداشت و به فلسطین تبعید شد و پس از جنگ جهانی دوم به ایران بازگشت و مدتی ریاست شهربانی کشور را به عهده داشت.
در ۱۳۲۸ به عنوان سناتور انتصابی از همدان به مجلس سنا راه یافت و در ۱۳۳۰ در دولت حسین علاء به وزارت کشور منصوب شد و اردیبهشت ۱۳۳۰ در دولت دکتر مصدق نیز همین سمت را عهده‌دار بود. پس از وقایع تیر ۱۳۳۰ بین زاهدی و دکتر مصدق اختلاف پدید آمد از وزارت استعفا داد و از مخالفین مصدق شد مجدداً به سنا بازگشت و پس از انحلال مجلس توسط مصدق در اسفند ۱۳۳۱ بازداشت شد و پس از دو ماه آزاد شد.
اما همکاری خود را با مخالفان دکتر مصدق ادامه داد و بالاخره در ۲۸ مرداد ۱۳۳۲ با همکاری کودتا گران به عنوان نخست‌وزیر منصوب شاه دولت دکتر مصدق را ساقط کرد. زاهدی تا فروردین ۱۳۳۴ در مسند کار بود.
فضل‌الله زاهدی که روزی نخست‌وزیر محبوب حکومت پهلوی بود بنابه تقاضای شاه پس از دو سال از نخست‌وزیری استعفا کرد و به حالت تبعید از ایران خارج شد و به عنوان سفیر ایران در دفتر اروپایی سازمان ملل که مقر در آن ژنو بود به سوئیس رفت. و در سن ۷۱ سالگی در شهریور ۱۳۴۲ درگذشت.