আবুল হাশিমের জন্ম পশ্চিমবঙ্গের বর্ধমানের কাশিয়াড়ায়। তাঁর পিতা আবুল কাশেম বর্ধমানের কংগ্রেসের বিধায়ক ও একজন শীর্ষস্থানীয় নেতা ছিলেন।

আইনজীবী হিসেবে তাঁর যথেষ্ট খ্যাতি ছিল। এই জনপ্রিয়তার কারণে ১৯৩৬ সালে বঙ্গীয় বিধানসভার নির্বাচনে নির্দলীয় প্রার্থী হিসেবে বিজয়ী হন। পরবর্তী সময়ে যোগ দেন মুসলিম লীগে। এরপর তিনি ধর্মীয় বেড়াজালে আটকে না রেখে দলকে উদারপন্থী ধারা হিসেবে গড়ে তোলার কাজে মনোনিবেশ করেন। এ ক্ষেত্রে তিনি সফল হন। মুসলিম লীগের নেতা হলেও তাঁর কংগ্রেস ও কমিউনিস্ট পার্টির নেতাদের সঙ্গে ঘনিষ্ঠ সম্পর্ক ছিল। এ জন্য তিনি উদারনীতিবাদী রাজনীতিবিদ হিসেবে পরিচিতি পেয়েছিলেন।

পরবর্তী সময়ে যখন ভারতের স্বাধীনতা লাভ অবশ্যম্ভাবী হয়ে ওঠে, তখন হোসেন শহীদ সোহরাওয়ার্দী, আবুল হাশিম, শরৎচন্দ্র বসু প্রমুখ নেতার সঙ্গে যোগ দিয়ে অবিভক্ত বাংলা নিয়ে একটি স্বাধীন রাষ্ট্র প্রতিষ্ঠার জন্য তৎপরতা চালান। মোহাম্মদ আলী জিন্নাহ এবং মুসলিম লীগের শীর্ষ নেতৃত্বের সায় থাকলেও মোহনদাস গান্ধী ও কংগ্রেস এতে বেঁকে বসে।

১৯৪৭ সালে ভারত ও পাকিস্তান নামে দুটি স্বাধীন রাষ্ট্রের জন্ম হওয়ার পর আবুল হাশিম ভারতেই থেকে যান। সেখানে তিনি পশ্চিমবঙ্গ বিধানসভায় বিরোধী দলের সংসদীয় নেতা নির্বাচিত হন। ১৯৫০ সালে তিনি কলকাতা ছেড়ে ঢাকায় চলে আসেন এবং স্থায়ীভাবে বসবাস শুরু করেন। ১৯৫২ সালে তিনি রাষ্ট্রভাষা সংগ্রাম পরিষদের সদস্য নিযুক্ত হন। ভাষা আন্দোলনে ভূমিকার কারণে ওই বছরের ২৫ ফেব্রুয়ারি তাঁকে গ্রেপ্তার করা হয় এবং ১৬ মাস কারাগারে বন্দী থাকেন। আবুল হাশিম ১৯৬০ সালে ‘ইসলামিক একাডেমি’র প্রথম পরিচালক নিযুক্ত হন। কারামুক্তির পর ‘খিলাফত-ই-রব্বানী পার্টি’তে যোগ দেন। 

আবুল হাশিমের উল্লেখযোগ্য গ্রন্থ হলো—‘দ্য ক্রিড অব ইসলাম’, ‘অ্যাজ আই সি ইট’, ‘ইন্টিগ্রেশন অব পাকিস্তান’, ‘ইন রেট্রোসপেকশন’, ‘রব্বানী দৃষ্টিতে’ ইত্যাদি। 

১৯৭৪ সালের ৪ অক্টোবর আবুল হাশিম ঢাকায় মৃত্যুবরণ করেন।