১৯৪২ সালে যখন কুইট ইন্ডিয়া আন্দোলন শুরু হয়, তখন সেই আন্দোলনে ভিড়ে গিয়েছিলেন কলিম শরাফী। কলকাতায় তখন থাকতেন। পুলিশ তাঁকে গ্রেপ্তার করল। জেলে বসে কোনো কাজ ছিল না। জেলে ছিলেন প্রণব গুহঠাকুরতা, তিনি রবীন্দ্রনাথের গান গাইতেন। কলিম শরাফীকে রবীন্দ্রনাথের গান, স্বদেশি গান শেখালেন। জেলে যেখানে কলিম ছিলেন, সেখানে সবাই ছিল স্বদেশি আন্দোলন থেকে গ্রেপ্তার হওয়া। কলিম শরাফীই ছিলেন তাঁদের মধ্যে একমাত্র মুসলিম। মার্কসিস্টদের সঙ্গে দেখা হলো জেলখানায়। তারাই পরামর্শ দিলেন, ‘তুমি তো গান করো, সেটাই কোরো, তবে আমাদের ছাত্র ফেডারেশনে এসো।’ তখনো গণনাট্য সংঘ গড়ে ওঠেনি। সেটা হলো ১৯৪৩ সালে।

মিউজিক স্কোয়াড তখনো দুর্ভিক্ষের ওপরে আর স্বাধীনতার জন্য গান করে। জেল থেকে বেরিয়ে তাদের সঙ্গেই যুক্ত হয়ে গেলেন কলিম। নিখিল ভারত কমিউনিস্ট পার্টির সাধারণ সম্পাদক পি সি জোশী ছিলেন খুবই সংস্কৃতিমান মানুষ। আইপিটিএ বা গণনাট্য সংঘ গঠিত হওয়ার পেছনে তাঁরও হাত আছে। 
এই সংগঠনের সঙ্গেই থেকে গেলেন কলিম শরাফী। ১৯৪৮ সাল পর্যন্ত পি সি জোশী এই সংগঠনের মূল মানুষ ছিলেন। সে বছর বি টি রনদিভে কোণঠাসা করে ফেললেন পি সি জোশীকে। তিনি বললেন, ‘সব বুর্জোয়া পি সি যোশীকে সমর্থন করছে, অতএব তার দেখানো পথ ভুল। রবীন্দ্রনাথ ইজ নট আওয়ার পোয়েট। তিনি হচ্ছেন বুর্জোয়া।’ তখন ভবানী সেন ছিলেন বাংলাদেশের কমিউনিস্ট পার্টির সাধারণ সম্পাদক। তিনি রবীন্দ্রনাথকে গালাগাল করে বুকলেট ছাপালেন। কমিউনিস্টরা রবীন্দ্রনাথকে বর্জন করার আহ্বান জানালেন।

যাঁরা রবীন্দ্রভক্ত ছিলেন, তাঁরা এবার প্রমাদ গুনলেন। বুঝলেন, এই কট্টর পন্থা অবলম্বন করা হলে গণনাট্য সংঘে থাকা যাবে না। ফলে তাঁদের অনেকেই বেরিয়ে এলেন। সেই বেরিয়ে আসাদের মধ্যে ছিলেন কলিম শরাফীও। 

সূত্র: কুররাতুল আইন তাহমিনার নেওয়া কলিম শরাফীর সাক্ষাৎকার, লেখালেখির উঠান, সংগীত সংখ্যা, পৃষ্ঠা ১৫৮-১৬০