बाबूजी ने अपने छात्र जीवन से ही सामाजिक न्याय के लिए संघर्ष किया और आप वंचितों के लिए बहतर अवसर हेतु आजीवन संघर्षरत रहे। आपने यह संघर्ष किशोर अवस्था में 14 वर्ष की आयु में तब प्रारंभ किया जब आपने टाउन स्कूल, आरा के प्राचार्य को तथाकथित अस्पृश्य विद्याथीर्यों के लिए अलग पानी के घड़े रखने की घृणित प्रथा को बंद करने पर बाध्य किया। कलकत्ता में छात्र के रूप में आपने रविदास महासभा की स्थपना की। 1934 में आप गांधीजी द्वारा स्थापित हरिजन सेवक संघ के महासचिव बने। आपने 1935 में भारतीय दलित वर्ग लीग की स्थापना की। आपने इन संगठनों के माध्यम से दलितों को लामबंद किया।

1934 में जब बिहार में अप्रत्याशित भूकंप से अभूतपूर्व विनाश हुआ, उस समय बाबूजी ने स्वयं को संपूर्ण रूप से राहत कार्य में समर्पित कर दिया, उस समय गांधीजी बिहार आए थे। पहली बार बाबूजी की गांधीजी से भेंट यहीं हुई तथा वे राहत अभियान के लिए उनके स्वयंसेवक समूह में शामिल हो गए। अक्तूबर, 1941 में डा. राजेन्द्र प्रसाद के आमंत्रण पर बाबूजी वर्धा आश्रम में 10 दिन तक रहे तथा उन्होंने दलितों की समस्याओं एवं स्वतंत्रता संग्राम के लिए संघर्ष के संबंध में गांधीजी के साथ विस्तृत विचार-विमर्श किया।

1935 में बाबूजी हेमंड आयोग के समक्ष पेश हुए। यह आयोग ब्रिटेन से आया था तथा आपने इस बात की पुरजोर वकालत की कि दलितों को सन् 1936-37 के चुनाव में अपने मताधिकार का प्रयोग करें। तभी से दलितों को मताधिकार प्राप्त हुआ।

आरक्षण का उपबंध इतनी आसानी से संविधान में शामिल नहीं हुआ। विरोध की जबर्दस्त अंतर्धारा थी। उस समय समर्थन जुटाने की जिम्मेदारी अंततोगत्वा बाबूजी, जो दलितों में सबसे प्रभावशाली एवं वरिष्ठ नेता थे, के कंधों पर आ पड़ी। अपनी अंतर्निहित बुद्धिमत्ता एवं दूरदर्शिता के कारण बाबूजी ने सर्वानुमति प्राप्त कर ली जिसके परिणामस्वरूप आरक्षण का उपबंध सम्मिलित हो पाया।

स्वतंत्रता के समय, केंद्र या राज्यों में कुछ ही अनुसूचित जाति के अधिकारी थे। तभी मुख्य मंत्री तथाकथित उच्च जाति से थे। तब भी बिना किसी कड़वाहट या तनाव के, बाबूजी ने उनसे आरक्षण लागू करने, हरिजन छात्रावास खोलने और हरिजनों के कल्याण तथा अस्पृश्यता के विरूद्ध अन्य योजनाओं को लगू करने का कार्य कराया। आपके राजनीतिक कद के कारण मुख्यमंत्रियों ने स्वयं उन्हें आरक्षण एवं कल्याण योजनाओं की क्रियान्वयन रिपोर्ट नियमित रूप से भेजी। दलित कल्याण संबंधी आपके सुझावों में बहुत प्रभाव होता था तथा इसे आदेश जैसा माना जाता था। उनके अथक प्रयास के कारण ही आज दलित अधिक जागरूक हैं, शिक्षित हो रहे हैं। तथा उच्च पदों पर पहुंचे हैं। 50 वर्षों से अधिक के आपके सतत संरक्षण से दलितों को साहस मिला एवं उन्हें प्रगति पथ पर अग्रसर होने में सहायता मिली।

1957 में, बाबूजी ने प्रोन्नति में आरक्षण का प्रावधान कराया। तब आप रेल मंत्री थे। आपके निर्णय का घोर विरोध हुआ। इस मामले को उच्चतम न्यायालय  के समक्ष लाया गया जहां विरोधियों की हार हुई। तभी से प्रोन्नति में आरक्षण का प्रावधान अस्तित्व में आया।

संविधान में, आरक्षण का प्रावधान मात्र दस वर्षों के लिए किया गया था। बाबूजी के जबर्दस्त प्रभाव से इस अवधि को समय-समय पर बढ़ाया जाता रहा। जब भी आरक्षण के विरूद्ध आवाज उठी, आपने उसे अपने रुतबे एवं लोकप्रियता से दबा दिया। आपने यह सुनिश्चित किया कि आपने मंत्रालय में सभी आरक्षित सीटें भरी जाएं।

आपका मानना था कि धर्म के परिवर्तन से जाति परिवर्तन नहीं हो सकता है। दलित जो भी धर्म अपनाएं, उन्हें नीची नजर से देखा जाना जारी ही रहेगा। यदि ऐसा नहीं होता तो बौद्ध धर्म ग्रहण करने वाले दलितों को आरक्षण की जरूरत महसूस नहीं होती। आप चाहते थे कि दलित उसी धर्म में रहें तथा अपने अधिकारों के लिए संघर्ष करें।

दलितों से हिन्दू धर्म में आदरपूर्ण व्यवहार किए जाने के लिए आपने यह सुनिश्चित किया कि हजारों वर्षों से उनके लिए बंद रहे मंदिरों के दरवाजे खोले जाएं। जगन्नाथ धाम, पुरी, विश्वनाथ मंदिर, काशी, मीनाक्षी मंदिर, मदुरई कुछ उन ऐसे अनेक प्रसिद्ध मंदिरों में से हैं जिन्हें आपके द्वारा व्यक्तिगत रूप से खोला गया।

बाबूजी ने दलितों को शिक्षा प्रदान करने पर विशेष जोर दिया था। जब से, आप स्वाधीनता आन्दोलन में सक्रिय थे, आपने हरिजन बहुल गांवों में अनेक विद्यालयों और छात्रावासों की स्थापना की थी और विद्यार्थियों के लिए वजीफे की व्यवस्था की थी। सभी शैक्षणिक संस्थानों के दरवाजे दलितों के लिए खोल दिए गए। लाखों दलित विद्यार्थियों को शिक्षा मिलनी शुरू हो गयी थी।
अपनी शिक्षा पूरी करने के बाद उन्होंने महत्वपूर्ण पद ग्रहण करना प्रारंभ कर दिया और समाज ने एक बड़ा और महत्वपूर्ण परिवर्तन देखा।