अप्रैल, 1936 में बाबूजी बिहार विधान परिषद के सदस्य बने। इसी बीच, भारत सरकार अधिनियम, 1935 के अंतर्गत चुनाव 1936-37 में होने निर्धारित हुए थे। बाबूजी की राजनीतिक सूझबूझ  और कद इताना ऊंचा था कि किसी ने भी आपके विरुद्ध अपना नामांकन दाखिल नहीं किया। दिसम्बर,  1936 में ही आपके अपने ही संगठन भारतीय दलित वर्ग लीग (बीडीसीएल) के उम्मीदवार के रूप में बाबूजी बिहार विधान सभा के लिए निर्विरोध निर्वाचित हुए। उन्होंने आरक्षित निर्वाचन क्षेत्रों से बीडीसीएल के 14 अन्य उम्मीदवारों की भी निर्विरोध जीत सुनिश्चित की। इस समय, आप मात्र 28 वर्ष के थे। तत्पश्चात, कांग्रेस के निमंत्रण पर, आप अपने 14 विधायकों के साथ कांग्रेस में शामिल हो गए।

कांग्रेस उम्मीदवार के रूप में निर्विरोध चुने जाने पर वर्ष 1946 में आपने केंद्र में अंतरिम सरकार में श्रम मंत्री का कार्यभार संभाला। दो अंतरिम सरकारों में आप सर्वाधिक युवा सदस्य थे। स्वातंत्र्योत्तर भारत में, आपने सासाराम निर्वाचन क्षेत्र से ही 1952, 1957 (निर्विरोध), 1962, 1967, 1971, 1977, 1980, 1984 के सभी लोक सभा चुनाव जीते। सासाराम के लोग आपके लिए अपने परिवार के समान थे। आप हमेशा उनके साथ थे। बदले में, वहां के लोग भी हमेशा आपके साथ रहे। आपने सासाराम को उसी तरह प्रतिष्ठा दिलाई जिस प्रकार एक बार शेरशाह सूरी ने दिलवाई थी। वर्ष 1936 से लेकर 1986 में आपके निधान तक, अर्ध-शताब्दी तक आपका निर्बाध संसदीय कार्यकाल एक विश्व रिकार्ड है।

जब यह साफ हो गया कि भारत की स्वतंत्रता को और आधिक समय तक नहीं रोका जा सकता, तो ब्रिटिश शासकों ने एक ऐसी अंतरिम सरकार बनाने का निर्णय लिया, जिसे वे सत्ता हस्तांतरित कर सकें। 2 सितम्बर, 1946 को लार्ड वेवल के अधीन दिल्ली में अंतरिम सरका का गठन किया गया। 30 अगस्त, 1946 को भारत के सम्राट जार्ज-टप् ने बाबूजी को अंतरिम सरकार की कार्यकारी परिषद में शामिल होने के लिए आमंत्रित करते हुए एक पत्र लिखा। उस सरकार में आप दलितों के एकमात्र प्रतिनिधि थे। अंतरिम सरकार के निम्नलिखित सदस्य थे:-

31 वर्ष तक केंद्रीय मंत्रिमंडल में मंत्री और उप-प्रधान मंत्री के रूप में कार्य करने का आपका अद्वितीय रिकार्ड  रहा था। अपनी अद्भुत प्रशासनिक योग्यता से आपने न केवल राष्ट्र निर्माण की चुनौतियों का सफलतापूर्वक सामना किया, बल्कि अपने अधीन मंत्रालयों के कार्यों को भी सुचारू बनाया।

स्वतंत्रता पूर्व

श्रम मंत्री - 2 सितम्बर, 1946 से 15 अगस्त, 1947 तक।

स्वतंत्रता प्राप्ति के पश्चात

श्रम मंत्री - 15 अगस्त, 1947 से 13 मई, 1952 तक। आपने औद्योगिक विवाद अधिनियम, 1947;  न्यूनतम मजदूरी अधिनियम, 1948;  कर्मचारी राज्य बीमा अधिनियम, 1948; श्रम अधिनियम, 1951; कर्मचारी भविष्य निधि अधिनियम, 1952; आदि जैसे अनेक महत्वपूर्ण विधान बनाए। आप एक ऐसे प्रथम भारतीय श्रम मंत्री  थे जिन्होंने जिनेवा में अंतर्राष्ट्रीय श्रम संगठन बैठक की अध्यक्षता की थी।

संचार मंत्री -13 मई, 1952 से 7 दिसंबर, 1956 तक। 1953 में, आपने विमान कंपनियों का राष्ट्रीयकरण किया और इंडियन एयरलाइंस कार्पोरेशन तथा एयर इंडिया इंटरनेशल  की स्थापना की। आपने डाक, तार और दूरसंचार के नेटवर्क का दूरस्थ ग्रामीण क्षेत्रों तक विस्तार किया ।

रेल और परिवहन मंत्री -7 दिसंबर, 1956 से 17 अप्रैल, 1957 तक आपने पुराने विनियमों की समीक्षा की और रेलवे और परिवहन कर्मचारियों की सेवा की शर्तों में सुधार किया।

रेल मंत्री -17 अप्रैल, 1957 से 10 अप्रैल, 1962 तक। आपने रेलवे का आधुनिकीकरण किया और देश के विभिन्न भागों में इसके नेटवर्क का विस्तार किया। 1957 में अनुसूचित जातियों और अनुसूचित जनजातियों के लिए पतोन्नति में आरक्षण के आदेश पहली बार जारी किए गए थे।

परिवहन और संचार मंत्री -10 अप्रैल, 1962 से 31 अगस्त, 1963 तक। नदी घाटी परियोजनाओं, सिंचाई परियोजनाओं और नौसेना में पहली बार मौसम विज्ञान का उपयोग किया गया। फ्लाइंग क्लबों में पायलट प्रशिक्षण के लिए पहली बार छात्रवृति प्रदान करने की पेशकश की गई। कलकत्ता, हल्दिया, मद्रास, विशाखापत्तनम, कांटला पत्तनों का व्यापक स्तर पर विस्तार किया गया। राज्य स्तरीय सड़ाकों को बड़े पैमाने पर राष्ट्रीय राजमार्गों में परिवर्तित किया गया।

भारतीय राष्ट्रीय कांग्रेस को सुदृढ़ बनाने के लिए कामराज योजना के अंतर्गत आपने 31 अगस्त, 1963 को सरकार से त्यागपत्र दे दिया।

श्रम, रोजगार और पुनर्वास मंत्री -24 जनवरी, 1963 से 13 मार्च, 1967 तक।

खदानों तथा इससे जुड़े क्षेत्रों में सेवारत कामगारों को सुरक्षा प्रदान करने के लिए उन्होंने खान व्यावसायिक प्रशिक्षण नियम, 1966 बनाए। आपने पुराने श्रम कानूनों की समीक्षा की तथा उन्हें और अधिक प्रभावी ढंग से कार्यान्वित किया।

खाद्य, कृषि, सामुदायिक विकास और सहकारिता मंत्री -

13 मार्च, 1967 से 27 जून, 1970 तक।
      
1967 के अत्यंत भीषण सूखे का आपने दृढ़संकल्प से सामना किया तथा यह सुनिश्चित किया कि भूख के कारण किसी भी व्यक्ति की मौत न हो।
      
आपने ’अधिक फसल उगाओ योजना’ आरंभ की और आप ’हरित क्रांति’ लाए। हमारा देश खाद्यान्न के मामले में न केवल पहली बार आत्मनिर्भर बना बल्कि इसका निर्यात भी करने लगा।

श्रम, रोजगार और पुनर्वास मंत्री का अतिरिक्त प्रभार -15 नवंबर, 1969 से 18 फरवरी, 1970 तक।
आपने श्रम कानूनों को सख्ती से लागू किया।

रक्षा मंत्री -27 जून, 1970 से 10 अक्टूबर, 1974 तक।

रक्षा मंत्री के रूप में आपने भारत-पाक युद्ध में ऐतिहासिक जीत सुनिश्चित की, जिसके कारण बांग्लादेश का जन्म हुआ। ऐसा पहली बार हुआ कि भारत ने युद्ध जीता। आपने घायलों और शहीदों के परिवारों की उदार वित्तीय सहायता और रोजगार के बेहतर अवसर मुहैया कराए।

खाद्य, कृषि और सिंचाई मंत्री -10 अक्टूबर, 1974 से 2 फरवरी, 1977 तक।

बिगड़ती खाद्य स्थिति को सुधारने के लिए आपने पुनः खाद्य और कृषि मंत्रालय का कार्यभार संभाला। आपने बांग्लादेश के साथ गंगा नदी जल के वितरण पर अंतर्राष्ट्रीय जल विवाद को सुलझाया। राष्ट्रीय स्तर पर, विभिन्न राज्यों के बीच गंगा जल के वितरण संबंधी विवादों को सुलझाया। आपने भविष्य के विवादों को सुलझाने के लिए एक आयोग का भी गठन किया।

रक्षा मंत्री -28 मार्च, 1977 से 24 जनवरी, 1979 तक।

आपने वायु सेना में आधुनिक, अति उन्नत लड़ाकू विमान जगुआर को शामिल किया। आपने सेना, वायु और नौसेना कार्मिकों की सेवा शर्तों में सुधार किया और इन्हें बेहतर बेतन और सुविधाएं प्रदान कीं।

किसी भी अन्य कैबिनेट मंत्री या उप-प्रधान मंत्री का इतना लंबा कार्यकाल नहीं रहा।