Працювати почав ще у 14 років, ставши столяром на підприємстві, яке очолював його батько Борис. Разом з батьком також балотувався до Вінницької міської ради у 2002 році, висувалися вони по сусідніх округах. Тоді Гройсман-молодший переміг на виборах у мажоритарному окрузі і став наймолодшим депутатом Вінницької міської ради. Вже за три роки внаслідок післямайданних перестановок у верхівці місцевої влади був призначений виконуючим обов'язки мера Вінниці. У березні 2006 року Гройсман переміг на виборах мера.
На посаді мера Гройсман розгорнув настільки ефективну і потужну діяльність, що вже на наступних виборах у 2010 році він знову переміг на виборах міського голови з рекордною для міських голів обласних центрів України підтримкою — 77,81% голосів.
У лютому 2014 року був віце-прем'єром – міністром регіонального розвитку, будівництва та житлово-комунального господарства у складі Кабміну Арсенія Яценюка. Його традиційно називали людиною Президента в уряді. Однак, сам Гройсман наполягав, що запрошення увійти до Кабміну отримав особисто від Арсенія Яценюка.