Urodził się w rodzinie urzędniczej, w miejscowości Panki, odległej od Częstochowy o kilkanaście kilometrów. Jego ojciec w 1940 r. został burmistrzem Częstochowy i sprawował ten urząd przez całą okupację. W czasie wojny Zygmunt Rybicki studiował na tajnym Uniwersytecie i należał do Szarych Szeregów. W 1950 r. został zatrudniony na Wydziale Prawa UW jako starszy asystent. Wkrótce otrzymał stanowisko adiunkta, a w 1957 r. doktoryzował się. Mając zaledwie 34 lata, został kierownikiem Zawodowego Studium Administracyjnego. W 1963 r. rozpoczął kierowanie Zakładem Organizacji i Pracy Rad Narodowych, a w 1965 r. został prorektorem UW.

 

Szybkie awanse Rybickiego wynikały nie tylko z dobrego wykształcenia, ale też z pełnego podporządkowania nowemu systemowi władzy. Był współodpowiedzialny za stłumienie protestów studenckich w marcu 1968 r. Jesienią 1980 r. został podsekretarzem stanu w Urzędzie Rady Ministrów, a pięć lat potem sekretarzem. Jednocześnie z odejściem ze stanowiska rektora UW awansował w hierarchii partyjnej, zostając członkiem Komitetu Centralnego PZPR.