W 1764 roku Rzeczpospolita, rządzona do niedawna przez Wettynów, jawiła się współczesnym jako państwo gospodarczo zacofane, z nieefektywnymi instytucjami państwowymi, słabą armią i niewydolną infrastrukturą. Jej najważniejsze miasta, w tym stolica, były zaniedbane i pozbawione nowoczesnych gmachów, które mieściłyby instytucje konieczne do właściwego funkcjonowania państwa i miasta. W podobnym stanie zaniedbania znajdował się warszawski Zamek Królewski – główna rezydencja nowego monarchy.

Początki kolekcji królewskiej datowane są na rok 1748, kiedy to podczas pobytu w Brukseli młody Poniatowski zakupił pierwszy obraz. Wtedy też narodziła się jego fascynacja dziełami Rubensa i van Dycka, co dało zaczątek kolekcjonerskiej pasji. Już jako król nie ograniczał się on jedynie do zbierania malarstwa, rysunku i grafiki. Wzorem innych monarchów, których rezydencje i zbiory miał okazję podziwiać podczas młodzieńczych podróży po Europie, jego kolekcjonerstwo objęło wszystkie gałęzie sztuki i nauki. Z równym zaangażowaniem do swoich zbiorów włączał rzeźby, medale, numizmaty i „starożytności”, a także mapy, modele maszyn, instrumenty fizyczne i astronomiczne czy kamienie szlachetne. Szczególne miejsce w zbiorach królewskich zajmował Gabinet Rycin będący najbardziej osobistą kolekcją, przedmiotem dumy, a także azylem w trudnych momentach panowania.