Rodina Skuteckých se do Nového Města na Moravě přestěhovala z Olešnice (tehdy okres Boskovice) v roce 1893, kdy Filip Skutecký koupil dům č.p. 4 na Vratislavově náměstí. V tomto domě byl již zavedený pivovar a rodina Skuteckých zde pokračovala s výrobou likérů a sodovek. Roku 1907 převzal po svém otci podnikání Mořic Skutecký, který zde žil a pracoval společně se svou manželkou Bedřiškou roz. Gottliebovou a jejich třemi syny – dvojčaty Karlem a Rudolfem a nejmladším Filipem. Rodina Skuteckých se zapsala do historie Nového Města na Moravě jako lidé skromní, čestní a šlechetní. Aktivně se zapojovali do veřejného života v Novém Městě. Mořic Skutecký byl jedním z nejstarších členů novoměstské sokolské jednoty a právě jeho zkušenosti s financemi, které získal mimo jiné jako jeden ze členů ředitelství novoměstské pobočky Moravské banky, výrazně přispěla k úspěšnému dokončení stavby sokolovny. Mimo Sokola byl členem celé řady organizací, např. sboru dobrovolných hasičů, sportovního klubu, studentského spolku Horák, aj.
Rodina Skuteckých a rodina Brady byli v období 2. světové války jedinými zástupci židovské komunity v našem městě. I přes rostoucí opatření namířená proti židům se rozhodli zůstat v Novém Městě a stále věřili, že zde budou moci v klidu žít bez povšimnutí německé nacistické agrese. Dne 23. listopadu 1941 byl však Mořic Skutecký zatčen a následně deportován do Mauthasenu. 5. února 1942 zde svůj život ukončil skokem do elektrického ohradníku. Brzy potkal podobný osud i zbývající členy rodiny – Bedřiška, Karel, Rudolf i Filip zahynuli během roku 1942 v koncentračních táborech. Jejich dům se po zbytek války stal sídlem gestapa.
Po válce dům připadl příbuzným Skuteckých – Martě Roubíčkové a Mileně Neumannové. Po roce 1948 byl znárodněn a v průběhu 90. let opět navrácen do držení příbuzných původních majitelů.