Tijdens één van zijn veelvuldig voorkomende reizen naar Venetië, had Galileo een ontmoeting met een jonge vrouw, Marina di Andrea Gamba, die uitliep in een relatie. Marina ging inwonen bij Galileo in zijn huis te Padua en baarde hem 3 kinderen: Virginia (1600), later Zuster Maria Celeste, Livia (1601), later Zuster Arcangela, en Vincenzio (1606). In geen van de 3 geboorteaktes is Galileo als vader vernoemd. Bij Virginia was het beschreven als dochter door overspel van Marina van Venetië, zonder verwijzing naar de vader. Op de geboorteakte van Livia werd de plaats voor de naam van de vader blanco gelaten en bij Vincenzio's geboorteakte wordt vermeld vader onzeker. Ogenschijnlijk was de huiselijke situatie een gezellige en was iedereen gelukkig, uitgezonderd wanneer Galileo's moeder, Giulia, hen bezocht.
Toen Galileo in 1610 Padua voor goed verliet om zijn baan bij de Medici te Florence op te nemen, nam hij zijn twee dochters mee en liet Vincenzio bij zijn moeder. Vincenzio kwam enkele jaren later naar zijn vader. Op 1613 trouwt Marina Gamba met Giovanni Bartoluzzi. Het schijnt dat Galileo een hartelijke relatie met beide onderhield.
Galileo stuurde zijn beide dochters naar een klooster en slaagde erin zijn zoon Vincenzio te legimiteren bij de Groot-Hertog van Toscanië. De reden voor deze ongelijke behandeling ligt waarschijnlijk bij het feit dat Galileo niet genoeg geld bezat om de bruidschatten te betalen om hen te laten trouwen met een man zijn positie aan het hof van de Medici waardig. Zo'n financiële verplichting had hij niet bij zij zoon.