Tatăl său era aristocrat, în timp ce familia din partea mamei includea mai multe generații de artiști. Givenchy provenea din scenografi atât ai Operei din Paris, cât și ai Palatului Elysee. Bunicul său, Gilles Badin, a fost un artist care a ucenicit lângă pictorul Jean-Baptiste Camille Corot și a devenit director al renumiților producători de tapiserii Gobelins și Beauvais.

Când Givenchy era copil mic, moartea tatălui său din cauza gripei a schimbat echilibrul creșterii sale, conferindu-i un caracter mai artistic. Tânărul Hubert a fost crescut de mama sa, Béatrice, cunoscută ca „Sissi”, și de bunica sa din partea mamei. A trăit într-un mediu boem, unde creativitatea era foarte apreciată, iar interesele sale au înflorit. Influența feminină în creșterea sa a fost probabil decisivă pentru succesul său viitor.

Bunicul lui Givenchy avea o pasiune pentru materiale și țesături și deținea o colecție de haine din culturi din întreaga lume. Colecția sa a fost o sursă de inspirație pentru tânărul designer, care de timpuriu și-a descoperit dragostea pentru modă și arta croitoriei.