H. Duiveman is echtgenoot van een nicht in de tweede generatie van Ludovicus Wilhelmus Johannes van Es.