Основу названия было религиозное имя Инфантьева Нифонт. Название инфанты является производной формой имени Нифонт (Нифантов), который в переводе с греческого означает "трезвый, разумный".
Одна из покровителей этого названия Санкт-Нифонт. Он принял постриг в Киево-Печерском монастыре, а в 1130 стал епископом Новгорода. Ему удалось остановить вражду между людьми, Киева и Чернигова. Когда Нифонт не признала митрополита Климента Киеве, он был сослан в Печерский монастырь, где он был возвращен лишь тогда, когда Юрий Долгоруков.
Скорее всего прародитель Инфантьев человек простых классов. Тот факт, что полные имена были названы в основном из социальной элиты, аристократии или семей, которые использовали этот район в большой авторитет. Иммигранты из других классов, как правило, называли уменьшительными, производными именами. Нифонт в конечном счете получил название Инфантьев.
Среди известных однофамильцев можно назвать фольклорист, литературовед, историк культуры, историк и общественный деятель Борис Федорович Инфантьев.