Фамилия Задворнов формируется из прозвищ Задворнов. Она берет свое начало в том же прилагательное, означающее "крепостного, который жил на задворках магистра и уход за скотом и птицей." Возможно, прозвище содержит указание на оккупацию основатель семьи, и его место жительства.
Согласно другой гипотезе, основой для прозвища послужила глагол "zadvornichat", который имел значение диалектов Архангельск "не может жить дома, переходя от дома к дому, для гостей". В этом случае Задворнов называется общительный человек, который любил, чтобы посетить друзей и родственников. Задворнов в конечном счете получил название Задворнов.