Фамилия происходит от прозвища Козелец Козельцев. Это, вероятно, восходит к топоним Козельск - город в Калужской области, расположен на левом берегу реки Жиздра (приток Оки). Возможно, основатель Kozeltsevyh был родом из этого города.
Козельск - очень древний город, первое упоминание о нем датируется 1146. Мы также знаем, что в 1238 году город семь недель оказывал сопротивление армии Батыя, который был сожжен дотла и назван ханом "злым". Козелец, в конце концов получил название Козельцев.