Фамилия образована от топонима Козельцова Козельск. Козельск - город в Калужской области России, расположенный на левом берегу реки Жиздра (приток Оки). Первое упоминание о городе датируется 1146. В Козельске родился такие выдающиеся личности, как Владимир Ильин, математик, доктор физико-математических наук, профессор, лауреат Государственной премии СССР, кавалер ордена «За заслуги» и Мария В. Павлов, палеонтолог и почетным членом АН СССР, АН СССР (1921), жена выдающегося русского геологов конца XIX - начала ХХ века. А. П. Павлов.
Вероятно предок владельцев имен Козельцов был родом из этого города, долгое время жил здесь.