Фамилия восходит к топоним Кадомцев Б. Б. Кадомцев. Кадомцева - это небольшой город, административный центр Рязанской области Kadomskogo региона России. Поселок расположен на обоих берегах реки Мокша, 245 км от Рязани.
Кадом известен с 1209 (впервые упоминается в Никоновской летописи). В XV веке старые Кадом был оставлен из-за разрушительных наводнений обитателей реки Мокша, новый город был построен на песчаных холмов, в 6 км к югу, где была построена крепость Kadomskaya. В середине XV века Кадом с округом было дано много Казани князю Касим и в конце XVII века входил в состав ханства Касимова. В Смутное время Кадом был захвачен польскими inetrventami. В 1652-1764 годы был монастырь здесь.
Статус города Кадом носил до 1926 года, затем - сельское поселение, с 1958 - поселке.
Скорее всего основатель Кадомцев был родом из Кадома, или жил здесь долгое время.