Фамилия является уникальным памятником Шварцберг немецкой культуры. Шварцберг фамилия, вероятно, происходит из того же прозвище, которое происходит от топонима Шварцберг (Шварцберг). Это название как-то города в Баварии. Можно предположить, что предок семьи владельца Шварцберг был родом из одного из них. Сам топоним восходит к двум немецким слова: Шварц - «черный» и Берг - «гора, холм».
По другой версии, название Шварцберг имеет еврейские корни. В этом случае, скорее всего, искусственного происхождения и относится к именам, которые были даны евреям со стороны чиновников. Среди известных имен представителей - Дора Шварцберг, скрипач, преподаватель музыки, профессор Венского института искусств и музыки, Эммануил Шварцберг, советский, русский актер.