Фамилия образована от топонима Воронеж - название древнего города, основанного в 1586 году. Считается, что название происходит от Воронеж притяжательное прилагательное (с ударением на последнем слоге) старославянское имя Воронеж (ударение - и на последний слог). Это название, вероятно, происходит от слова "ворона" или "черный". Позже название Воронежской уже не ассоциируется с именем, но акцент переместился на второй слог.
Вероятно предок владельцев имен Воронеж был родом из этого города, долгое время жил в нем.