Фамилия образована от топонима Грайворонского Грайворон - город в России, административный центр Белгородской области региона Грайворонского.
Грайворон Город расположен на берегу реки Ворскла (приток Днепра) и Grayvoronka, на границе с Украиной. Вполне вероятно, что предок Грайворонского родился и жил в этой деревне.
Скорее всего, название этого села восходит к украинскому слову "Грайворон", которое в русском языке означает "Ладья". В конце концов получила название Грайворонского.