Фамилия образована от прозвища пустыни отшельника, которая берет начало из того же общего имени. Отшельник - человек, который по религиозным соображениям отказались общаться с людьми, с миром, отшельник.
Однако, скорее всего, чтобы заложить основу для этого прозвища переносном смысле этого слова - ". Тот, кто живет в одиночестве, вдали от людей" Соответственно, Отшельник может прозвище нелюдимым человеком. Отшельник, в конце концов получил название пустыни.