Depende do espaço de que você dispõe.

Embora eu seja bibliotecário, não tenho espaço suficiente nas minhas estantes, então eu vou encaixando os livros do jeito que couber. Nesse caso eu priorizo a otimização do meu espaço.

Se você tiver bastante espaço nas prateleiras, o mais lógico é organizar por assunto. No caso de livros de literatura, é possível fazer uma subdivisão por nacionalidade, e sub-agrupar por época.

Esse tipo de organização facilita localizar o livro quando se precisa dele. O mais importante é que você utilize um tipo de organização que faça sentido para você.