Родившийся в 1923 году Эндель благодаря своему отцу был на ты с железной дорогой. Когда Эндель пошел в школу, семья переехала из Каламая в Нымме.

В 1932 году Эндель потерял сначала мать, а потом и отца. И пошел работать на железную дорогу. Помимо прочего, Эндель Ильвес следил за состоянием шпал и в 18-летнем возрасте стал свидетелем июньской депортации 1941 года. В задачи отца президента входило таскать воду к вагонам, в которых находились люди.