Да, в программу числа вводятся (считываются) по одному. Ноль числом не считается - это означает конец работы.
В этой задаче массивы, списки и т.п. не нужны. Достаточно сразу после ввода каждого числа его проверить и решить, нужно его добавлять к вычисляемой сумме или нет.