Нужен ответ в десятичной системе исчесления.

Обозначим книги: А, Б,В,Г. 
1) Б+В+Г=42
 2) А+В+Г=40
 3) А+Б+Г= 38
 4) А+Б+В= 36

Сложим 1)+2)+3)+4) - получим, что 3А+3Б+3В+3Г=156
3(А+Б+В+Г)=156 и тогда
 А+Б+В+Г=156:3=52 (руб, стоят ВСЕ ЧЕТЫРЕ книги).

Теперь просто:
- поскольку  "все книги без первой стоят 42 р", то первая стоит  52-42=10 (руб).
- поскольку  "все книги без второй стоят 40 р", то вторая стоит  52-40=12 (руб).
- поскольку  "все книги без третьей стоят 38 р", то третья стоит  52-38=14 (руб).
- поскольку  "все книги без четвертой стоят 36 р", то четвертая стоит  52-36=16 (руб).

Проверка: вместе 10+12+14+16=52. ВЕРНО!

II + III + IV = 42 руб.

I + III + IV = 40 руб.

I + II + IV = 38 руб.

I + II + III = 36 руб.

Из записи видно, что каждая книга посчитана 3 раза:

3 * (I + II + III + IV) = 42 + 40 + 38 + 36

3 * (I + II + III + IV) = 156

I + II + III + IV = 52 рубля - стоят все четыре книги

Подставим значения:

52 - (II + III + IV) = 52 - 42 = 10 руб. - стоит I книга

52 - (I + III + IV) = 52 - 40 = 12 руб. - стоит II книга

52 - (I + II + IV) = 52 - 38 = 14 руб. - стоит III книга

52 - (I + II + III) = 52 - 36 = 16 руб. - стоит IV книга.