Решите на кону моя судьба!

В общем случае, трассировка - один из отладки программ врукопашную: состояние программы контролируется на определённом отрезке времени её выполнения путём анализа значений переменных. трассировка в том или ином виде при отладке программ сложнее школьного дз практически неизбежна.
в простейшем случае, трассировка - вывод значений переменных на экран (например, в окно консоли) , либо расчёт их на бумажке для каждого шага.
в более продвинутом варианте используются точки останова, окно наблюдения, выполнение по шагам и, если есть, контекстный интерпретатор выражений.
есть также специальная "трассирующая консоль" - интерфейс вывода информации из программы в отладчик, если таковой присутствует.
почти любой современный отладчик показывает состояние програмm при её останове, что делает трассировку процессом легко доступным

1.  и 2. записываем в столбик в виде суммы:

1.       +  n 3 8  9  8
               2 n 7 5  m
           
              m 8 5 n  3
ясно, что основание искомой с/с > 10.  Проверим и удостоверимся, что в 11c|c  действия выполняются верно.
 11 c|c   M=6   n = 4    
ответ: основание системы   11,  m=6,    n=4

2.   m m 65 n
    +2 n 4 4 m         

       5 5 4 2 4      очевидно, что основание искомой с/с > 6. 
Проверим по действиям в 7 с/с,  при сложении в столбик,
  при m=3 и n=1
и удостоверимся, что всё верно.
ответ:    осн. с\с = 7, m=3, n=1

3. пусть основание с\с будет  X? тогда:
(4*X^2+X+5)*4 =2*X^3+2*X^2+6*X+6
    раскрываем скобки, преобразуем и получаем уравнение:
(2*X - 14)*(X^2+1) = 0  --->    X=7
ответ:7