Подробно упростите выражения, используя законы логики.

#include "stdafx.h"
#include <stdio.h>
#include <windows.h>

int main()  
  {
    SetConsoleCP(1251);      
    SetConsoleOutputCP(1251);  
 
int const n=3;
int mas[n][n];
int sum1, sum2;
bool magik;

for (int i=0; i<n; i++)
    for (int j=0; j<n; j++)
         {
           printf("mas[%d][%d] = ", i+1, j+1);
           scanf("%d",&mas[ i ][ j ]);
         }

printf("\nВведенная матрица:\n");
     for (int i=0; i<n; i++)
        {
             for (int j=0; j<n; j++)
                       {
                          printf("%d  ",mas[ i ][ j ]);
                       }
             printf("\n");
         }

sum1=0;
sum2=0;

for (int i = 0; i<n; i++)
     {
            sum1 += mas[ i ][ i ];
            sum2 += mas[ i ][ n-1-i ];
      }

printf("Сумма главной диагонали = %d\n", sum1);
printf("Сумма побочной диагонали = %d\n", sum2);

magik = true;
for (int i=0; i<n; i++)
    {
        if (sum1==sum2)
             {
                 sum2=0;
                 for (int j=0; j<n; j++)
                    {
                        sum2 += mas[ i ][ j ];
                     }
              } else  { magik=false; break; }
     }

if (magik==true)
     {
           for (int i=0; i<n; i++)    
               {
                   if (sum1==sum2)
                        {
                           sum2=0;
                           for (int j=0; j<n; j++)
                               {
                                   sum2 += mas[ j ][ i ];
                               }
                         }
                        else  { magik=false; break; }
                 }
       }

if (magik==true)
    printf("\nМатрица является магическим квадратом\n");  
else
    printf("\nМатрица не является магическим квадратом\n");

system("pause");
return 0;
}

1.  и 2. записываем в столбик в виде суммы:

1.       +  n 3 8  9  8
               2 n 7 5  m
           
              m 8 5 n  3
ясно, что основание искомой с/с > 10.  Проверим и удостоверимся, что в 11c|c  действия выполняются верно.
 11 c|c   M=6   n = 4    
ответ: основание системы   11,  m=6,    n=4

2.   m m 65 n
    +2 n 4 4 m         

       5 5 4 2 4      очевидно, что основание искомой с/с > 6. 
Проверим по действиям в 7 с/с,  при сложении в столбик,
  при m=3 и n=1
и удостоверимся, что всё верно.
ответ:    осн. с\с = 7, m=3, n=1

3. пусть основание с\с будет  X? тогда:
(4*X^2+X+5)*4 =2*X^3+2*X^2+6*X+6
    раскрываем скобки, преобразуем и получаем уравнение:
(2*X - 14)*(X^2+1) = 0  --->    X=7
ответ:7