мне с полным решением

(x + y + z)² = (x + y)² + 2(x + y)z + z² = x² + 2xy + y² + 2xz + 2yz + z² = x² + y² + z² + 2(xy + xz + yz)

x² + xy + xz = y      x(x + y + z) = y

y² + yz + yx = z      y(x + y + z) = z

z² + zx + zy = x       z(x + y + z) = x

всё складываем

x² + xy + xz + y² + yz + yx + z² + zx + zy = z + y + x

x² + y² +z² + 2(xy + xz + yz) = x + y + z

(x + y + z)² = x + y + z

1. x + y + z = 0

x(x + y + z) = y

y(x + y + z) = z

z(x + y + z) = x

0x = y

0y = z

0z = x

x=y=z=0

2. x + y + z = 1

x = y

y = z

z = x

x² + x² + x² = x

3x² = x

x = 0  y = 0 y = 0

x = 3 не корень

ответ (0 0 0)

Похоже, тут опечатка. Должно быть 3cos^2 x.
5sin^2 x + 3*2sin x*cos x - 3cos^2 x = 4sin^2 x + 4cos^2 x
Переносим все налево
sin^2 x + 6sin x*cos x - 7cos^2 x = 0
Делим все на cos^2 x
tg^2 x + 6tg x - 7 = 0
Квадратное уравнение относительно tg x
(tg x - 1)(tg x + 7) = 0
1) tg x = 1; x1 = pi/4 + pi*k
2) tg x = -7; x2 = -arctg(7) + pi*n

Если же опечатки нет, то получается уравнение 4 степени
5sin^2 x + 3*2sin x*cos x - 3(cos 2x)^2 = 4sin^2 x + 4cos^2 x
5sin^2 x + 6sin x*cos x - 3(cos^2 x - sin^2 x)^2 = 4sin^2 x + 4cos^2 x
3(cos^4 x-2sin^2 x*cos^2 x+sin^4 x)-sin^2 x-6sin x*cos x+4cos^2 x = 0
3sin^4 x-sin^2 x+3cos^4 x+4cos^2 x-6sin^2 x*cos^2 x-6sin x*cos x = 0
Как это решать дальше - непонятно. Если разделить на cos^4 x, то
3tg^4 x - tg^2 x/cos^2 x + 3 + 4/cos^2 x - 6tg^2 x - 6tg x/cos^2 x = 0
Что тоже оптимизма не добавляет.