3. Сформировать и вывести на экран массив Х [1..6], значения элементов которого равны произведению значений элементов массивов Y [1..6], и Z [1..6]

Наибольшее возможное значение выражения (F+O+X+E)*(F*R*D*D) = 236196. Прилагаю небольшой скрипт на Python. Простенькая задачка на корректную организацию перебора с использованием вложенных циклов:

max_num = 0
for f in xrange(10):   
    for o in xrange(10):
        for x in xrange(10):
            for e in xrange(10):
                 for r in xrange(10):
                      for d in xrange(10):
                            b = f*r*d*d
                            if b == 0:
                                 continue
                            num = (f + o + x + e) * b
                            if num > max_num:
                                 max_num = num

print "Maximum value of (F+O+X+E)*(F*R*D*D) is: %i" % max_num

Решение можно получить гораздо проще, если догадаться, что наибольшее значение выражения достигается, когда сумма F+O+X+E и произведение F*R*D*D являются максимальными. Это одновременно происходит, когда все цифры равны 9: (9+9+9+9)*9*9*9*9 = 236196

# Код на ruby 2.2.3p173
def automate(n)
    a = n / 1000
    b = n / 100 % 10
    c = n / 10 % 10
    d = n % 10
    t = [a*b, c*d]
    return (t.max.to_s + t.min.to_s).to_i
end

def zadanie()
    for i in 1000..9999
        t = automate(i)
        p [t, i] if t == 174
    end
end
# Примеры применения
zadanie()

ответ - нет таких цифр

Аналитическое решение
174 можно разложить на 1 + 74 и 17 + 4
по правилу 2 это только 17 + 4
17 - произведение двух чисел, но 17 простое и произведение только 17 и 1. 17 не может быть одной цифрой
Значит вариант 174 невозможен при таких правилах