1) (1+ctg^2a)(cos^2a-1)
2) 1-tg^2a/cos2a

 - Если среди норок есть такая, в которой живут 4 мышки, то она должна быть одна, а во всех остальных норках должно жить не более 1 мышки, чтобы выполнить условие "в любых двух норках не более пяти мышек". Итого: 1 норка с 4 мышками, 9 норок с 1 мышкой - всего 13 мышек.
- Если среди норок есть такая, в которой живут 3 мышки, то она должна быть одна, а во всех остальных норках должно жить не более 2 мышек, чтобы выполнить условие "в любых двух норках не более пяти мышек". Итого: 1 норка с 3 мышками, 9 норок с 2 мышками - всего 21 мышка. 
- В случае если в каждой норке живет не более 2 мышек, то максимальное число мышек в этом случае равно 20.
Таким образом, в доме у Леопольда могут жить не более 21 мышки.
ответ: 21

А) не совсем понятно задание, 25й член надо найти или выяснить является ли 25 членом? Если 25й член надо найти то вот решение:
Вместо n подставим 25:
25^2+6*25+9=625+150+9=784
Если выяснить является ли 25 сонном этой последовательности:
Подставим в итог формулы 25:
n^2+6n+9=25
n^2+6n–16=0
Д=/36-4*1*(-16)=/100=10
n1=(-6+10)/2=2
n2=(-6-10)/2=-8 не может являться решением, тк n должно быть целое положительное натуральное число
ответ: 25 это второй член данной последовательности
б) n^2+6n+9=40
n^2+6n–31=0
Д=/36-4*1*(-31)=/160 целого корня нет, следовательно 40 не является членом данной последовательности.