2 прямые не параллельны если при пересечении двух прямых секущей а) соответственные углы не равны
б) сумма соответственных углов равна 180°
в) сумма смежных углов не равна 180°

1. Достраиваем исходный прямоугольный треугольник до прямоугольника.
2. Проводим вторую диагональ получившегося прямоугольника.
3. Получилось четыре одинаковых прямоугольных треугольника.
4. Разбиваем прямоугольник на четыре равных прямоугольника проводя параллельные прямые через точку пересечения диагоналей.
5. Получившиеся прямоугольники имеют наибольшую площадь так как в сумме дают полную площадь прямоугольника.
6. Площадь прямоугольника 8*5=40 см².
7. Площадь вписанного прямоугольника 40/4=10 см².

См. рисунок в приложении.
Обозначим стороны прямоугольника
 MK=CN=х
 и
MC=KN=у
Тогда
S(прямоугольника)=x·y
Из подобия прямоугольных треугольников
АВС и AKM
AM:AC=MK:CB

5x=8(5-y)
5x=40-8y
x=(40-8y)/5

S=(40-8y)·y/5
S(y)=(40y-8y²)/5
Исследуем эту функцию на экстремум.
Находим производную.
S`(y)=(40-16y)/5
Приравниваем ее к нулю
40-16у=0
у=2,5- точка максимума, так как производная при переходе через эту точку меняет знак с + на - 
слева от точки 2,5:   S`(1)=34/5 >0
справа от точки 2,5: S`(4)=-24/5<0

x=(40-8y)/5=(40-8·2,5)/5=4
ответ. S=4·2,5=10  кв см - наибольшая площадь