В равнобедренной трапеции ABCD диагональ BD перпендикулярна боковой
стороне AB. Найдите площадь трапеции, если большее основание AD равно
20 см, а один из углов трапеции равен 60 градусов

Так как искомая окружность должна касаться хорды АВ данной нам окружности радиуса R=15 и самой этой окружности, ясно, что искомая окружность расположена внутри кругового сегмента, стягиваемого хордой АВ. Поскольку хорда АВ делит круг на два круговых сегмента, существует и два варианта решения.
На рисунке представлены оба варианта расположения искомой окружности.
Точка касания "С" этой окружности с хордой АВ определена.
Проведем радиус  r=O1C искомой окружности  в точку касания. Этот радиус О1С перпендикулярен хорде АВ. Проведем радиус R=ОР данной нам окружности к хорде АВ . Он также перпендикулярен хорде АВ и, кроме того, делит ее пополам в точке М. Тогда АМ=0,5АВ=12, АС=АВ/3=8. СМ=12-8=4.
Опустим из центра искомой окружности перпендикуляр на диаметр КР, включающий в себя радиус R. О1М1=СМ=4. Из прямоугольного треугольника ОАМ по Пифагору найдем отрезок ОМ.
ОМ=√(АО²-АМ²)=√(15²-12²)=9.
В прямоугольнике М1О1СМ сторона ММ1=r, где r - радиус искомой окружности.  
Тогда для первого варианта (окружность расположена в большем секторе):
ОМ1=ММ1-ОМ = r-9. ОО1=R-r. (Так как оба радиуса лежат на одной прямой - радиуса в точку касания Т обеих окружностей). И из прямоугольного треугольника М1О1О по Пифагору имеем:
ОО1²=О1М1²+М1О² или (15-r)²=4²+(r-9)² или
225-30r+r²=16+r²-18r+81. Отсюда r=32/3.
Для второго варианта (окружность расположена в меньшем секторе):
ОМ1=ММ1+ОМ = r+9. И ОО1²=(15-r)²=4²+(r+9)² или 225-30r+r²=16+r²+18r+81. Отсюда r=8/3.

Центр вписанной в угол окружности лежит на его биссектрисе. Окружность радиуса 8 - вневписанная, касается сторон двух углов - А и С,  ее центр лежит на пересечении биссектрис  этих углов, смежных с углами А и С ∆ АВС соответственно,⇒ 
СО - биссектриса и делит угол НСК пополам. .
Центр окружности, вписанной в треугольник АВС, лежит в точке пересечения биссектрис. ВН и СО₁- биссектрисы. 
СО₁  делит  угол ВСН  пополам. 
АСК - развернутый угол и равен 180º
Сумма половин углов АСН и ОСН равна половине развернутого угла. 
Угол ОСО₁=180°:2=90°⇒
∆ ОСО₁ - прямоугольный с прямым углом С.
 АН - высота и медиана равнобедренного треугольника АВС, следовательно, делит основание АС на два равных отрезка:
СН=АН=6.
СН ⊥ АН⇒ является высотой  треугольника ОСО₁. 

Высота прямоугольного треугольника, проведенная из вершины прямого угла, есть среднее пропорциональное между отрезками, на которые делится гипотенуза этой высотой;⇒

СН²=ОН•HO₁

36=8 HO₁

HO₁=36/8=4,5 (ед. длины)