никак не могу решить.

Допустим AB =5 , BC =6 ,   BM =5 ,( AM =MC , M∈[AC] .

AC - ?
Продолжаем медиана и  на ней откладываем отрезок  MD=BE.   Соединяем полученную точку с вершинами.  Полученный  четырехугольник ABCD  параллелограмма. 
Для параллелограмм верно теорема_сумма квадратов диагоналей равно сумму квадратов сторон .AC²+BD² =  2(AB²+BC²)⇒AC²=2(AB²+BC²) - BD²   ||  BD=2BM=10 || 
AC² =2(5² +6²) -(2*5)²=22.
AC =√22.
ответ:  √22.

Или 
Из ΔAMB по теореме косинусов
AB² =AM² +BM² -2AM*BM*cos∠AMB         (1)
Аналогично из ΔCMB ,CB² =CM²+BM² -2CM*BM*cos(180° -∠AMB)    или
CB² =CM²+BM² +2CM*BM*cos∠AMB         (2)
Складывая уравнения (1) и  (2)  получаем :
AB²  +CB²= AM²+CM² +2BM² ;
AB²  +CB²= (AC/2)²+(AC/2)² +2BM² ;
AB²  +CB²= AC²/2 +2BM²  ;
2(AB²  +CB²)= AC² +(2BM)² ;   * * *AC² + BD² =2(AB²  +CB²)  ||   BD=2BM.* * 
AC²  = 2(AB²  +CB²) -(2BM)²

по т.косинусов

cosB = (16+9 - AC^2) / 24

по т.синусов

AC = 3sinB / sinA

24cosB = 25 - (9(sinB)^2) / (sinA)^2 = 25 - 9(1-(cosB)^2) / (sinA)^2

24cosB*(sinA)^2 = 25(sinA)^2 - 9 + 9(cosB)^2

9(cosB)^2 - 24(sinA)^2 * cosB + (25(sinA)^2 - 9) = 0 ---кв.трехчлен относительно cosB

D = 24*24*(sinA)^4 - 4*9*(25(sinA)^2 - 9) = 24*24*(sinA)^4 - 36*25(sinA)^2 + 81*4 = 

24*24*455*455 / (48^4) - 36*25*455 / (48^2) + 324 =

(455*455 - 36*25*455*4) / (48^2 * 4) +324 = (455(455 - 3600) + 324*4*48*48) / (48^2 * 4) = 

(324*4*48*48 - 455*3145) / (48^2 * 4) = (1247 / 96)^2

cosB = (24(sinA)^2 + 1247 / 96) / 18 = (455+1247) / (96*18) = 1702 / (96*18) = 851 / 864 ---в этом случае угол В не будет наибольшим... (угол С будет больше)

cosB = (24(sinA)^2 - 1247 / 96) / 18 = (455-1247) / (96*18) = -792 / (96*18) = -396 / 864 = -11/24