Составить уравнение плоскости, которая проходит через начало координат и имеет нормальный вектор n={5; 0; -3}.

Пусть стороны прямоугольника  х  и y,  тогда  зная, что площадь равна 12,
составим уравнение:  х*y  =  12

А зная длину диагонали по теореме Пифагора получаем:  х² + y² = 25
Итак имеем систему: 

                     х*y  =  12
                     х² + y² = 25

                     y  =  12/х
                     х² + (12/х)² = 25

Решаем второе уравнение системы:
                      х² + 144/х² = 25      |  *х²              
                      х^4 + 144 - 25х² = 0
                              Замена:  х² = t ,  t > 0
                       t²  -  25t + 144=0
                                 D = 625  - 4*144  = 625 - 576 = 49
                       t1 = (25+7)/2  =  16
                       t2 = (25-7)/2  =  9

                       х²  = 16                        или          х²  = 9    
                       х  = 4                                          х  = 3
Тогда               y  =  12/4 = 3           или            y  =  12/3   = 4

ответ:  стороны прямоугольника 3 и 4 .

Объём шара равен 4/3πR³. Обозначим ребро куба за 2x, тогда диаметр меньшего шара также равен 2x (меньший шар касается центров всех 6 граней куба, а расстояние между центрами 2 противоположных граней равно ребру куба), а его радиус равен x. Радиус шара, описанного около куба, равен расстоянию от центра куба до его вершины. Это расстояние равно половине большой диагонали куба, а диагональ равна √3*2x, тогда радиус большего шара равен √3*x. Объём большего шара равен 4/3π*3√3*x³, а объём меньшего равен 4/3π*x³. Разделив первое число на второе, получим ответ -  3√3.