Мы проходим оскорбления, туда сюды и все такое, а отсталый является оскорблением?

По сути, да, если высказано без каких-либо оснований. 
В случае, если это диагноз, поставленный врачом, то оскорблением это вряд ли будет считаться ( но со стороны этики все равно осуждается)
Во втором случае попросту такое же оскорбление достоинства другого человека, как ненормативная лексика и т.д.