Балансировка нагрузки (load balancing)
Коротко: Распределение входящих запросов между несколькими серверами, чтобы ни один сервер не был перегружен и общая нагрузка несла равномерно.
Подробнее: Балансировщик нагрузки логически стоит перед группой серверов и по стратегии (например, round robin, наименьшая текущая нагрузка или маршрутизация anycast) решает, какой сервер обработает конкретный запрос. Повышает как производительность (распараллеливание), так и устойчивость (если один сервер выходит из строя, остальные его заменяют).
Подробности
Балансировщики работают на разных уровнях OSI, у каждого свои плюсы и минусы: балансировщик уровня 4 решает только по IP-адресу и порту (быстро, но «слеп» к содержимому соединения), а балансировщик уровня 7 может смотреть, например, на URL или cookie.
См. также: Anycast, маршрутизатор