Балансировщик нагрузки (load balancer)

Коротко: Балансировщик нагрузки распределяет входящие запросы по нескольким серверам, чтобы ни один не перегружался и служба продолжала работать при отказе одного сервера.

Подробнее: Он регулярно проверяет, здоровы ли серверы (проверки работоспособности), и отправляет запросы только рабочим. Методы: round robin, наименьшее число соединений и хеш по IP клиента.