Качество данных в масштабе: дедупликация, фильтрация, смешивание
Коротко: При очень больших обучающих данных качество важно не меньше размера. Три шага дают больше всего: удалить дубликаты, отфильтровать плохое и сознательно выбрать смесь источников.
Дедупликация
Веб-текст содержит много повторов: копии…