Якість даних у масштабі: дедуплікація, фільтрація, змішування
Коротко: За дуже великих навчальних даних якість важлива не менше за розмір. Три кроки дають найбільше: видалити дублікати, відфільтрувати погане й свідомо обрати суміш джерел.
Дедуплікація
Вебтекст містить багато повторів: копії…