Разработчик ИИ-модели Claude тайно скупал и уничтожал миллионы книг

Об утекших судебных документах рассказал The Guardian.

Как пишет издание, внутренние памятки руководства требовали строжайшей секретности, поскольку уничтожение книг могло обернуться репутационными рисками. Сам процесс на складах выглядел так: у книг срезали корешки, прогоняли страницы через скоростные промышленные сканеры, а бумагу отправляли на переработку. Таким образом машины уничтожали до 11 тыс. томов в день.

У этой операции есть две практические причины. Первая — деградация качества данных в интернете. Из-за наплыва сгенерированного контента в Сети новые модели нейросетей начинают глупеть при обучении. Печатные книги, изданные до 2023 года, остаются надежным источником отредактированного людьми языка, который учит роботов писать грамотно.

Вторая причина — юридическая. Ранее Anthropic уже получил коллективный иск от авторов за использование пиратских электронных библиотек. Юристы нашли выход: по закону, если компания покупает бумажную книгу в магазине, сканирует ее для личного пользования и утилизирует, это подпадает под правило «добросовестного использования». Купить миллионы физических книг оказалось дешевле, чем платить штрафы.

Изначально компания заказывала обычные подержанные учебники и романы. Однако нанятые посредники в погоне за нужными объемами начали скупать книги у мелких европейских букинистов. Из-за этого под промышленные ножи перекупщиков вместе с массовой литературой могли попасть редкие, малотиражные и давно не переиздававшиеся издания.