<p>Дедупликация – это технология, ориентируемая на исключения избыточности в наборах<br /> данных путем замены повторяющихся данных ссылками на уже существующие данные,<br /> обеспечивая, таким образом, сокращение хранимой на носителе информации. Эту<br /> технологию используют преимущественно в области резервного копирования по причине<br /> наличия большой избыточности в данных резервных копий. Важной задачей при реализации<br /> дедупликации является задача верификации блоков. Исторически сложилось, что<br /> большинство реализаций данной технологии имеют в основе хешевую концепцию,<br /> подразумевающую верификацию с использованием хеш-суммы блока. Данная концепция<br /> предполагает достаточно большие дополнительные расходы на хранение хеш-структур<br /> (связка хеш-суммы блока со ссылкой на блок), например для хранения только хеш-структур в<br /> памяти для 1 ТБ дедуплицированных данных понадобится 40 ГБ, при использовании<br /> алгоритма хеширования MD5, с размером ссылки на блок 8 Б и размером блока в 1 кБ.<br /> Проблема создания менее ресурсозатратной системы дедупликации крайне актуальна ввиду<br /> постоянного увеличения объемов хранящихся данных.<br /> Целью работы стала разработка и исследование модуля верификации блоков в системе<br /> безхешевой дедупликации.</p>