Метка: Дедупликация

За 10 лет клиентские базы наших заказчиков выросли в 100 раз — с десятков до сотен миллионов записей. А у некоторых из них базы насчитывают уже миллиард клиентских записей. Бизнесу понадобился поиск дубликатов, который справляется с такими объемами «на лету».

Например, если сравнить списки физлиц и террористов Росфинмониторинга, компания увидит, кто из ее клиентов оказался в перечне террористов. Обычно люди скрывают такую информацию. А бизнес рискует заплатить штраф за то, что нарушил требования регулятора и провел операцию «спрятавшегося» списочника.

В начале июня мы представили «Антидубликаты» — свежий подход к сокращению «серой зоны». А в этом посте я расскажу, что такое антидубликаты с точки зрения алгоритмов «Единого клиента».

Антидубли — это карточки, которые лежат в «серой зоне» и формально могут описывать одного человека. Теперь по неким признакам «Единый клиент» понимает, что речь идет о разных клиентах, и удаляет записи из «серой зоны».

Допустим, мы придумали хорошие правила поиска дубликатов и обработали по ним данные. Алгоритм дал ответ: карточка A гарантированно похожа на карточку Б. Но что делать дальше?