Поиск дубликатов файлов в локальной сети

[z3]

Есть несколько компов объединённых в локальную сеть без доступа в интернет. Для очистки от дубликатов файлов нужна программа поиска таких файлов с возможностью просмотра и удаления дубликата на всех компах, помогите решить проблему.https://kazus.ru/forums/images/smilies/icon_redface.gif

[mike-y-k]

Вариантов достаточно.
Собственно при номинальных занаиях вполне просто и быстро пишется скрипт сбора данных на каждом из компьютеров: ‹имя компьютера›:‹"Полный путь и имя файла"›:длина файла в байтах:контрольная сумма MD5:контрольная сумма SHA256
Дальше просто выборка из семейства полученных списков по совпадению значений двух последних колонок. Результат - списки совпадения.
Язык скрипта абсолютно любой, хотя на всякий случай лучше известный не только для Windows.
Выполнение сбора данных на локальной машине, а не по сети сильно сэкономит на трафике, поскольку для получения результата придётся перекачать по сети все проверяемые файлы .

PS В собираемые данные стоит добавить даты и время - создан:обращение:модифицирован. Желательно в UTC с правильной интерпретацией результата для каждого компьютера.

[z3]

Собственно при номинальных занаиях

К сожалению вот этих номинальных знаний нет. Мне бы ссылочку на готовую программу. Интернет по-такому обращению молчит.

[zoog]

DFDetector пробуйте, умеет сетевые диски подключать.
вроде тут брал, но у меня в 5,0, там только близкие находятся

[mike-y-k]

zoog, при паре-тройке компьютеров ещё может сработать. На сетке уже из 4-5 штук начнутся проблемы с доступной полосой сети для работы. Плюс считывание всех файлов со всех компьютеров по сети на один не сильно быстрое удовольствие .
Учитывая тенденцию к росту объёма дискового пространства - сканер должен работать локально, а потом отдельно выполняется обработка накопленного результата. Этот процесс потом может идти в фоне, практически незаметно для пользователя. И дубликаты файлов канут в лету.
Можно потом ещё добавить в алгоритм операции с именами и датами файлов (создание, обращение, модификация) для отслеживания не только дубликатов но и последних версий одноименных файлов.

[eddy]

Я делал простенький скрипт на баше, который составлял БД в sqlite (имя файла - размер - контрольная сумма), потом искал одинаковые по размеру и проверял контрольные суммы.
Для локалки можно такие штуки в виде демона по ночам на каждом компе запускать и хранить на всех свои БД, потом останется просто слить N баз воедино и искать дубликаты.

[psa07]

У меня задача была попроще: подмапленное сетевое хранилище сравнивал с локальным (внешним) диском. Использовал DupKiller. Ищет сначала небыстро, но тщательно. Список найденных дубликатов сохраняется для последующих сеансов.

[mike-y-k]

eddy, так тут сам бог велел zabbix поднять . А скрипты для универсальности (Windows forever для многих) лучше таки на perl/Python/php/tcl/tk/… писать.
shell - выбор для одного семейства .

[eddy]

сам бог велел zabbix поднять

ХЗ, что это, мне задача ТСа чужда. Смысл дубликаты на куче компов искать, если можно "облако" поднять?

shell - выбор для одного семейства

Единственно верного. Так сказать, кошерно-халяльного. А вантузятники пусть мучаются со своими идиотскими пхытонами…

[mike-y-k]

eddy, если имеется больше одного компьютера в хозяйстве zabbix сильно облегчает процесс контроля их состояния. Агентов для разных типов событий много, они успешно расширяются и дополняются, в том числе и самостоятельно. Все результаты от агентов поступают на сервер, где опять же или стандартно или самостоятельно обрабатываются. Собственно пересказывать содержимое zabbix.com не имеет смысла .
Вполне себе собирается и на других архитектурах (совсем не x86-32/64).