Поиск дубликатов файлов в локальной сети

[mtit]

CloneSpy. По сети - не знаю как будет работать. Samba-расшаренные папки должна кушать. Я этой прогой под Окнами пользуюсь. Платить не просит.

[mike-y-k]

mtit, уже писал, что по сети любая такая программа должна прочитать все файлы для вынесения вердикта, что может сильно загрузить сеть при многих сотнях гигабайт данных на каждом проверяемом компьютере. Но тут уже хозяину выбирать.

[z3]

Что-то от ТС ничего не слышно. Таки разрешилась проблема или нет. Раздел ведь про распил опыта

Я никуда не потерялся. Просто, читая посты, понимаю, что знаний не хватает. Спасти может только готовая программа. Пытаюсь разобраться с DFDetector. Вам mike-y-k признателен за предложенную помощь.

[mike-y-k]

z3, так стоит попытаться внести ясность в задачу.
Разово или постоянно.
Общий объём накопителей.
Количество компьютеров.
Скорость в сети.
Загрузка сети.

А поиск дубликатов например и в cсleaner имеется (плюс к другим полезностям). Правда сейчас не могу сказать как там насчёт сети, но на подключённых дисках/папках можно было. А поскольку программа заточена под мониторинг - после первого запуска ресурсов кушает пропорционально объёму новых и изменённых файлов.

[z3]

z3, так стоит попытаться внести ясность в задачу.

Разово или постоянно. Разово, но компы могут быть заменены
Общий объём накопителей. Варьируется, но в пределах до 10 ТБ
Количество компьютеров. от 2 до 5
Скорость в сети. до 100 Мегабит/с
Загрузка сети. от 0 до 50%

[mike-y-k]

Для такого лучше таки поднять что-то в качестве сервера (скрипты для приёма данных в базу и обработки), а на остальных по расписанию и при загрузке гонять скрипт сбора информации и передачи на сервер.
Слова сервер не надо пугаться - утрировано это просто один компьютер, который выполняет запросы от остальных. Даже расшаренная папка - уже файловый сервер для остальных, кто ее использует.
Слова база тоже не стоит бояться - это почти самый простой компонент всей такой системы.
При таком подходе сильно проще с правами доступа и настройкой работы при появлении новых субъектов в сети.

Если таки готовой программой.
10Tb прочитать при 100Mbit сетке вполне можно, только скорость сети до 10-20Mbit и ниже будет падать периодически, процесс продлится на таком объёме данных порядка суток минимум. При этом сеть будет еле шевелиться - разве только интернет ещё сможет работать. Ну и компьютер с программой в это время лучше совсем не трогать - и ввод-вывод и процессор будут весьма загружены. Плюс весьма немалый объём ручной настройки доступа и самой программы.
Ну и вишенкой - необходимость при таком сканировании повторять операцию абсолютно для всех участников нового сообщества.

При использовании скрипта для сбора данных на каждой машине отдельно - время операции сократится значительно - и ввод-вывод побыстрее и файлов в разах поменьше. Останется только загрузка процессора , но тут ее можно ограничить приоритетом задачи.
Формально такая задача в некоторой части - почти работа файлового антивируса.
При грамотной работе скрипта - заметная нагрузка будет только при первом запуске и массовом обновлении/добавлении файлов.
Естественно в настройках и алгоритме работы нужно будет исключить некоторые области - temp, Windows, системные в папке с пользователями,… - только пользовательские данные. Хотя, учитывая квалификацию пользователей, их проверять тоже стоит, но только на пользовательские файлы (в первом приближении). Тут есть и как, и куда улучшать алгоритм в дальнейшем .

PS При распределённый обработке можно проверку вести хоть каждый час - никто и не заметит ее практически .

[Клон]

mtit, уже писал, что по сети любая такая программа должна прочитать все файлы для вынесения вердикта, что может сильно загрузить сеть при многих сотнях гигабайт данных на каждом проверяемом компьютере. Но тут уже хозяину выбирать.

Привлекательность программы - в её простоте. Да, совершенно нет автоматизации. Если 10 Тб молотить, то оптимальнее будет ручками. На первом компьютере запустить программу, создать базу данных контрольных сумм. (Прога это умеет). На втором компьютере сравниваем наличные файлы с уже готовой базой данной (которую можно и по сети расшарить или перенести на второй комп). Минус - два раза запускать программу. Плюс - сеть не загружена, и два компа заняты программой не одновременно. Хотя у проги есть и настройка приоритета выполнения. При не самых жёстких настройках за компом вполне можно и по интернету сёрфить, пока прога работает.

[mike-y-k]

Клон, неплохо, но с большими оговорками.
Первая ошибка - предположение о статичности набора файлов на компьютере. А тут уже периодичность запуска.
Вторая ошибка - вера в память и старание исполнителя. Ну не будет он ее запускать даже второй раз по множеству ему только известных причин.
Итого получается формальная отмазка - типа оно есть и даже можно что-то сделать, но к результату это не сильно относится.

Даже дома в сети эта проблема имеется с дополнениями по обслуживанию внешних накопителей - только скриптами, по событиям и расписанию. Тогда есть и смысл и результат. А общий объём за 10Tb давно уже выполз. И там ещё и анализ фотографий сейчас прикручиваю. Типа сравнение двух кадров из которых один после устранения эффекта красных глаз сохранен. Тут контрольная сумма уже не поможет. Хорошо если ещё EXIF не покорёжен при сохранении. Пока с ним. AI уже на следующем этапе.

И кстати даже 10Gb документов ручками уже сильно тоскливо .

[Клон]

А есть ещё прикол (раз уж фотографии вспомнили) Майкрософтовские программы при просмотре фотографий содержимое файла меняют. Время - не изменилось, размер - не изменился, содержимое (то что на экране показывается) - не изменилось. Содержимое файла (двоичный код) - изменился. Побитное сравнение не катит уже. Причём ни настроек у программы нет, чтоб эту гадость отключить, ни запроса на перезапись не выдаётся. Не знаю - может сейчас уже исправили. Во времена ХРюши в стандартном наборе программ ОСи такая бяка была. Что самое удивительное - сам страдаю, но никогда жалоб в интернете об этом не видел. Неужели всем пофиг?

[mike-y-k]

Клон, ну гадости от MS ко мне вроде не долетают - не пользуюсь ;(.
Слышал про это, но вживую не встречал, даже предполагать не буду что там могло быть.
Хотя XP есть в наличии - попробую проверить , может что-то и прояснится.