Делимся опытом Наступив на грабли - сообщи другим! Обмен опытом разработки и ремонта электронных устройств. |
24.12.2017, 20:15
|
|
Гражданин KAZUS.RU
Регистрация: 03.07.2007
Адрес: Ленинградская область
Сообщений: 500
Сказал спасибо: 60
Сказали Спасибо 38 раз(а) в 27 сообщении(ях)
|
Поиск дубликатов файлов в локальной сети
Есть несколько компов объединённых в локальную сеть без доступа в интернет. Для очистки от дубликатов файлов нужна программа поиска таких файлов с возможностью просмотра и удаления дубликата на всех компах, помогите решить проблему. https://kazus.ru/forums/images/smilies/icon_redface.gif
Последний раз редактировалось z3; 24.12.2017 в 20:18.
|
|
|
|
24.12.2017, 20:32
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Вариантов достаточно.
Собственно при номинальных занаиях вполне просто и быстро пишется скрипт сбора данных на каждом из компьютеров: ‹имя компьютера›:‹"Полный путь и имя файла"›:длина файла в байтах:контрольная сумма MD5:контрольная сумма SHA256
Дальше просто выборка из семейства полученных списков по совпадению значений двух последних колонок. Результат - списки совпадения.
Язык скрипта абсолютно любой, хотя на всякий случай лучше известный не только для Windows.
Выполнение сбора данных на локальной машине, а не по сети сильно сэкономит на трафике, поскольку для получения результата придётся перекачать по сети все проверяемые файлы ![Прикольно](images/smilies/icon_wink3.gif) .
PS В собираемые данные стоит добавить даты и время - создан:обращение:модифицирован. Желательно в UTC с правильной интерпретацией результата для каждого компьютера.
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
Последний раз редактировалось mike-y-k; 25.12.2017 в 14:10.
|
|
|
|
24.12.2017, 21:50
|
|
Гражданин KAZUS.RU
Регистрация: 03.07.2007
Адрес: Ленинградская область
Сообщений: 500
Сказал спасибо: 60
Сказали Спасибо 38 раз(а) в 27 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Сообщение от mike-y-k
|
Собственно при номинальных занаиях
|
К сожалению вот этих номинальных знаний нет. Мне бы ссылочку на готовую программу. Интернет по-такому обращению молчит.
|
|
|
|
25.12.2017, 08:46
|
|
Почётный гражданин KAZUS.RU
Регистрация: 28.03.2008
Сообщений: 7,925
Сказал спасибо: 896
Сказали Спасибо 1,147 раз(а) в 919 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
DFDetector пробуйте, умеет сетевые диски подключать.
вроде тут брал, но у меня в 5,0, там только близкие находятся
Последний раз редактировалось zoog; 25.12.2017 в 08:51.
|
|
|
|
25.12.2017, 14:07
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
zoog, при паре-тройке компьютеров ещё может сработать. На сетке уже из 4-5 штук начнутся проблемы с доступной полосой сети для работы. Плюс считывание всех файлов со всех компьютеров по сети на один не сильно быстрое удовольствие ![Прикольно](images/smilies/icon_wink3.gif) .
Учитывая тенденцию к росту объёма дискового пространства - сканер должен работать локально, а потом отдельно выполняется обработка накопленного результата. Этот процесс потом может идти в фоне, практически незаметно для пользователя. И дубликаты файлов канут в лету.
Можно потом ещё добавить в алгоритм операции с именами и датами файлов (создание, обращение, модификация) для отслеживания не только дубликатов но и последних версий одноименных файлов.
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
|
|
|
|
25.12.2017, 14:21
|
|
Почётный гражданин KAZUS.RU
Регистрация: 27.01.2005
Адрес: Россия, КЧР, Нижний Архыз
Сообщений: 3,627
Сказал спасибо: 115
Сказали Спасибо 814 раз(а) в 591 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Я делал простенький скрипт на баше, который составлял БД в sqlite (имя файла - размер - контрольная сумма), потом искал одинаковые по размеру и проверял контрольные суммы.
Для локалки можно такие штуки в виде демона по ночам на каждом компе запускать и хранить на всех свои БД, потом останется просто слить N баз воедино и искать дубликаты.
__________________
Союз Советских Социалистических Округов Северной Америки
|
|
|
|
25.12.2017, 15:10
|
|
Прописка
Регистрация: 23.11.2009
Адрес: РФ, Воронеж
Сообщений: 175
Сказал спасибо: 537
Сказали Спасибо 95 раз(а) в 59 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
У меня задача была попроще: подмапленное сетевое хранилище сравнивал с локальным (внешним) диском. Использовал DupKiller. Ищет сначала небыстро, но тщательно. Список найденных дубликатов сохраняется для последующих сеансов.
|
|
|
|
25.12.2017, 16:31
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
eddy, так тут сам бог велел zabbix поднять ![Прикольно](images/smilies/icon_wink3.gif) . А скрипты для универсальности (Windows forever для многих) лучше таки на perl/Python/php/tcl/tk/… писать.
shell - выбор для одного семейства ![Прикольно](images/smilies/icon_wink3.gif) .
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
|
|
|
|
25.12.2017, 17:13
|
|
Почётный гражданин KAZUS.RU
Регистрация: 27.01.2005
Адрес: Россия, КЧР, Нижний Архыз
Сообщений: 3,627
Сказал спасибо: 115
Сказали Спасибо 814 раз(а) в 591 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Сообщение от mike-y-k
|
сам бог велел zabbix поднять
|
ХЗ, что это, мне задача ТСа чужда. Смысл дубликаты на куче компов искать, если можно "облако" поднять?
Сообщение от mike-y-k
|
shell - выбор для одного семейства
|
Единственно верного. Так сказать, кошерно-халяльного. А вантузятники пусть мучаются со своими идиотскими пхытонами…
__________________
Союз Советских Социалистических Округов Северной Америки
|
|
|
|
25.12.2017, 17:40
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
eddy, если имеется больше одного компьютера в хозяйстве zabbix сильно облегчает процесс контроля их состояния. Агентов для разных типов событий много, они успешно расширяются и дополняются, в том числе и самостоятельно. Все результаты от агентов поступают на сервер, где опять же или стандартно или самостоятельно обрабатываются. Собственно пересказывать содержимое zabbix.com не имеет смысла ![Прикольно](images/smilies/icon_wink3.gif) .
Вполне себе собирается и на других архитектурах (совсем не x86-32/64).
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
|
|
|
|
Ваши права в разделе
|
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения
HTML код Выкл.
|
|
|
Часовой пояс GMT +4, время: 16:41.
|
|