Делимся опытом Наступив на грабли - сообщи другим! Обмен опытом разработки и ремонта электронных устройств. |
26.12.2017, 21:40
|
|
Почётный гражданин KAZUS.RU
Регистрация: 21.03.2007
Адрес: М.(осква)
Сообщений: 4,262
Сказал спасибо: 2,114
Сказали Спасибо 1,718 раз(а) в 973 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
CloneSpy. По сети - не знаю как будет работать. Samba-расшаренные папки должна кушать. Я этой прогой под Окнами пользуюсь. Платить не просит.
__________________
+ 7 903 641 87 25// 1. Иногда отвечаю "по памяти" 2. Часто заблуждаюсь >> Критикуйте, не обижусь.
|
|
|
|
27.12.2017, 05:13
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
mtit, уже писал, что по сети любая такая программа должна прочитать все файлы для вынесения вердикта, что может сильно загрузить сеть при многих сотнях гигабайт данных на каждом проверяемом компьютере. Но тут уже хозяину выбирать.
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
|
|
|
|
28.12.2017, 13:39
|
|
Гражданин KAZUS.RU
Регистрация: 03.07.2007
Адрес: Ленинградская область
Сообщений: 500
Сказал спасибо: 60
Сказали Спасибо 38 раз(а) в 27 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Сообщение от mike-y-k
|
Что-то от ТС ничего не слышно. Таки разрешилась проблема или нет. Раздел ведь про распил опыта
|
Я никуда не потерялся. Просто, читая посты, понимаю, что знаний не хватает. Спасти может только готовая программа. Пытаюсь разобраться с DFDetector. Вам mike-y-k признателен за предложенную помощь.
|
|
|
|
28.12.2017, 14:02
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
z3, так стоит попытаться внести ясность в задачу.
Разово или постоянно.
Общий объём накопителей.
Количество компьютеров.
Скорость в сети.
Загрузка сети.
А поиск дубликатов например и в cсleaner имеется (плюс к другим полезностям). Правда сейчас не могу сказать как там насчёт сети, но на подключённых дисках/папках можно было. А поскольку программа заточена под мониторинг - после первого запуска ресурсов кушает пропорционально объёму новых и изменённых файлов.
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
Последний раз редактировалось mike-y-k; 29.12.2017 в 02:20.
|
|
|
|
28.12.2017, 16:38
|
|
Гражданин KAZUS.RU
Регистрация: 03.07.2007
Адрес: Ленинградская область
Сообщений: 500
Сказал спасибо: 60
Сказали Спасибо 38 раз(а) в 27 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Сообщение от mike-y-k
|
z3, так стоит попытаться внести ясность в задачу.
|
Разово или постоянно. Разово, но компы могут быть заменены
Общий объём накопителей. Варьируется, но в пределах до 10 ТБ
Количество компьютеров. от 2 до 5
Скорость в сети. до 100 Мегабит/с
Загрузка сети. от 0 до 50%
|
|
|
|
29.12.2017, 02:16
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Для такого лучше таки поднять что-то в качестве сервера (скрипты для приёма данных в базу и обработки), а на остальных по расписанию и при загрузке гонять скрипт сбора информации и передачи на сервер.
Слова сервер не надо пугаться - утрировано это просто один компьютер, который выполняет запросы от остальных. Даже расшаренная папка - уже файловый сервер для остальных, кто ее использует.
Слова база тоже не стоит бояться - это почти самый простой компонент всей такой системы.
При таком подходе сильно проще с правами доступа и настройкой работы при появлении новых субъектов в сети.
Если таки готовой программой.
10Tb прочитать при 100Mbit сетке вполне можно, только скорость сети до 10-20Mbit и ниже будет падать периодически, процесс продлится на таком объёме данных порядка суток минимум. При этом сеть будет еле шевелиться - разве только интернет ещё сможет работать. Ну и компьютер с программой в это время лучше совсем не трогать - и ввод-вывод и процессор будут весьма загружены. Плюс весьма немалый объём ручной настройки доступа и самой программы.
Ну и вишенкой - необходимость при таком сканировании повторять операцию абсолютно для всех участников нового сообщества.
При использовании скрипта для сбора данных на каждой машине отдельно - время операции сократится значительно - и ввод-вывод побыстрее и файлов в разах поменьше. Останется только загрузка процессора , но тут ее можно ограничить приоритетом задачи.
Формально такая задача в некоторой части - почти работа файлового антивируса.
При грамотной работе скрипта - заметная нагрузка будет только при первом запуске и массовом обновлении/добавлении файлов.
Естественно в настройках и алгоритме работы нужно будет исключить некоторые области - temp, Windows, системные в папке с пользователями,… - только пользовательские данные. Хотя, учитывая квалификацию пользователей, их проверять тоже стоит, но только на пользовательские файлы (в первом приближении). Тут есть и как, и куда улучшать алгоритм в дальнейшем ![Прикольно](images/smilies/icon_wink3.gif) .
PS При распределённый обработке можно проверку вести хоть каждый час - никто и не заметит ее практически ![Прикольно](images/smilies/icon_wink3.gif) .
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
Последний раз редактировалось mike-y-k; 29.12.2017 в 02:30.
|
|
|
|
17.01.2018, 13:43
|
|
Временная регистрация
Регистрация: 19.10.2017
Сообщений: 59
Сказал спасибо: 29
Сказали Спасибо 14 раз(а) в 7 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Сообщение от mike-y-k
|
mtit, уже писал, что по сети любая такая программа должна прочитать все файлы для вынесения вердикта, что может сильно загрузить сеть при многих сотнях гигабайт данных на каждом проверяемом компьютере. Но тут уже хозяину выбирать.
|
Привлекательность программы - в её простоте. Да, совершенно нет автоматизации. Если 10 Тб молотить, то оптимальнее будет ручками. На первом компьютере запустить программу, создать базу данных контрольных сумм. (Прога это умеет). На втором компьютере сравниваем наличные файлы с уже готовой базой данной (которую можно и по сети расшарить или перенести на второй комп). Минус - два раза запускать программу. Плюс - сеть не загружена, и два компа заняты программой не одновременно. Хотя у проги есть и настройка приоритета выполнения. При не самых жёстких настройках за компом вполне можно и по интернету сёрфить, пока прога работает.
|
|
|
|
17.01.2018, 19:33
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Клон, неплохо, но с большими оговорками.
Первая ошибка - предположение о статичности набора файлов на компьютере. А тут уже периодичность запуска.
Вторая ошибка - вера в память и старание исполнителя. Ну не будет он ее запускать даже второй раз по множеству ему только известных причин.
Итого получается формальная отмазка - типа оно есть и даже можно что-то сделать, но к результату это не сильно относится.
Даже дома в сети эта проблема имеется с дополнениями по обслуживанию внешних накопителей - только скриптами, по событиям и расписанию. Тогда есть и смысл и результат. А общий объём за 10Tb давно уже выполз. И там ещё и анализ фотографий сейчас прикручиваю. Типа сравнение двух кадров из которых один после устранения эффекта красных глаз сохранен. Тут контрольная сумма уже не поможет. Хорошо если ещё EXIF не покорёжен при сохранении. Пока с ним. AI уже на следующем этапе.
И кстати даже 10Gb документов ручками уже сильно тоскливо ![Прикольно](images/smilies/icon_wink3.gif) .
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
|
|
|
|
17.01.2018, 20:19
|
|
Временная регистрация
Регистрация: 19.10.2017
Сообщений: 59
Сказал спасибо: 29
Сказали Спасибо 14 раз(а) в 7 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
А есть ещё прикол (раз уж фотографии вспомнили) Майкрософтовские программы при просмотре фотографий содержимое файла меняют. Время - не изменилось, размер - не изменился, содержимое (то что на экране показывается) - не изменилось. Содержимое файла (двоичный код) - изменился. Побитное сравнение не катит уже. Причём ни настроек у программы нет, чтоб эту гадость отключить, ни запроса на перезапись не выдаётся. Не знаю - может сейчас уже исправили. Во времена ХРюши в стандартном наборе программ ОСи такая бяка была. Что самое удивительное - сам страдаю, но никогда жалоб в интернете об этом не видел. Неужели всем пофиг?
|
|
|
|
17.01.2018, 23:44
|
|
Модератор
Регистрация: 04.08.2010
Адрес: Москва СЗАО
Сообщений: 11,254
Сказал спасибо: 11,168
Сказали Спасибо 3,858 раз(а) в 2,928 сообщении(ях)
|
Re: Поиск дубликатов файлов в локальной сети
Клон, ну гадости от MS ко мне вроде не долетают - не пользуюсь ;(.
Слышал про это, но вживую не встречал, даже предполагать не буду что там могло быть.
Хотя XP есть в наличии - попробую проверить ![Прикольно](images/smilies/icon_wink3.gif) , может что-то и прояснится.
__________________
rtfm forever должно быть основой для каждого. Альтернатива грустна, поскольку метод слепого щенка успешно работает при весьма малом числе вариантов…
|
|
|
|
Ваши права в разделе
|
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения
HTML код Выкл.
|
|
|
Часовой пояс GMT +4, время: 18:17.
|
|