Find duplicate files on linux server

find -not -empty -type f -printf “%s\n” | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate


OR 


fdupes -r ./folder > duplicates_list.txt

Comments

Post a Comment

Popular posts from this blog

Using Debian on linksys NAS-200

NAS200 is 486 (x86) architecture so for us building i386 debian is perfect. first i build debian base system on my laptop with this #debootstrap --arch i386 etch /tmp/debian http://ftp.de.debian.org/ debian wait a while - you will have a time for cup of cofee next thing to do is to tar /tmp/debian with #tar -cvvf debian.tar /tmp/debian then download this firmware http://www.goudsm.it/ nas200 / NAS200_V34R62jac0.bin and uprade your NAS 200 then restart it Now you have XFS support so you can upload files larger than 2GB ( imposiible on fat 16 [the fs used on nas 200 ]) You will need XFS because it is imposiible to install your debian ot FAT .(no sumbolik liks, and no user permissions ) Now   go to your web interface and format the hard drive using XFS. Then login using ftp and upload debian.tar somewhere on the hard disk . for me it is /debian  folder i created a user called debian , and uploadet debian.tar in his directory so now i can be sure that...
Read more

Малко за мъката по светът.

Преди два дни ми се наложи да се прибера у дома в работно време за да свърша нещо ..... и както си препсувах на ум съдбата за този безсмислен акт  (причинил това разкарване)  водещ основно до загуба на време , се замислих , че  всичко трябва да става с причина, просто аз още не я виждах. Вървейки от кръстовището на Каблешков и б.България ( София ) към квартирата ме спря една възрастна жена. облечена в черно , с тъжно изражение на лицето . Извини ми се , и точно преди да каже очакваното от мен "бабе дай 50 стотинки" се разплака , но на истина . Не беше  фалшиво . В гласът и се усещаше ,че не може да сдържи сълзите си . Усещаше се бушуващата в нея смес от чувства : срам, болка , гордост. Като последната преглъщаше доста тежко . Не беше от тези които сме свикнали да гледаме по улиците , изкарващи прехраната си с "префесионална" просия . Тя с нищо не се отличаваше от хората като мен и вас . Веднага разбрах , че има нужда от пари , просто не исках да ги извадя ...
Read more