For searching through files I always end up using grep with a number of options. Because I don’t like typing the grep command and all its options over and over, I decided to create a bash file.
Grep recursive search
Adding a cronjob from a bash script
A quick tip this time about adding a cronjob from a bash script.
Every webproject I’m developing on has it’s own virtualhost in the Apache configuration and has a default project setup. Instead of configuring everything manually I’ve created a bash script which handles everything for me. Because I’m testing a lot (manually and automatically) on this project I wanted to flush the logs every week. As always there were some exceptions for projects for which I wanted to keep the logs a bit longer, so I decided to give every project it’s own cronjob entry for this. This enables me to disable the log flush for some projects.
So I wanted to add a cronjob from this bash script.
BASH: grootte van een directorie
In Windows gaat het gemakkelijk, rechtsklikken op een map en dan naar “Eigenschappen” en de grootte van de folder wordt dan direct berekend en getoond.
Gelukkig gaat het ook in unix gemakkelijk. Om de grootte van een folder te achterhalen vanuit de shell kan namelijk het volgende commando worden gebruikt:
du -sh /folder
Dit commando is als volgt opgebouwd:
Mass renamen bestanden in unix
Het hernoemen van meer dan 1 bestand kan handmatig de nodige tijd kosten, daarom ben ik op zoek gegaan naar een tool waarmee ik via de command line van unix meerdere bestanden (al dan niet aan de hand van patronen) kan hernoemen.
Zoals al vaker is gebleken, zijn onder unix veelal prachtige en vaak eenvoudig werkende tools beschikbaar. Dit keer bleek mmv precies te doen wat ik wil. Deze tool wordt omschreven als:
mmv is a mass move/copy/renaming tool that uses standard wildcards to perform its functions
Tijd om eens naar deze tool te gaan kijken.
Vinden van dubbele bestanden
Voor het vinden van dubbele bestanden wou ik voorheen nog wel eens een Windows tool gebruiken, maar ik heb nu een linux CLI tool ontdekt die precies doet wat ik wil.
De tool is genaamd fdupes. Om te vertellen wat dit zo ongeveer doet, een quote van Wikipedia:
fdupes is a program written by Adrian Lopez to scan directories for duplicate files, with options to list, delete or replace the files with hardlinks pointing to the duplicate. It first compares file sizes and MD5 signatures, and then performs a byte-by-byte check for verification
Fdupes is bijzonder snel in het vinden van dubbele bestanden, er kan binnen meerdere directories worden gezocht en zelfs delete suggesties gegeven worden. Hieronder een korte introductie in het gebruik van fdupes.
BASH: backup incrementeel met uitzonderingen
Naar aanleiding van de incrementele backup viel mij op dat ook access logs van de virtuele hosts worden meegenomen in de backup. Dat is niet direct iets wat wenselijk is (die neem ik wel mee in de wekelijkse volledige backup), dus ben ik op zoek gegaan naar een manier om deze uit te sluiten.
Er zijn een aantal oplossingen voor, bijvoorbeeld grep met de -v parameter waarmee de werking van grep om te draaien is (filteren i.p.v. zoeken).
Zie de manpage van grep
Echter heeft find hiervoor zelf al geschikte functionaliteit. De eerdere incrementele backup heb ik aangepast met:
find /data/xxx -mtime -1 -type f -not -name "*.log"
Uiteraard is dit ook uit te breiden met -name [pattern] om files die matchen in de lijst te laten of met een extra -not -name [pattern] om nog meer files eruit te filteren.
Zie de manpage van find voor meer mogelijkheden.