From jordi.f at ati.es Mon Nov 23 12:15:17 2009 From: jordi.f at ati.es (Jordi Funollet) Date: Mon, 23 Nov 2009 12:15:17 +0100 Subject: [Comandob] rsync per fascicles In-Reply-To: <1258746530.7994.20.camel@dell> References: <200911201759.22698.jordi.f@ati.es> <1258746530.7994.20.camel@dell> Message-ID: <200911231215.18115.jordi.f@ati.es> On Friday 20 November 2009 20:48:50 Ramiro Magallanes wrote: > Norl!xD Anava a dir-te d'utilitzar Unison... Ja veig per on va: segurament no tindria problemes de mem?ria per que fa el llistat de fitxers en disc. Per? 'unison' calcula un hash de cada fitxer, mentre que 'rsync' es limita a mirar la data. Com que la majoria del que he de sincronitzar s?n col?leccions d'audio grosses que canvien poc, es passaria molt m?s temps calculant canvis que copiant-los. -- ############################## ### Jordi Funollet ### http://www.terraquis.net From joan at kopernix.com Mon Nov 23 18:27:33 2009 From: joan at kopernix.com (Kopernix - Joan Puiggali) Date: Mon, 23 Nov 2009 18:27:33 +0100 Subject: [Comandob] rsync per fascicles In-Reply-To: <200911201759.22698.jordi.f@ati.es> References: <200911201759.22698.jordi.f@ati.es> Message-ID: <200911231827.34055.joan@kopernix.com> > He de fer rsync de 12T i menja una mica de mem?ria. El "workaround" cl?ssic > ?s fer un rsync separat per cada subdirectori. Estic a punt de fer-me un > script que miri els subdirectoris que existeixin i vagi llen?ant rsyncs. > Abans de reinventar la roda, a alg? li sona una eina per fer-ho? Tamb? > s'admeten suggeriments d'altres eines. rdiff-backup, lo llevo tatuado justo debajo del tatto de rsync... -- Joan Puiggali Abanades (a.k.a Kopernix) GPG id B20FB54B http://www.kopernix.com ".. Si crees que sabr? responder a tu pregunta, no me la hagas" ~# apt-get moo (__) (++) zzZZZzz /------\/ = ==> ...."Have you mooed tonight?"... From listas at sabueso.org Mon Nov 23 18:47:26 2009 From: listas at sabueso.org (Ramiro Magallanes) Date: Mon, 23 Nov 2009 18:47:26 +0100 Subject: [Comandob] rsync per fascicles In-Reply-To: <200911231827.34055.joan@kopernix.com> References: <200911201759.22698.jordi.f@ati.es> <200911231827.34055.joan@kopernix.com> Message-ID: <1258998446.2598.50.camel@dell> El lun, 23-11-2009 a las 18:27 +0100, Kopernix - Joan Puiggali escribi?: > rdiff-backup, lo llevo tatuado justo debajo del tatto de rsync... Y por encima del de Hello-Kitty ... "To give one arbitrary data point, when I back up my personal HD locally (about 36GB, 530000 files, maybe 500 MB turnover, Athlon 2000, 7200 IDE disks, version 0.12.2) rdiff-backup takes about 15 minutes and is usually CPU bound." Pues ya sabes Fun-o-milk , unos cuantos cuad-cores , unos cuantos discos de estado solido en raid con unas cuantas tarjetas 3ware y con un poco de suerte en una semana tienes tus 12 gigas sincronizados :-* Slds! From joan at kopernix.com Tue Nov 24 00:25:07 2009 From: joan at kopernix.com (Joan Puiggali - Kopernix) Date: Tue, 24 Nov 2009 00:25:07 +0100 Subject: [Comandob] rsync per fascicles Message-ID: > Pues ya sabes Fun-o-milk , unos cuantos cuad-cores , unos cuantos > discos > de estado solido en raid con unas cuantas tarjetas 3ware y con un poco > de suerte en una semana tienes tus 12 gigas sincronizados :-* Cosas hechas con el rsync, en plan secuenciales recorriendo directorios , hay unas cuantas pero casi todo lo que he visto son miniscriptillos que se han ampliado, pero lo que tiene uno, es una carencia de otro... Y terminad con.. Pufff pues le cambio esto, esto otro... ( hablo de la ultima vez que busque hace a?os) Esta pidiendo algo para hacer lo mismo que har?a con.rsync, pero no tener que hacer a mano los scriptillos por lo de reinvertar la rueda... Es decir esta describiendo rdiff-b.. Si es otra herramienta pero desde "fuera" y sin conocer mas detalles no me parece absurdo nombrarlo. Mas cuando tu recomiendas la pastelada del unison (pastelada para eso) Fijo que siendo una sincro unidireccional encontrara opciones en el man para hacer sufrir menos la maquina.... Y de los 12 T, tambi?n ha dicho que son muy pocos los cambios por lo que solo va a ser pesada la primera copia.... Y eso no hay NADA que lo evite. (si se trata de copiar 12 T la primera vez) Quiz? la pregunta no es que herramienta utilizar sino que quiere hacer. Necesita almacenar varia d?as. ... Necesita que se almacene en un sitio remoto.. Es que no se su es para in balanceo de carga o para un backup, pero quiz? hay formas mas l?gicas de hacerlo... A bote pronto tirar directamente de almacenamiento externo (como sea, no hablo ni de tal sistema de ficheros, ni de tal soluci?n iscsi) as? en t?rminos generales almacenar externamente y replicar los datos all?.... No se, raid6.... O igual eso ya lo hacen (12T tiene mucho sentido) Si es para un segundo nivel de redundancia... Como digo, se tendr?a que saber cada cuando se hacen cambios... Y si es totalmente externo, el cuello de botella estar? mas en la red ( tu caso Ramiro es distinto) Pero como digo si cambian tan pocos datos al d?a... Igual rdiffb. No es tan mala soluci?n, contestando a tu observaci?n al respecto. Ramiro, responde con algo ?til... Entiendo que has respondido pensando que cada d?a hay que mover todos los datos... La pr?xima vez, te escuchas un tango y luego respondes. Y no te confundas que yo no doy el Malolent este de la lista. Ah! Y que sepas que la gripe del carro de esputos que te mande, no era tal... me confund? y era el carro de espermiogramas... Sorry From jordi.f at ati.es Tue Nov 24 13:56:49 2009 From: jordi.f at ati.es (Jordi Funollet) Date: Tue, 24 Nov 2009 13:56:49 +0100 Subject: [Comandob] rsync per fascicles In-Reply-To: References: Message-ID: <200911241356.50008.jordi.f@ati.es> ?s un mirror per backup. Les dades actives estan a dues cabines de Coraid muntades amb AoE i les copies va a parar unes altres cabines de Coraid. Ni balanceig de c?rrega, ni bidireccional, ni HA ni res. Ara nom?s necessito una c?pia i actualitzar-la regualrment. De moment no em plantejo fer backups incrementals. Durant una temporada vaig fer servir 'rdiff-backup' pels backups incrementals dels servidors. El punt bo ?s que gasta molt poc espai per guardar els canvis (sols guarda la part del fitxer canviada). La pega ?s que el seu format intern t? tend?ncia a corrompre's si el backup no acaba netament o si la connexi? es talla. El vaig reempla?ar pel 'rsnapshot' (rsync pur i dur). En aquest cas concret, 'rdiff-backup' no m'ajuda per que no necessito incrementals. -- ############################## ### Jordi Funollet ### http://www.terraquis.net