<div dir="ltr">Hola Javier,<div>no, tengo un bucle en el rc.local que inicia un ctorrent por cada fichero .torrent en /opt/opengnsys/images:</div><div><br></div><div>#!/bin/bash<br>#<br># rc.local<br>#<br># This script is executed at the end of each multiuser runlevel.<br># Make sure that the script will "exit 0" on success or any other<br># value on error.<br>#<br># In order to enable or disable this script just change the execution<br># bits.<br>#<br># By default this script does nothing.<br><br>cd /opt/opengnsys/images/<br>for i in `ls /opt/opengnsys/images/*torrent`;do<br> /usr/bin/ctorrent -e -1 -f -d $i<br>done<br><br>exit 0</div><div><br></div><div>Tras el mail de Miguel he añadido la opcion -f y ya no comprueba la imagen de cada torrent, con lo que es inmediato.</div><div><br></div><div>Saludos,</div><div>Pep.<br><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><pre cols="80">--
O O O Universitat Politecnica de Catalunya
O O O BarcelonaTECH
O O O ------------------------------------
U P C Facultat de Matematiques i Estadistica
Pau Gargallo, 14 - 08028 Barcelona
Pep Ciuraneta Sanchez
Serveis TIC
<a href="mailto:josep.ciuraneta@upc.edu" target="_blank">josep.ciuraneta@upc.edu</a>
Tel. 934015853
AVIS DE CONFIDENCIALITAT:
Aquest missatge pot contenir informacio confidencial o legalment protegida i esta exclusivament adrecat a la persona o entitat destinataria. Si no sou el destinatari final o persona encarregada de recollir-lo, no esteu autoritzat a llegir-lo, retenir-lo, modificar-lo, distribuir-lo, copiar-lo ni a revelar el seu contingut. Si heu rebut aquest missatge per error, us preguem que informeu al remitent i elimineu del vostre sistema el missatge i el material annex que pugui contenir. Gracies per la vostra col.laboracio.
Abans d'imprimir aquest correu, penseu si es necessari.</pre></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Missatge de Javier Sánchez Parra <<a href="mailto:jsanchez@soleta.eu">jsanchez@soleta.eu</a>> del dia dl., 12 de jul. 2021 a les 12:16:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">No hay problema.<br>
<br>
Una duda sobre el script, entiendo que tenéis varias líneas de "ctorrent ...", una por cada imagen que queréis compartir por torrent. ¿No?<br>
<br>
¡Un saludo!<br>
<br>
On 7/12/21 12:00 PM, Pep Ciuraneta Sanchez wrote:<br>
> Hola Javier,<br>
> <br>
> Usamos torrent porque el multicast no nos funciona y unicast no es factible cuando quieres hacer un deploy en aulas de varios equipos. Hasta ahora el torrent "funcionaba", es decir que iba tirando hasta que aleatoriamente los clientes petaban. Como esto lo hemos solucionado con el cambio de bittornado por ctorrent ganando muchisimo rendimiento por el camino lo vamos a dejar así.<br>
> <br>
> No vamos a integrarlo con OpenGnSys, al menos de momento. Simplemente es un script al inicio de la maquina que lanza los ctorrent y ya esta. Muy ad-hoc, pero funciona.<br>
> <br>
> Sobre el cambio a 1.2.0 lo haremos, claro está, más adelante durante este año, cuando haya menos carga de trabajo y podamos probarlo extensivamente.<br>
> <br>
> Saludos,<br>
> Pep.<br>
> <br>
> -- <br>
> O O O Universitat Politecnica de Catalunya<br>
> O O O BarcelonaTECH<br>
> O O O ------------------------------------<br>
> U P C Facultat de Matematiques i Estadistica<br>
> Pau Gargallo, 14 - 08028 Barcelona<br>
> <br>
> Pep Ciuraneta Sanchez<br>
> Serveis TIC<br>
> <a href="mailto:josep.ciuraneta@upc.edu" target="_blank">josep.ciuraneta@upc.edu</a> <mailto:<a href="mailto:josep.ciuraneta@upc.edu" target="_blank">josep.ciuraneta@upc.edu</a>><br>
> Tel. 934015853<br>
> <br>
> AVIS DE CONFIDENCIALITAT:<br>
> Aquest missatge pot contenir informacio confidencial o legalment protegida i esta exclusivament adrecat a la persona o entitat destinataria. Si no sou el destinatari final o persona encarregada de recollir-lo, no esteu autoritzat a llegir-lo, retenir-lo, modificar-lo, distribuir-lo, copiar-lo ni a revelar el seu contingut. Si heu rebut aquest missatge per error, us preguem que informeu al remitent i elimineu del vostre sistema el missatge i el material annex que pugui contenir. Gracies per la vostra col.laboracio.<br>
> <br>
> Abans d'imprimir aquest correu, penseu si es necessari.<br>
> <br>
> <br>
> <br>
> Missatge de Javier Sánchez Parra <<a href="mailto:jsanchez@soleta.eu" target="_blank">jsanchez@soleta.eu</a> <mailto:<a href="mailto:jsanchez@soleta.eu" target="_blank">jsanchez@soleta.eu</a>>> del dia dl., 12 de jul. 2021 a les 8:59:<br>
> <br>
> Buenas, Pep.<br>
> <br>
> Nosotros no disponemos de ningún despliegue con torrent hasta la<br>
> fecha, empleamos multicast. Entendemos que la elección de torrent es<br>
> que hay alguna limitación en la red, por lo que preferís un solución<br>
> unicast.<br>
> <br>
> En cualquier caso, si pudierais integrarlo con OpenGnsys y compartir<br>
> esos cambios para usar ctorrent, la comunidad podría evaluarlo y,<br>
> quizás, unirlos en algún momento.<br>
> <br>
> Sobre la idea de permanecer en 1.1.0, no te lo recomendamos, pues<br>
> 1.2.0 tiene un muchas de mejoras en general en la infraestructura.<br>
> Si mantenemos el ritmo de desarrollo de los últimos dos años, si os<br>
> quedáis atrás, migrar de 1.1.0 a lo que venga después probablemente os<br>
> cueste bastante esfuerzo.<br>
> <br>
> ¡Gracias por compartir vuestra solución! ¡Un saludo!<br>
> <br>
> On 7/9/21 6:21 PM, Pep Ciuraneta Sanchez wrote:<br>
> > Hola Miguel,<br>
> ><br>
> > Te explico, nosotros empezamos haciendo pruebas con 1.2.0 para ver si solucionabamos unos problemas con el torrent (no aprovechamiento del ancho de banda, falta de fiabilidad con muchos errores segmentation fault en clientes) y al ver que con 1.2.0 nos pasaba lo mismo hemos cambiado el programa que se encarga de hacer el seed. Seguimos con 1.1.0 de momento. Esto lo hemos hecho tras hacer pruebas esta misma semana.<br>
> ><br>
> > En lugar de usar el bittornado hemos optado por lanzar un ctorrent por cada fichero torrent. Esto tiene su inconveniente, pero desde entonces el ancho de banda se aprovecha algo mejor y los errores se han minimizado muchísimo. De momento lo vamos a dejar así. En concreto lo lanzamos así para cada fichero (simplificado)<br>
> ><br>
> > # cd /opt/opengnsys/images<br>
> > # ctorrent -e -1 -d nombre_fichero_img.torrent<br>
> ><br>
> > Yo creo que esto es extrapolable a la versión 1.2.0. El hecho de usar ctorrent en lugar de bittornado funciona bastante mejor, pero tiene la pega que cada vez que se inicia se comprueba el fichero a compartir y eso puede ser costoso en tiempo y depende de la velocidad acceso de disco.<br>
> ><br>
> > Hemos aprovechado este final de curso para hacer multiples pruebas y el poder aprovechar la red a 1Gbps da bastante alegria.<br>
> ><br>
> > Consejos para subir la velocidad en descarga por torrent:<br>
> ><br>
> > 1.- si es posible, tener los ficheros imagen en disco SSD<br>
> > 2.- tener algun seeder extra. No hace falta que sea un REPO, simplemente una máquina de backup donde tener los ficheros imagen y los torrent.<br>
> > 3.- si los equipos destino tienen disco SSD comprobar que las particiones esten alineadas. Esto es muy importante.<br>
> > 4.- Realizar un procedimiento para hacer que las aulas o equipos que tengan la imagen puedan hacer de seeders. Basicamente es lanzar un ctorrent y esperar al chequeo de cada imagen, pero esto ayuda mucho a subir la velocidad de descarga. Esto equivale a multiplicar el consejo 2 por el numero de máquinas en las que se ejecute el procedimiento. Por ejemplo, se puede descargar primero en el aula donde sea más rapido el despliegue y luego añadir sus equipos como seeders para acelerar al resto.<br>
> > 5.- Tener REPOS repartidos por diferentes tramos de la red. Esto depende de la infraestructura de cada uno.<br>
> ><br>
> > Miguel, Perdona el ladrillo, al final me ha salido algo largo. En resumen, prueba de cambiar el bittornado por un script que te lance los ctorrent (en el mismo rc.local) y a ver que tal.<br>
> ><br>
> > Saludos,<br>
> > Pep.<br>
> ><br>
> > --<br>
> > O O O Universitat Politecnica de Catalunya<br>
> > O O O BarcelonaTECH<br>
> > O O O ------------------------------------<br>
> > U P C Facultat de Matematiques i Estadistica<br>
> > Pau Gargallo, 14 - 08028 Barcelona<br>
> ><br>
> > Pep Ciuraneta Sanchez<br>
> > Serveis TIC<br>
> > <a href="mailto:josep.ciuraneta@upc.edu" target="_blank">josep.ciuraneta@upc.edu</a> <mailto:<a href="mailto:josep.ciuraneta@upc.edu" target="_blank">josep.ciuraneta@upc.edu</a>> <mailto:<a href="mailto:josep.ciuraneta@upc.edu" target="_blank">josep.ciuraneta@upc.edu</a> <mailto:<a href="mailto:josep.ciuraneta@upc.edu" target="_blank">josep.ciuraneta@upc.edu</a>>><br>
> > Tel. 934015853<br>
> ><br>
> > AVIS DE CONFIDENCIALITAT:<br>
> > Aquest missatge pot contenir informacio confidencial o legalment protegida i esta exclusivament adrecat a la persona o entitat destinataria. Si no sou el destinatari final o persona encarregada de recollir-lo, no esteu autoritzat a llegir-lo, retenir-lo, modificar-lo, distribuir-lo, copiar-lo ni a revelar el seu contingut. Si heu rebut aquest missatge per error, us preguem que informeu al remitent i elimineu del vostre sistema el missatge i el material annex que pugui contenir. Gracies per la vostra col.laboracio.<br>
> ><br>
> > Abans d'imprimir aquest correu, penseu si es necessari.<br>
> ><br>
> ><br>
> ><br>
> > Missatge de Miguel Sánchez Sánchez <<a href="mailto:msanchez@fi.upm.es" target="_blank">msanchez@fi.upm.es</a> <mailto:<a href="mailto:msanchez@fi.upm.es" target="_blank">msanchez@fi.upm.es</a>> <mailto:<a href="mailto:msanchez@fi.upm.es" target="_blank">msanchez@fi.upm.es</a> <mailto:<a href="mailto:msanchez@fi.upm.es" target="_blank">msanchez@fi.upm.es</a>>>> del dia dv., 9 de jul. 2021 a les 12:39:<br>
> ><br>
> > Buenas. Me estoy encontrando con que un porcentaje de ogLive, cuando van<br>
> > a acabar la descarga de una imagen, ctorrent aborta con error<br>
> > std::bad_array_new_length.<br>
> > Todos los clientes torrent van más o menos igual en la descarga, pues<br>
> > acaban bien o fallan al alimón, pues el semillero en el servidor parece<br>
> > que no supera los 50Mbit por conexión, y aunque empiezan la descarga<br>
> > aleatoriamente van convergiendo. Abortan con un número pequeño de partes<br>
> > por completar, menos de 20.<br>
> ><br>
> > No estoy seguro si está relacionado con algún parámetro del semillero en<br>
> > el servidor, pues hasta ahora nuestro servidor de OpenGnsys estaba un<br>
> > poco escaso de recursos y el problema parece que desaparecía cuando se<br>
> > limitaban en el semillero el número de peers que se podían conectar.<br>
> > Pero hemos cambiado a versión 1.2.0 en un nuevo servidor y el problema<br>
> > persiste.<br>
> > El semillero que estamos utilizando actualmente es<br>
> > btlaunchmany.bittorrent, por aquello de que utiliza un thread por imagen<br>
> > servida. Pero creo recordar que con btlaunchmany.bittornado los errores<br>
> > también se producían.<br>
> ><br>
> > ¿Os habéis encontrado alguno con este problema? ¿Cómo lo habéis solventado?<br>
> ><br>
> > Saludos.<br>
> > _______________________________________________<br>
> > Opengnsys-users mailing list<br>
> > <a href="mailto:Opengnsys-users@listas.unizar.es" target="_blank">Opengnsys-users@listas.unizar.es</a> <mailto:<a href="mailto:Opengnsys-users@listas.unizar.es" target="_blank">Opengnsys-users@listas.unizar.es</a>> <mailto:<a href="mailto:Opengnsys-users@listas.unizar.es" target="_blank">Opengnsys-users@listas.unizar.es</a> <mailto:<a href="mailto:Opengnsys-users@listas.unizar.es" target="_blank">Opengnsys-users@listas.unizar.es</a>>><br>
> > <a href="https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users" rel="noreferrer" target="_blank">https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users</a> <<a href="https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users" rel="noreferrer" target="_blank">https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users</a>> <<a href="https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users" rel="noreferrer" target="_blank">https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users</a> <<a href="https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users" rel="noreferrer" target="_blank">https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users</a>>><br>
> > ----------<br>
> > INFORMACIÓN SOBRE PROTECCIÓN DE DATOS DE CARÁCTER PERSONAL<br>
> ><br>
> > Ud. recibe este correo por pertenecer a una lista de correo gestionada por la Universidad de Zaragoza.<br>
> > Puede encontrar toda la información sobre como tratamos sus datos en el siguiente enlace: <a href="https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas" rel="noreferrer" target="_blank">https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas</a> <<a href="https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas" rel="noreferrer" target="_blank">https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas</a>> <<a href="https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas" rel="noreferrer" target="_blank">https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas</a> <<a href="https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas" rel="noreferrer" target="_blank">https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas</a>>><br>
> > Recuerde que si está suscrito a una lista voluntaria Ud. puede darse de baja desde la propia aplicación en el momento en que lo desee.<br>
> > <a href="http://listas.unizar.es" rel="noreferrer" target="_blank">http://listas.unizar.es</a> <<a href="http://listas.unizar.es" rel="noreferrer" target="_blank">http://listas.unizar.es</a>> <<a href="http://listas.unizar.es" rel="noreferrer" target="_blank">http://listas.unizar.es</a> <<a href="http://listas.unizar.es" rel="noreferrer" target="_blank">http://listas.unizar.es</a>>><br>
> > ----------<br>
> ><br>
> ><br>
> > _______________________________________________<br>
> > Opengnsys-users mailing list<br>
> > <a href="mailto:Opengnsys-users@listas.unizar.es" target="_blank">Opengnsys-users@listas.unizar.es</a> <mailto:<a href="mailto:Opengnsys-users@listas.unizar.es" target="_blank">Opengnsys-users@listas.unizar.es</a>><br>
> > <a href="https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users" rel="noreferrer" target="_blank">https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users</a> <<a href="https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users" rel="noreferrer" target="_blank">https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users</a>><br>
> > ----------<br>
> > INFORMACIÓN SOBRE PROTECCIÓN DE DATOS DE CARÁCTER PERSONAL<br>
> ><br>
> > Ud. recibe este correo por pertenecer a una lista de correo gestionada por la Universidad de Zaragoza.<br>
> > Puede encontrar toda la información sobre como tratamos sus datos en el siguiente enlace: <a href="https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas" rel="noreferrer" target="_blank">https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas</a> <<a href="https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas" rel="noreferrer" target="_blank">https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas</a>><br>
> > Recuerde que si está suscrito a una lista voluntaria Ud. puede darse de baja desde la propia aplicación en el momento en que lo desee.<br>
> > <a href="http://listas.unizar.es" rel="noreferrer" target="_blank">http://listas.unizar.es</a> <<a href="http://listas.unizar.es" rel="noreferrer" target="_blank">http://listas.unizar.es</a>><br>
> > ----------<br>
> ><br>
> _______________________________________________<br>
> Opengnsys-users mailing list<br>
> <a href="mailto:Opengnsys-users@listas.unizar.es" target="_blank">Opengnsys-users@listas.unizar.es</a> <mailto:<a href="mailto:Opengnsys-users@listas.unizar.es" target="_blank">Opengnsys-users@listas.unizar.es</a>><br>
> <a href="https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users" rel="noreferrer" target="_blank">https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users</a> <<a href="https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users" rel="noreferrer" target="_blank">https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users</a>><br>
> ----------<br>
> INFORMACIÓN SOBRE PROTECCIÓN DE DATOS DE CARÁCTER PERSONAL<br>
> <br>
> Ud. recibe este correo por pertenecer a una lista de correo gestionada por la Universidad de Zaragoza.<br>
> Puede encontrar toda la información sobre como tratamos sus datos en el siguiente enlace: <a href="https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas" rel="noreferrer" target="_blank">https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas</a> <<a href="https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas" rel="noreferrer" target="_blank">https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas</a>><br>
> Recuerde que si está suscrito a una lista voluntaria Ud. puede darse de baja desde la propia aplicación en el momento en que lo desee.<br>
> <a href="http://listas.unizar.es" rel="noreferrer" target="_blank">http://listas.unizar.es</a> <<a href="http://listas.unizar.es" rel="noreferrer" target="_blank">http://listas.unizar.es</a>><br>
> ----------<br>
> <br>
</blockquote></div>