[Opengnsys-users] Errores con ctorrent al acabar la descarga
Pep Ciuraneta Sanchez
josep.ciuraneta en upc.edu
Lun Jul 12 12:22:46 CEST 2021
Hola Javier,
no, tengo un bucle en el rc.local que inicia un ctorrent por cada fichero
.torrent en /opt/opengnsys/images:
#!/bin/bash
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.
cd /opt/opengnsys/images/
for i in `ls /opt/opengnsys/images/*torrent`;do
/usr/bin/ctorrent -e -1 -f -d $i
done
exit 0
Tras el mail de Miguel he añadido la opcion -f y ya no comprueba la imagen
de cada torrent, con lo que es inmediato.
Saludos,
Pep.
--
O O O Universitat Politecnica de Catalunya
O O O BarcelonaTECH
O O O ------------------------------------
U P C Facultat de Matematiques i Estadistica
Pau Gargallo, 14 - 08028 Barcelona
Pep Ciuraneta Sanchez
Serveis TIC
josep.ciuraneta en upc.edu
Tel. 934015853
AVIS DE CONFIDENCIALITAT:
Aquest missatge pot contenir informacio confidencial o legalment
protegida i esta exclusivament adrecat a la persona o entitat
destinataria. Si no sou el destinatari final o persona encarregada de
recollir-lo, no esteu autoritzat a llegir-lo, retenir-lo,
modificar-lo, distribuir-lo, copiar-lo ni a revelar el seu contingut.
Si heu rebut aquest missatge per error, us preguem que informeu al
remitent i elimineu del vostre sistema el missatge i el material annex
que pugui contenir. Gracies per la vostra col.laboracio.
Abans d'imprimir aquest correu, penseu si es necessari.
Missatge de Javier Sánchez Parra <jsanchez en soleta.eu> del dia dl., 12 de
jul. 2021 a les 12:16:
> No hay problema.
>
> Una duda sobre el script, entiendo que tenéis varias líneas de "ctorrent
> ...", una por cada imagen que queréis compartir por torrent. ¿No?
>
> ¡Un saludo!
>
> On 7/12/21 12:00 PM, Pep Ciuraneta Sanchez wrote:
> > Hola Javier,
> >
> > Usamos torrent porque el multicast no nos funciona y unicast no es
> factible cuando quieres hacer un deploy en aulas de varios equipos. Hasta
> ahora el torrent "funcionaba", es decir que iba tirando hasta que
> aleatoriamente los clientes petaban. Como esto lo hemos solucionado con el
> cambio de bittornado por ctorrent ganando muchisimo rendimiento por el
> camino lo vamos a dejar así.
> >
> > No vamos a integrarlo con OpenGnSys, al menos de momento. Simplemente es
> un script al inicio de la maquina que lanza los ctorrent y ya esta. Muy
> ad-hoc, pero funciona.
> >
> > Sobre el cambio a 1.2.0 lo haremos, claro está, más adelante durante
> este año, cuando haya menos carga de trabajo y podamos probarlo
> extensivamente.
> >
> > Saludos,
> > Pep.
> >
> > --
> > O O O Universitat Politecnica de Catalunya
> > O O O BarcelonaTECH
> > O O O ------------------------------------
> > U P C Facultat de Matematiques i Estadistica
> > Pau Gargallo, 14 - 08028 Barcelona
> >
> > Pep Ciuraneta Sanchez
> > Serveis TIC
> > josep.ciuraneta en upc.edu <mailto:josep.ciuraneta en upc.edu>
> > Tel. 934015853
> >
> > AVIS DE CONFIDENCIALITAT:
> > Aquest missatge pot contenir informacio confidencial o legalment
> protegida i esta exclusivament adrecat a la persona o entitat destinataria.
> Si no sou el destinatari final o persona encarregada de recollir-lo, no
> esteu autoritzat a llegir-lo, retenir-lo, modificar-lo, distribuir-lo,
> copiar-lo ni a revelar el seu contingut. Si heu rebut aquest missatge per
> error, us preguem que informeu al remitent i elimineu del vostre sistema el
> missatge i el material annex que pugui contenir. Gracies per la vostra
> col.laboracio.
> >
> > Abans d'imprimir aquest correu, penseu si es necessari.
> >
> >
> >
> > Missatge de Javier Sánchez Parra <jsanchez en soleta.eu <mailto:
> jsanchez en soleta.eu>> del dia dl., 12 de jul. 2021 a les 8:59:
> >
> > Buenas, Pep.
> >
> > Nosotros no disponemos de ningún despliegue con torrent hasta la
> > fecha, empleamos multicast. Entendemos que la elección de torrent es
> > que hay alguna limitación en la red, por lo que preferís un solución
> > unicast.
> >
> > En cualquier caso, si pudierais integrarlo con OpenGnsys y compartir
> > esos cambios para usar ctorrent, la comunidad podría evaluarlo y,
> > quizás, unirlos en algún momento.
> >
> > Sobre la idea de permanecer en 1.1.0, no te lo recomendamos, pues
> > 1.2.0 tiene un muchas de mejoras en general en la infraestructura.
> > Si mantenemos el ritmo de desarrollo de los últimos dos años, si os
> > quedáis atrás, migrar de 1.1.0 a lo que venga después probablemente
> os
> > cueste bastante esfuerzo.
> >
> > ¡Gracias por compartir vuestra solución! ¡Un saludo!
> >
> > On 7/9/21 6:21 PM, Pep Ciuraneta Sanchez wrote:
> > > Hola Miguel,
> > >
> > > Te explico, nosotros empezamos haciendo pruebas con 1.2.0 para
> ver si solucionabamos unos problemas con el torrent (no aprovechamiento del
> ancho de banda, falta de fiabilidad con muchos errores segmentation fault
> en clientes) y al ver que con 1.2.0 nos pasaba lo mismo hemos cambiado el
> programa que se encarga de hacer el seed. Seguimos con 1.1.0 de momento.
> Esto lo hemos hecho tras hacer pruebas esta misma semana.
> > >
> > > En lugar de usar el bittornado hemos optado por lanzar un
> ctorrent por cada fichero torrent. Esto tiene su inconveniente, pero desde
> entonces el ancho de banda se aprovecha algo mejor y los errores se han
> minimizado muchísimo. De momento lo vamos a dejar así. En concreto lo
> lanzamos así para cada fichero (simplificado)
> > >
> > > # cd /opt/opengnsys/images
> > > # ctorrent -e -1 -d nombre_fichero_img.torrent
> > >
> > > Yo creo que esto es extrapolable a la versión 1.2.0. El hecho de
> usar ctorrent en lugar de bittornado funciona bastante mejor, pero tiene la
> pega que cada vez que se inicia se comprueba el fichero a compartir y eso
> puede ser costoso en tiempo y depende de la velocidad acceso de disco.
> > >
> > > Hemos aprovechado este final de curso para hacer multiples
> pruebas y el poder aprovechar la red a 1Gbps da bastante alegria.
> > >
> > > Consejos para subir la velocidad en descarga por torrent:
> > >
> > > 1.- si es posible, tener los ficheros imagen en disco SSD
> > > 2.- tener algun seeder extra. No hace falta que sea un REPO,
> simplemente una máquina de backup donde tener los ficheros imagen y los
> torrent.
> > > 3.- si los equipos destino tienen disco SSD comprobar que las
> particiones esten alineadas. Esto es muy importante.
> > > 4.- Realizar un procedimiento para hacer que las aulas o equipos
> que tengan la imagen puedan hacer de seeders. Basicamente es lanzar un
> ctorrent y esperar al chequeo de cada imagen, pero esto ayuda mucho a subir
> la velocidad de descarga. Esto equivale a multiplicar el consejo 2 por el
> numero de máquinas en las que se ejecute el procedimiento. Por ejemplo, se
> puede descargar primero en el aula donde sea más rapido el despliegue y
> luego añadir sus equipos como seeders para acelerar al resto.
> > > 5.- Tener REPOS repartidos por diferentes tramos de la red. Esto
> depende de la infraestructura de cada uno.
> > >
> > > Miguel, Perdona el ladrillo, al final me ha salido algo largo. En
> resumen, prueba de cambiar el bittornado por un script que te lance los
> ctorrent (en el mismo rc.local) y a ver que tal.
> > >
> > > Saludos,
> > > Pep.
> > >
> > > --
> > > O O O Universitat Politecnica de Catalunya
> > > O O O BarcelonaTECH
> > > O O O ------------------------------------
> > > U P C Facultat de Matematiques i Estadistica
> > > Pau Gargallo, 14 - 08028 Barcelona
> > >
> > > Pep Ciuraneta Sanchez
> > > Serveis TIC
> > > josep.ciuraneta en upc.edu <mailto:josep.ciuraneta en upc.edu>
> <mailto:josep.ciuraneta en upc.edu <mailto:josep.ciuraneta en upc.edu>>
> > > Tel. 934015853
> > >
> > > AVIS DE CONFIDENCIALITAT:
> > > Aquest missatge pot contenir informacio confidencial o legalment
> protegida i esta exclusivament adrecat a la persona o entitat destinataria.
> Si no sou el destinatari final o persona encarregada de recollir-lo, no
> esteu autoritzat a llegir-lo, retenir-lo, modificar-lo, distribuir-lo,
> copiar-lo ni a revelar el seu contingut. Si heu rebut aquest missatge per
> error, us preguem que informeu al remitent i elimineu del vostre sistema el
> missatge i el material annex que pugui contenir. Gracies per la vostra
> col.laboracio.
> > >
> > > Abans d'imprimir aquest correu, penseu si es necessari.
> > >
> > >
> > >
> > > Missatge de Miguel Sánchez Sánchez <msanchez en fi.upm.es <mailto:
> msanchez en fi.upm.es> <mailto:msanchez en fi.upm.es <mailto:msanchez en fi.upm.es>>>
> del dia dv., 9 de jul. 2021 a les 12:39:
> > >
> > > Buenas. Me estoy encontrando con que un porcentaje de ogLive,
> cuando van
> > > a acabar la descarga de una imagen, ctorrent aborta con error
> > > std::bad_array_new_length.
> > > Todos los clientes torrent van más o menos igual en la
> descarga, pues
> > > acaban bien o fallan al alimón, pues el semillero en el
> servidor parece
> > > que no supera los 50Mbit por conexión, y aunque empiezan la
> descarga
> > > aleatoriamente van convergiendo. Abortan con un número
> pequeño de partes
> > > por completar, menos de 20.
> > >
> > > No estoy seguro si está relacionado con algún parámetro del
> semillero en
> > > el servidor, pues hasta ahora nuestro servidor de OpenGnsys
> estaba un
> > > poco escaso de recursos y el problema parece que desaparecía
> cuando se
> > > limitaban en el semillero el número de peers que se podían
> conectar.
> > > Pero hemos cambiado a versión 1.2.0 en un nuevo servidor y el
> problema
> > > persiste.
> > > El semillero que estamos utilizando actualmente es
> > > btlaunchmany.bittorrent, por aquello de que utiliza un thread
> por imagen
> > > servida. Pero creo recordar que con btlaunchmany.bittornado
> los errores
> > > también se producían.
> > >
> > > ¿Os habéis encontrado alguno con este problema? ¿Cómo lo
> habéis solventado?
> > >
> > > Saludos.
> > > _______________________________________________
> > > Opengnsys-users mailing list
> > > Opengnsys-users en listas.unizar.es <mailto:
> Opengnsys-users en listas.unizar.es> <mailto:Opengnsys-users en listas.unizar.es
> <mailto:Opengnsys-users en listas.unizar.es>>
> > > https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users
> <https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users> <
> https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users <
> https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users>>
> > > ----------
> > > INFORMACIÓN SOBRE PROTECCIÓN DE DATOS DE CARÁCTER PERSONAL
> > >
> > > Ud. recibe este correo por pertenecer a una lista de correo
> gestionada por la Universidad de Zaragoza.
> > > Puede encontrar toda la información sobre como tratamos sus
> datos en el siguiente enlace:
> https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas
> <
> https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas>
> <
> https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas
> <
> https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas
> >>
> > > Recuerde que si está suscrito a una lista voluntaria Ud.
> puede darse de baja desde la propia aplicación en el momento en que lo
> desee.
> > > http://listas.unizar.es <http://listas.unizar.es> <
> http://listas.unizar.es <http://listas.unizar.es>>
> > > ----------
> > >
> > >
> > > _______________________________________________
> > > Opengnsys-users mailing list
> > > Opengnsys-users en listas.unizar.es <mailto:
> Opengnsys-users en listas.unizar.es>
> > > https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users
> <https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users>
> > > ----------
> > > INFORMACIÓN SOBRE PROTECCIÓN DE DATOS DE CARÁCTER PERSONAL
> > >
> > > Ud. recibe este correo por pertenecer a una lista de correo
> gestionada por la Universidad de Zaragoza.
> > > Puede encontrar toda la información sobre como tratamos sus datos
> en el siguiente enlace:
> https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas
> <
> https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas
> >
> > > Recuerde que si está suscrito a una lista voluntaria Ud. puede
> darse de baja desde la propia aplicación en el momento en que lo desee.
> > > http://listas.unizar.es <http://listas.unizar.es>
> > > ----------
> > >
> > _______________________________________________
> > Opengnsys-users mailing list
> > Opengnsys-users en listas.unizar.es <mailto:
> Opengnsys-users en listas.unizar.es>
> > https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users <
> https://listas.unizar.es/cgi-bin/mailman/listinfo/opengnsys-users>
> > ----------
> > INFORMACIÓN SOBRE PROTECCIÓN DE DATOS DE CARÁCTER PERSONAL
> >
> > Ud. recibe este correo por pertenecer a una lista de correo
> gestionada por la Universidad de Zaragoza.
> > Puede encontrar toda la información sobre como tratamos sus datos en
> el siguiente enlace:
> https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas
> <
> https://sicuz.unizar.es/informacion-sobre-proteccion-de-datos-de-caracter-personal-en-listas
> >
> > Recuerde que si está suscrito a una lista voluntaria Ud. puede darse
> de baja desde la propia aplicación en el momento en que lo desee.
> > http://listas.unizar.es <http://listas.unizar.es>
> > ----------
> >
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.unizar.es/pipermail/opengnsys-users/attachments/20210712/be8930d6/attachment-0001.html>
Más información sobre la lista de distribución Opengnsys-users