Testlink 1.7.3

Primera parada en la búsqueda de una herramienta de test case management para su implantación en los proyectos en los que trabajo: Testlink.

Cómo ya mencioné en el post que iniciaba esta búsqueda, la herramienta a escoger debe ser opensource por restricciones de presupuesto. Entonces, qué mejor que acudir a opensourcetesting.org y mirar qué tienen en la sección de testing tools, apartado test management? Pues, a fecha de hoy, aparecen 24 herramientas en el apartado, algunas de gestión de casos de test, otras no, algunas de nombre conocido, otras no. La más descargada según el “download data” disponible es Testlink (con más de 200.000 descargas), además de la referencia en el sector según he leido en varios lugares; pues ya puestos, mejor empecemos por el referente!

La evaluación que he hecho de Testlink ha consistido en dos “sesiones”, una de lectura de la documentación disponible sobre la aplicación en la página del proyecto (concretamente el manual de usuario y el manual de instalación) y otra sesión de jugar con la aplicación en la demo disponible. De la primera, debo reconocer que la impresión inicial fue algo negativa, debido a la falta de cuidado de los sites del proyecto (http://www.teamst.org y http://blog.testlink.org), con bastantes links importantes rotos (la demo del primer site, todas las páginas no iniciales del segundo) así como de la ausencia de un resumen de funcionalidades globales, no específicas de cada release. De esta dejadez deriva que haya tenido que trabajar con la versión 1.7.3 de la aplicación, cuando la última estable ha sido la 1.9.2, pero lo que no iba a hacer era montar un entorno con Apache, PHP y una DB en MySQL para hacer una prueba de concepto (tampoco tengo los recursos ni las capacidades para ello). Tras la segunda sesión, 100% práctica, procedo a emitir mi veredicto sobre la adecuación de la herramienta a las necesidades de nuestros proyectos y del equipo.

Testlink es un buena candidata en esta elección que estoy llevando a cabo. Sin haber tratado nunca con una herramienta de gestión de casos de test, lo que me esperaba de este tipo de aplicaciones lo he encontrado en ella; especialmente en lo que se refiere a gestión: permite gestionar varios proyectos con casos de test distintos, admite múltiples usuarios con roles definidos totalmente ad-hoc y con permisos configurables sobre tareas y proyectos, puede organizar los test cases en test suites y estas test suites en otras test suites hasta tener el nivel de anidamiento deseado, admite la creación de test plans (compuestos de las suites o casos deseados) para releases concretas, ejecutando o modificando estos planes (o su contendo) de modo iterativo mediante la creación de builds dentro de los mismos, capacidades más que suficientes de reporting… Sin embargo, me ha sorprendido lo poco orientada que está la aplicación hacia la creación de los test cases diseñados, con una interfaz demasiado simple, exigiendo HTML en las descripciones ya que si no después de visualizan mal, sin espacio para indicar los pasos del caso de test ni el resultado esperado de cada uno de estos pasos, con un espacio único para añadir adjuntos (en lugar de ser “por paso”)… Lo mismo sucede con la ejecución de los casos; de hecho, apenas puede llamarse ejecución sinó más bien marcado de ejecuciones de casos, puesto que consiste en mostrar los casos de test como si fueran a ser impresos en PDF añadiendo un par de campos para establecer el resultado de la ejecución (pass, fail, blocked, not run) y un campo para “notas adicionales”. Nuevamente se ignora el “paso a paso” en la ejecución, lo que dificulta mucho el trabajo si los casos de uso son complejos o tienen muchas partes.

Ciñiéndome a las necesidades expresadas en el post inicial de la búsqueda, mi valoración de Testlink es…

  • Principalmente…
    • Creación, gestión y ejecución de test cases – KO (gestión muy buena, creación y ejecución bastante pobre)
    • Creación, gestión y ejecución de test plans – OK (la creación y ejecución de planes es muy flexible y ajustada a la realidad del proceso)
    • Gestión de resultados de ejecuciones – OK (incluso hay más reporting del necesario)
    • Vinculo entre test cases y use cases / user stories / requerimientos – OK (la definición de requerimientos puede desactivarse “de sistema”, la asociación con casos o historias se puede ajustar en la creación de suites)
  • Más en segundo término…
    • Integración con la herramienta de bugtracking implantada en la empresa: TracKO (puede integrarse, pero exige atorgar permisos importantes al usuario anónimo, mientras que ahora este usuario no tiene permisos más que el de ver la página de login)
    • Gestión de recursos asociados a un test case – KO (un único campo attachment por test case, cuando sería preferible por pasos de ejecución)
    • Facilidad de instalación y mantenimiento como herramienta – KO (requerimientos exagerados en comparación con otras herramientas del mismo estilo, los upgrades tampoco parecen sencillos a juzgar por el manual de instalación de las versiones posteriores a la testeada)
    • Gestión de N proyectos por M usuarios, idealmente con permisos distintos (creación, ejecución, consulta…) – OK (incluso se pueden configurar roles totalmente nuevos)
    • Ejecuciones iterativas sobre un mismo test plan – OK (mediante la creacion de builds asociados a los planes, que pueden tener más o menos casos de test o versiónes más nuevas de los mismos)
  • Y en último lugar…
    • Integración con tests automáticos – KO (sin soporte específico)
    • Test cases, test plans y resultados imprimibles / exportables – OK

Si las valoraciones del primer apartado valen 3 y -3 (OK vs. KO), las del segundo valen 2 y -2 y las del tercero valen 1 y -1, sobre un total posible de 24 puntos máximos, según mi humilde opinión el ajuste de Testlink a mis necesidades es de un 4. Gráficamente…

Resultados de la evaluación de herramientas de gestión de TC - Testlink

Resultados de la evaluación de herramientas de gestión de TC – Testlink

Poco prometedor, el único atenuante es la “antiguedad” de la versión testeada (he leido que en las siguientes versiones pueden haberse dado mejoras en la ejecución / automatización). Iremos viendo qué ocurre con esta cruzada para encontrar una herramienta de gestión de TCs que se ajuste a las necesidades. Seguimos!

Anuncios

51 comentarios en “Testlink 1.7.3

  1. Pingback: RTH « Testing funcional

  2. Hola, yo tambien ando metido en este mundillo desde hace 3 años y me da muchas más alegrias que el desarrollo puro que tanto me ha cabreado…

    Sólo decirte que el proyecto TestLink no publica nada desde el 2008; por lo que parece que lo han abandonado…
    Andaba yo tambien buscando una alternativa a QC y acabo de encontrar XStudio (Open source) que tiene muy buena pinta.

    Un saludo.

    • Gracias por el comentario!

      La verdad es que ya tenía en mente que la siguiente herramienta a evaluar fuera XStudio, en breve espero hacer otro post sobre ella, a ver si es la definitiva.

      Saludos!

    • Hola,

      Este que testlink no esta activo no es verdad. Han hecho actualizaciones muy buenas en los últimos 12 meses.
      La parte de creación de testcases y ejecución lo veo de un nivel bastante alto.
      Una herramienta ideal no existe. A fool with a tool is still a fool.

      Mucho mas importante es hacer buenas casos de pruebas y saber escribir un buen defecto.
      Esto, independiente de la herramienta, es lo que falla en lo mayoria de los casos.

      • Estoy al tanto de las actualizaciones, lamentablemente la demo de testlink disponible para hacer una evaluación sin instalar la herramienta no está actualizada. También coincido contigo Anko en que las herramientas deben ayudar, pero no son la panacea ante problemas de base como la buena elaboración de pruebas o redacción de defectos; de todas maneras, una buena herramienta puede servir para dinamizar algunos procesos y “desencallar” situaciones poco funcionales o escalables.

        Donde sí discrepo es en “Una herramienta ideal no existe”. Sí existe, existe la herramienta que sea la ideal para TÚ proyecto / características / capacidades / situación laboral. No busco la mejor herramienta del mundo, busco la mejor para los proyectos en los que participo, e investigo (y blogueo) según esta óptica.

        Gracias por pasar y comentar!

      • Hola Anko, como bien podrás leer en un comentario justo debajo ya comenté que si parece que lo actualizan. Al entrar y ver que no funcionaba ni un enlace en su página… no da muy buena impresión la verdad.

        Respecto a la herramienta ideal para un proyecto… pues depende del proyecto, de lo que haya que hacer y de lo que te dejen hacer. Por ejemplo, en el que estoy ahora no utilizaré ninguna herramienta. A fool is only a fool. 😉

  3. La pagina y el blog están medio abandonados pero parece ser que siguen sacando nuevas releases de TestLink…

    Lo malo de XStudio? Que no es open source….

    Un saludo!

  4. Pingback: Se busca herramienta de test case management « Testing funcional

  5. Pingback: Xqual Xstudio « Testing funcional

  6. Hola,

    solo quería comentaros que hay una nueva demo de testlink basada en la versión 1.9.2 en http://testlink.sourceforge.net/demo/login.php

    Soy un usuario de Testlink y estoy bastante contento con ella (la versión que estoy usando es la 1.9.2). Me parece una herramienta sencilla de manejar, que cumple correctamente con su cometido y que no se mete en otras guerras (como sí hace XStudio, tal y como comentas en tu revisión, lo que complica su uso).

    • Gracias Miguel Angel por tu comentario, en el momento de hacer la evaluación ya existía la versión que comentas, pero la demo no estaba actualizada. Ahora veo que sí, habrá que echarle un vistazo de nuevo.

      Saludos!

  7. Hola,
    actualmente estoy haciendo lo mismo que tú comentas, sobre una lista de necesidades busco herramientas para DCP. He evaluado algunas de las que has visto como RTH, Xstudio y Testlink y otras como Vienna y Testopia. Sin duda, la mejor para mi gusto es testlink. Sobre los problemas que comentas, te diré:

    – La instalación es simplemente descomprimir la carpeta en tu servidor php y ejecutar un script de BD. Es muy simple comparado con lo que tuve que hacer para instalar testopia en windows. Te recomiendo instalarla sobre XAMPP y probarla por ti mismo, al igual que te ha ocurrido a ti, el entorno de demo que yo probé me decepcionó.

    – La nueva versión (sale 1 al año y hace 2 semanas que hay una nueva), tiene test cases con división en pasos y utiliza una barra de texto como la del word. Es verdad que no puedes adjuntar archivos por pasos, pero no me parece útil porque me basta con poder adjuntarlos varios en un mismo test case.

    – Se configura fácilmente para integrarla tanto con Mantis como con Bugzilla por lo que tienes BT para elegir

    – También tienes plugins para configurar los test automáticos de modo que se ejecuten en hudson o Jenkins.

    En realidad, la única pega que le veo es que no puedes crear tus propios reports, sólo elegir los valores que quieres que se muestres sobre los existentes por defecto. Pero que quieres que te diga, es opensource así que si en algún caso no me valen, pues ya me pico yo los mios.
    No suelo escribir mucho en blogs, pero quizá me ha dolido ver que tiene la peor nota de todas las que evaluaste. Por eso te recomiendo que le des otra oportunidad.

    Un saludo

    • Eduardo, muchas gracias por tu feedback tan completo!

      Estoy de acuerdo en que tengo que reevaluar Testlink, dado que la versión de la demo que miré está ya muy alejada a la realidad. Si lo hago, “verteré” mis pensamientos en forma de post.

      Gracias por tu recomendación!

  8. Hola Actualmente estoy en la busqueda de aplicaciones para hacer testing en aplicaciones desarrollas tipo windows y .NET, me pdorias recomendar alguna que me cubra estas necesidas se requieren para hacer Testing Funcinal Automatizado. he estado buscando pero ninguna de las que veo son free =S auxilo desde Venezuela.

    • Gabriel, gracias por tu comentario y disculpa por mi tardía respuesta.

      No tengo experiencia práctica en testing funcional de herramientas de escritorio, pero conozco lo siguiente:

      Auto-IT: permite automatizar acciones en entorno Windows que pueden usarse para hacer pruebas funcionales. Funciona con VBS.

      Sikuli: similar a Selenium IDE pero usable para aplicaciones Desktop. Las acciones se especifican mediante capturas de pantalla, los scripts pueden modificarse con conocimientos de Python.

      Jubula: proyecto de la gente de Eclipse para aplicaciones desarrolladas en Swing y SWT. Para el caso que me comentas (.NET) puede que no te sirva, pero está bien que te suene para el futuro.

      Espero que tengas suerte en tu tarea. Saludos desde Barcelona!

  9. Hola Mauri,

    soy tester desde hace más de 11 años y acabo de encontrar tu blog. (Enhorabuena para mí!)

    Comentarte que acabo de finalizar un proyecto usando Testlink 1.9, y la verdad, para ser OpenSource, está bastante bien. Sí tiene gestión de defectos, si lo integras con herramientas de gestión de incidencias OpenSource. Mi caso, lo he hecho con Mantis. Es fácil, los conectores vienen en Testlink y son fáciles de activar. También puede integrarse con Selenium para automatizar (siempre y cuando, se prueba un aplicativo web para poder utilizar Selenium, claro).

    Intentaré revisar las otras aplicaciones que comentas, pero como dicen otros usuarios, yo estoy muy contento con él. La generación de informes me parece muy completa para ser gratuito. Por contra, echo de menos la ejecución paso a paso.

    Sobre la herramienta ideal… pues comparto contigo que la ideal es la que cumpla con las pretensiones del tester para dar un buen servicio. Yo empecé diseñando casos de prueba en un .doc… y hace unos meses que he acabado uno en el que los casos se diseñaban así! (por raro que parezca en los tiempos modernos que corren!).

    Estás en mis favoritos!

    • Arthur, muchas gracias por tu comentario!

      Mi evaluación de Testlink está quedando algo obsoleta, voy a poner la versión de la misma en el título del post para remarcarlo más. La verdad es que muchos de los comentarios que ha recibido la entrada reflejan las mejoras de las nuevas versiones de la aplicación. Ahora mismo no, pero si necesito un gestor de casos de test en el futuro, probablemente escuche estos comentarios y le dé una oportunidad de nuevo.

      Saludos!

    • Hola,
      Soy una tester que recién está empezando en el mundo de QA, veo que tienes experiencia y llegué a este blog porque busco como conectar lo que tu describes, es decir, Testlink con mantis. Si me pudieras orientar, estaría muy agradecida. Saludos

  10. Hola Mauri Edo, soy Cristina y hago mis pinitos en el mundo del testing. Ahora estoy administrando Testlink 1.9.2 …No es muy complicado de administrador, pero pasa algo un tanto extraño.
    Buscando info he dado con tu blog, antes que nada enhorabuena porque está muy chulo! 🙂
    Y he pensado en plantearte la pregunta por si te ha pasado alguna vez y me puedes echar un cable.
    Sucede que los usuarios tester y senior tester no pueden ejecutar testplans, así sin más. Y no sé porque con esos roles que deberían dejar ejecutar las pruebas pues no les deja. Total, que me ha tocado hacerlos a todos administradores, cosa que no me hage ni p. gracia…

    En fin, únicamente si te ha pasado o se te ocurre que pueda hacer alguna prueba o cambiar algo de la configuración. Cualquier cosa que me de un poco de luz…

    Gracias de antemano! (:

    • Cristina, gracias por tu comentario!

      Lamentablemente no puedo ayudarte, mis experiencias con TestLink hasta ahora han sido con una versión más antigua de la que tu dices y no tuve ningún problema como el que comentas.

      Siento no ser de más ayuda, si lo resuelves y me lo quieres contar, bienvenida eres.

      Suerte!

    • Hola Cristina,

      soy Arturo, también hago mis pinitos en el mundo del testing y me pego de vez en cuando con Testlink. Te cuento como puedes ejecutar casos con los usuarios “Tester” y “Tester Senior”. Por defecto, para poder ejecutar casos con estos roles antes tienes que asignarles los casos con un rol “Adminitrator” o “Leader”. Por si solos no pueden no tienen permisos para ejecutar.

      Para ello, con un usuario “Administrador” o “Leader”, en la pantalla donde se asignan los casos de prueba a un Testplan, en Contenidos del Testplan-Add / Remove Test Cases (en el último menú de la derecha). Ahí puedes asignar los casos a un testplan y a un usuario en concreto.

      Esto está bien para controlar el trabajo de los testers y demás, pero quizá es un poco lioso o más bien, debido a la interfaz de Testlink, es “muy pesado”.

      Otra forma es que con un usuario “Administrador”, edites los roles y les des permisos para poder ejecutar sin necesidad de asignarles los casos. Esto viene bien sobre todo para los “Senior Testers”, porque los usuarios de este rol pueden crear casos de prueba pero no pueden ejecutarlos si no se les asignan… algo un poco contradictorio. En fin, para darles permisos, yo he probado dándoles el permiso “Planificación del Test Plan” (dentro de la primera “caja”, Testplan) y además de que pueden asignarlo ellos directamente a un Testplan, al ir a ejecución ya lo ven y pueden ejecutarlo sin problemas.

      Los roles que vienen por defecto, están muy limitados. Pero puedes editarlos y darles los permisos que creas convenientes, sobre todo para quitar algunas responsabilidades al “Administrador”, que podría ser un cuello de botella en algunos casos.

      Y si no quieres darles permisos de administrador y tampoco quieres modificar los roles, prueba con el rol “Leader”. Tiene los permisos del “Administrador” pero sin poder administrar.

      Espero haberte ayudado.

      Un saludo.

  11. Arthur muchas gracias por tu súper comentario!

    Voy a probar a hacer lo que me comentas. Dejar a los usuarios con rol de leader, eso me ha gustado mucho. Ya que son bastantes e ir asignando, TestPlans y TestCases uno a uno puede ser un gran tedio.

    Y el truquito de “Planificación del Test Plan” 😉

    Gracias!

    • De nada!

      Yo, personalmente, modificaría los roles de tester y senior tester desde administración dándoles esos permisos.

      Porque quizá el rol de leader tenga permisos para algo que no quieres… échale un vistazo por si acaso.

      Saludos

      • Estoy muy contento de que mi blog haya servido para conectaros en la resolución de este asunto, hasta pronto cracks!

  12. Buenas,

    Recién estoy comenzando a probar Testlink. Tengo la versión 1.9.3.
    Quisiera saber si alguien sabe de alguna forma de importar los RESULTADOS de los casos de prueba.
    La razón es porque no encontré una forma de seleccionar varios casos a la vez y marcarlos Ejecutados de una sola vez.
    Pierdo demasiado tiempo en aprobarlo uno por uno.

    Muy buen post!
    Saludos,

    • Nicolás, gracias por tu comentario.

      La verdad es que no puedo ayudarte directamente, pero espero que alguien con conocimiento de causa sobre Testlink lea tu pregunta y pueda ayudarte.

      Saludos!

  13. Pingback: TestLink - Referencias para un AutoAprendizaje | TestingBaires

  14. Hola Mauri, soy Yessika y yo tambien estoy comenzando con TestLink , alguien menciono la posibilidad de conectar Testlink con Selenium, si tienes info acerca de este tema te lo agradeceria mucho.

    gracias:)

  15. Hola Mauri, soy marcela y en el momento estoy investigando sobre herramientas que me puedan ayudar para automatizar pruebas en el momento estoy confundida y entre mas leo mas me confundo y en la empresa me piden una de urgencia. por fa una ayudita.. Gracias….

    • Hola Marcela, te recomiendo que te mires Selenium. Es opensource, es configurable, es potente y tiene detrás una comunidad de usuarios que la mantiene en buena forma.

      Seguro que hay buenas herramientas de automatización de pago, pero no las he usado nunca, luego me reservo comentarios sobre ellas.

      Suerte en la búsqueda!

      Mauri

  16. Hola Mauri Edo, como estas? Lei tu blog y creo estar en tu misma situación. Queria saber al final que habias implementado con respecto a herramientas de management de Tc, estoy buscando una gratuita, open source y eficiente, pero no encuentro ninguna que se adapte a mis necesidades. Podrias contarme? Saludos

  17. Pingback: De casos de test a mapas mentales: una experiencia personal « Testing funcional

  18. Buenos dias tengo un problema con Teslink y no he encontrado la soucion soy neuvo con la heraamienta y a la hora de jugar con ella al crera un caso de prueba no veo la opcion de ejecutar me podrias orenras por favor???

    • Pues no te puedo ayudar Ricardo, ya que más allá de la prueba de concepto que hice hace más de dos años para mi investigación no tengo otra experiencia en Testlink. Te recomiendo el grupo de la herramienta en Linkedin (en inglés) o el gestionado por Gustavo Terrera de testingbaires.com para este tipo de preguntas:

      Grupo de testlink: http://www.linkedin.com/groups?gid=1842435&trk=group-name
      Grupo de Testing & QA (Testingbaires): http://www.linkedin.com/groups?trk=myg_ugrp_ovr&gid=1900180

      Suerte!

      Mauri

    • Hola Ricardo,

      Una vez que has creado el test plan tienes que crear un Build o Constructor.

      Una vez que lo crees, veras la opcion de ejecutar. Entiendo que tienes los permisos correctos si puedes crear un test plan.

      Espero haberte ayudado.

      Un saludo

      • Que privilegio tenerte por aquí Arthur, gracias por resolver la duda de Ricardo.

        Todo bien? Se te echa de menos!

        Abrazo,

        Mauri

      • Mauri figura! Que adulador… Me voy a sonrojar 😉
        Para una cosa que se…

        Aqui andamos, peleando con la vida (y con alguno que otro). Ahora mismo en cliente, pero te sigo en “la penumbra”.

        Un saludo

        Pd. Pondras post de tus aventuras ponenciales, no? Grande!

  19. buenas,

    Me parece excelente este Post, bueno como muchos soy nuevo y estoy viendo herramientas, la verdad TestLink en su version 1.9.9 me parecio muy facil de instalar.

    Pero mi duda, pero talvez sea muy tonta es, cual es la diferencia de el TESTLINK con las herraminetas selenium q tambien es (Opensource) o como otras que son de licencia como IBM Functional Tester?

    Agradeceria su ayuda y sus cometarios

    • Hola!

      Esencialmente, Testlink es un gestor de test cases; es decir, una herramienta que permite registrar y almacenar casos de prueba, agruparlos en conjuntos, determinar y almacenar ejecuciones de los mismos, etc. Por otro lado, Selenium es una herramienta de automatización de pruebas, que permite ejecutar de forma remota un test diseñado y “traducido” al lenguaje que usa, creo que IBM Functional Tester es similar.

      Imagínate un caso de prueba X, por un lado te puede interesar documentarlo y almacenarlo, guardar los resultados de su ejecución, bugs asociados, etc; esto lo hace Testlink. Por otro lado, te puede interesar que la ejecución sea automatizada (la haga una computadora) y no manual, aquí entra Selenium o similares.

      Espero que quede algo más claro, si puedo hacer algo más por ti, adelante!

      Saludos,

      — Mauri

  20. Hola estoy empezando a usar el TestLink en su version 1.9.9 he estado leyendo y buscando información para hacer la integración con mantis, pero en las paginas que encontré mencionan que debo configurar archivos que no trae la versión 1.9.9 ¿Sabes como se configura mantis en TestLink 1.9.9 o es necesario regresar a una versión anterior?

    Espero tu respuesta y gracias 🙂

  21. Hola,
    Quisiera saber si existe un tutorial o alguien que me oriente a vincular testlink con mantis en versión 1.9.10
    Saludos colegas QA

    • Hola Yarella, en lo que se refiere a la integración con Mantis no tengo experiencia ni conozco tutoriales, aunque en los comentarios al post puedes encontrar recursos para ello.

      Por otro lado, publico tu comentario por si algun otro lector te puede ayudar.

      Suerte!

      — Mauri

      • Hola, Despues de mucha investigación pude dar como relacionar ambas herramientas, y aterrizar con un ejercicio practico el cómo se utiliza. Sí existe alguien que este en la misma investigación que estuve yo inicialmente, puedo dar luces para que se le sea más fácil entender
        Saludos Mauri 🙂

Los comentarios están cerrados.