Thread Info
  • State Not Answered
  • Replies 6 replies
  • Subscribers 0 subscribers
  • Views 902 views
  • Users 0 members are here
Options
Suggested

[7.450][INFO] Beta Contest Points

BuBU
Hi

Seems there are some conflicts between some Astaro Developpers and some beta testers there... [[[:)]]]

So for next beta contest, what about really apply the point counts based on the information/descriptions and BUG severity...

basically something like:
1 point for cosmetic/wording/...
1 point for any BUG which was also in previous versions (not only beta) (this is frustrating that you spend time in finding/testing things and also test this is or not in previous versions and we tell you that this was in previous version so no points [:(]
2 points for BUG
3 points for show stoppers

and additionnals points for:
- 2 point for suffisant description and understandable
- 3 points for very detailed description with eventually screenshots (with reproduct cases, workarrounds, ...)

You can also credit 1 or 2 additionals points for good ideas (on how to make things, fix, anything that can help greatly the developpers, ...)

also you can credit 1 or 2 points for a DUPE not already confirmed but with very detailed infos.

so you can credit an UBB user who find something with minimal of 1 point for a cosmetic with no good description, and max of 6 points for a very detailed show stopper... (+ 2 points if he provides a fix, should be quite rare [[[:)]]] )

I think this could help in making us be more complete when reporting defects... and motivate us to take care of communications...

This is just a thought, up to you to apply this or something like this... also this could give more chances for anybody... [[[:)]]]

Too late for this beta I think, but for next beta would be nice...

What do you think ?

thx
Parents Reply Children
  • 0 in reply to Astaro Beta Bot
    On the one hand, your counting system would be more flexible, which I would definitely advocate for. But on the other hand, it is also very complicated in my view. 

    Perhaps someone finds a good compromise between the current system and your proposal.

    Regards,
    Bastian
  • 0 in reply to Monarch
    On the one hand, your counting system would be more flexible, which I would definitely advocate for. But on the other hand, it is also very complicated in my view. 

    Perhaps someone finds a good compromise between the current system and your proposal.

    Regards,
    Bastian


    Yep, this is just an idea... maybe too complicated... but I admit the way it is at moment made me to be the leader, whereas I have lot of cosmetic, as these are the easier to find... [[:)]], and in deep research must not be credited the same way as a single cosmetic.. so they definitively need something that distinguish those cases.. (else I will always be the leader, already 4 times [:D], ok this is not yet finished... [[:)]])

    thx
  • 0 in reply to BuBU
    I like BuBu's suggestion to the extent that it recognizes the time saved by the developers in evaluating and understanding what needs to be fixed.  I think a bug is a bug, so equal credit for all bugs, even cosmetic ones (everyone here is tired of me griping about showing respect for the admins).

    As for bugs in previous versions, I'm more diabolical than notr' copain, BuBu...

    There should be a list of "unfixed bugs" with each release.  If someone finds a bug that's not on that list, that should count.  If the bug existed in prior releases and was known but not on the list, then the developer responsible for tracking and fixing the bug should have to add a dollar from his own pocket to the final pot.

    Cheers - Bob
  • 0 in reply to BuBU
    I agree with bubu's suggestion. The whole system is almost designed on the frequency of threads started. I have done a few betas for microsoft and there is always a submission period and then you wait till the next release. The bug count starts again for the next beta again unless specified. You can't have bugs unresolved for beta1 while you are testing beta 3. Plus I know it was just a guess on when the beta was supposed to end but looks like this one will last another 3-4 weeks.

    The other thing is that there is no incentive for helping someone else. Lets say bubu finds a bug and submits it but can't figure out how to duplicate it, he is on his own trying to convince astaro about the bug. The whole purpose of the beta is to test on as many machines as possible and replicate the bug on different hardware.

    (else I will always be the leader, already 4 times [[[:D]]], ok this is not yet finished... 
    thx

    It ends up as who has the most time. It was mostly fun doing the beta testing and honestly, it probably discourages a few people from testing when they see some of us being so aggressive/fast in submitting bugs. Bubu maybe you can sit the next beta out and let us new folks have a chance[[[:D]]]

    Maybe you can't win more than 3 betas in a row[:O][[[:D]]]
  • 0 in reply to Billybob
    I agree with bubu's suggestion. The whole system is almost designed on the frequency of threads started. I have done a few betas for microsoft and there is always a submission period and then you wait till the next release. The bug count starts again for the next beta again unless specified. You can't have bugs unresolved for beta1 while you are testing beta 3. Plus I know it was just a guess on when the beta was supposed to end but looks like this one will last another 3-4 weeks.


    Here I've no idea on how to make the best things... What I can only say is that more you start early to test and more you find bugs, so missing starts of betas launch will let you less chance... (I missed a bunch of time when first 7.450 was out, 1 week in croatia without internet, and quite busy for 1 or 2 weeks after, ... , so if the beta did not took more time that what was expected initialy I would have not all that points, and I was about to give up initially...)


    The other thing is that there is no incentive for helping someone else. Lets say bubu finds a bug and submits it but can't figure out how to duplicate it, he is on his own trying to convince astaro about the bug. The whole purpose of the beta is to test on as many machines as possible and replicate the bug on different hardware.


    True... Almost anyone is on its own... Competition and the way points are counts make everyone to focus on its own bug... and like you said some times it's hard to convince Astaro there is something wrong... or not... (also this is same when discussing about the way things are done... 1 feedback is not always enough to convince Astaro team...)


    It ends up as who has the most time. It was mostly fun doing the beta testing and honestly, it probably discourages a few people from testing when they see some of us being so aggressive/fast in submitting bugs. Bubu maybe you can sit the next beta out and let us new folks have a chance

    Maybe you can't win more than 3 betas in a row


    Indeed, with actual system points, more time you have and more you have chances to get points by finding lot's of bugs/cosmetics... personnaly I'm quite busy but I find times during evening, nights, weekends, as I love to do Astaro beta (and win something [[[:)]]])

    so finding a points counter system that encourage bug reporting details, and not really on the number of bugs, would be better...

    Now concerning the fact I already won 3 times and that I'm leader for the 4th... I think I spent lot of times on astaro, so if I can't win more than 3 times... I'm not sure I will be more motivated to find bunch of stuff... maybe they can credit not the 3 best beta testers, but the beta testers that have reached a certain amount of points (based on the system points they decide), ie: if you keep the actual system people who have more than 30 points should have something ?, for the system I proposed maybe peoples who have found more than 10 very detailed bugs can win automatically something... if someone find 5 show stoppers and helped a lot to resolv it quickly can also win something... and the final price is based on what level of credits the UBB user got..

    ok maybe too complicated...

    Another suggestion about points credits... maybe they can do that by team ? [[[:)]]] ie: they organize a sort of lottery based on the users that wants to beta test to choose the teams of 2 or 3 beta testers... and points are count by team... so each person of team helps each other to find bugs, confirms (with clues) to get max of points...
    The beta can start with only 1 beta tester.. and lotery can be done after end of the first beta to compose the teams based on the already got points to have not the 2 first guys in the same team...

    Just a thought [[[:)]]]

    Finally, I will still be there (hopefully) for next beta [:D]

    thx