8.2 update thoughts

The main problem is: The begin of a beta at Astaro is not based on a feature freeze. They're not only about stabilizing the product, they're more of an evolving process. That means the longer a beta phase lasts, the more additional stuff will be tried being pushed in.

Additionally - please beta-testers don't take this personally - the majority of the public beta testers only scratch at the top of the iceberg when testing. For QA there is a lot more work to do and time for testing is not enough when intensifying testing after feature freeze which, at Astaro, is in fact the first RC release. Therefore QA has to start testing a lot earlier and already tested things may get broken again because of stuff being changed.

The one and only way we may eventually keep up with the huge load of ISO builds (with changed stuff) is by having much more of the Tests being automated. But you can't easily automate tests for new features that are still in development.

IMHO I'm completely with you that we should consider doing more external testing with important customers in their realistic scenarios. But then please also think about which customer would like that on his production systems? What do you think about this?

BTW: I think we had no *serious* issues in v8.200. You can install it and the most important stuff works. *How* it works is another question. But there's nothing completely broken with it. Even the most criticized HTTP-Proxy works. It has issues, yes, but nothing really serious.

Additionally - please beta-testers don't take this personally - the majority of the public beta testers only scratch at the top of the iceberg when testing. For QA there is a lot more work to do and time for testing is not enough when intensifying testing after feature freeze which, at Astaro, is in fact the first RC release. Therefore QA has to start testing a lot earlier and already tested things may get broken again because of stuff being changed.

Hello Mario. I totally agree with you. I know you are doing a very well job @QA there. In view of the sheer amount of new features astaro puts especially into major releases, but sometimes in minor releases too, and also huge changes in the backend as new kernels, database changes, technology changes (multiport and IPSET support, groups in groups etc.) we had after 7.4 release a astonishing low amount of real issues. No full featured software is ever perfect, but overall seen we had a good time since nearly 2 years ! From my experience 8.2 is from a QA view a solid and good release too. Sadly issues in the webproxy are treated from customer side like a sacrileg, because this immediately lead to customer / user complaints if surfing experience suffers - indepentendtly of the reason.

BTW: I think we had no *serious* issues in v8.200. You can install it and the most important stuff works. *How* it works is another question. But there's nothing completely broken with it. Even the most criticized HTTP-Proxy works. It has issues, yes, but nothing really serious.

This is, where QA / developers maybe thinks in a different perspective as a customer. I personally also think, that QA did a really good job on 8.2 - 99% of the features are really cool and works without bigger issues or flaws. But - as mentioned above - ASG's contains from my experience three "holy cows", where any broader spread issues quickly leads to dissatisfaction on customer side. These are:
a) Issues in the Webproxy, as slowiness, broken features or other issues, which lead to disturbance in the daily business
b) Authentication related issues, especially broken AD or eDir SSO, but also minor flaws as issues with special characters in usernames or passwords.

The third "holy cow" is the update procedure itself. But from my own and customers experience, this part became really reliable in the last years - especially after the 7.4 update. Disregarding from some minor issues I heard of (which always could and will happen in such a broad installation base), overall seen the update procedere itself isn't anymore a reason for headache, it simply works - which I personally appreciate very much.

If I should guess, I would expect, that issues in >90% of the ASG funtionality may never lead to broader complaints in the Astaro community. Webproxy and Authentication are two "holy cows", so maybe there is some room for future improvement for extended testing in view of these two special functionalities, or maybe these tests could be done as absolute last tests, before a up2date package leaves the house, that no pending changes can break these "holy cows".

However - from me big respect to the QA, and I'm sure they also will find ways to further improve as they also did in the past.

Additionally - please beta-testers don't take this personally - the majority of the public beta testers only scratch at the top of the iceberg when testing. For QA there is a lot more work to do and time for testing is not enough when intensifying testing after feature freeze which, at Astaro, is in fact the first RC release. Therefore QA has to start testing a lot earlier and already tested things may get broken again because of stuff being changed.

Hello Mario. I totally agree with you. I know you are doing a very well job @QA there. In view of the sheer amount of new features astaro puts especially into major releases, but sometimes in minor releases too, and also huge changes in the backend as new kernels, database changes, technology changes (multiport and IPSET support, groups in groups etc.) we had after 7.4 release a astonishing low amount of real issues. No full featured software is ever perfect, but overall seen we had a good time since nearly 2 years ! From my experience 8.2 is from a QA view a solid and good release too. Sadly issues in the webproxy are treated from customer side like a sacrileg, because this immediately lead to customer / user complaints if surfing experience suffers - indepentendtly of the reason.

BTW: I think we had no *serious* issues in v8.200. You can install it and the most important stuff works. *How* it works is another question. But there's nothing completely broken with it. Even the most criticized HTTP-Proxy works. It has issues, yes, but nothing really serious.

This is, where QA / developers maybe thinks in a different perspective as a customer. I personally also think, that QA did a really good job on 8.2 - 99% of the features are really cool and works without bigger issues or flaws. But - as mentioned above - ASG's contains from my experience three "holy cows", where any broader spread issues quickly leads to dissatisfaction on customer side. These are:
a) Issues in the Webproxy, as slowiness, broken features or other issues, which lead to disturbance in the daily business
b) Authentication related issues, especially broken AD or eDir SSO, but also minor flaws as issues with special characters in usernames or passwords.

The third "holy cow" is the update procedure itself. But from my own and customers experience, this part became really reliable in the last years - especially after the 7.4 update. Disregarding from some minor issues I heard of (which always could and will happen in such a broad installation base), overall seen the update procedere itself isn't anymore a reason for headache, it simply works - which I personally appreciate very much.

If I should guess, I would expect, that issues in >90% of the ASG funtionality may never lead to broader complaints in the Astaro community. Webproxy and Authentication are two "holy cows", so maybe there is some room for future improvement for extended testing in view of these two special functionalities, or maybe these tests could be done as absolute last tests, before a up2date package leaves the house, that no pending changes can break these "holy cows".

However - from me big respect to the QA, and I'm sure they also will find ways to further improve as they also did in the past.

Thank you Sascha, I think I speak for all QA people when I say that your words really are ear candy for us, especially after all critic here on 8.200 quality.

Regarding Test Automation for the 'holy cows', there is already a relatively big number of Testcases in place for the HTTP-Proxy, but of course there is always room for more testing and improvements. These are our lifesavers regarding *serious* issues - I am quite confident we will never see any *serious* issues in any future release on that one (as we didn't in 8.200). Same is true for the SMTP/POP3-Proxy. Perhaps some people remember that single borked v8.200 beta-release where the HTTP-Proxy became completely unusable? That release went out without being auto-tested at all and I'm sure our release manager won't do that again.

In general, I agree with you that testing of the most important functionality should be done last and more intensive. But especially the HTTP-Proxy tests are extremely time-consuming because test coverage must be very broad. This could lead to a much bigger time frame between RC and GA.

In general, I agree with you that testing of the most important functionality should be done last and more intensive. But especially the HTTP-Proxy tests are extremely time-consuming because test coverage must be very broad. This could lead to a much bigger timespan between RC and GA.

That's maybe a point worth to discuss ;o)