[7.902][NOTABUG][OPEN] HTTP proxy performance

Hi,
I have noticed since updating to 7.902 that the http proxy throughput has slowed significantly.
Today I was rebuilding a workstation and downloading the updates. The response times were in the minutes, not seconds and number of times the packages failed to download correctly.
When I put in a PF rule that allows the workstation to connect directly the downloads for the same packages run at nearly line speed. Also some of the packages are ported corrupted and don't install. Directly they install correctly.

Ian M
  • Astaro Beta Report
    --------------------------------
    Version: 7.902
    Type: NOTABUG
    State: OPEN
    Reporter: RFCat_vk
    Contributor: 
    MantisID: 
    Target version: 
    Fixed in version: 
    --------------------------------

  • Can you please tell us a little more about the sites involved? Was it a linux workstation, and if yes, which distribution?
  • Hi,
    yes, it is a linux workstation. Version  - Mandriva 2010 64 bit powerpack. Site was the Australian mirror on internode. I don't the exact address at the moment. I will update it tonight.
    Moving from the internode site to a French which had all the rpms the performance through the PF was not quite as good as the Australian one, but that is to be expected.

    Ian M
  • Can you tell us the exact url of the mirror you used? We guess that the site might use a combination of content-range and/or content-if headers that are currently not well supported in the http proxy.
  • oh...

    you are using the http proxy to access an ftp server. While this is perfectly legal and we especially build the http proxy to support ftp servers too, we are aware that this will never be as fast as using the http proxy with the http protocol (the main problem is the addiional authentication overhead with the ftp protocol).

    Do they have http servers too? Can you try that upgrade with an http server? I bet, it'll be much faster.
  • Hi,
    I did, but that site throws up so many errors it is not funny. I am trying to find the webadmin for the site to report a problem.

    Now I understand the problem ftp ain't ftp unless it is through the ftp proxy.

    Off to try again with a different configuration.

    Ian M
  • I did, but that site throws up so many errors it is not funny. 


    What kind of errors where that? Did they occur even without the http proxy?

    Now I understand the problem ftp ain't ftp unless it is through the ftp proxy.


    well, it's not that easy. IMHO you should only(!) use the ftp proxy if you're uploading stuff. For normal browsing and surfing the internet, the http proxy does support enough of ftp to get along. 

    ftp itself is a file transfer protocol (hence the name), but it was originally aimed at interactive use. So the original use case was something like: login to some server, cd into a specific directory, get a file, cd into another directory, get some more files, logout.
    If you try to map this to an http request, you have (in the worst case) to login and cd for each file you want to download. You can imagine how this affects the overall performance.
  • Hi kbr,
    a different set of errors without the proxy. More updates found, but a number of md5 errors.

    Ian M
  • But if you get errors without using the proxy, i would think that the line is too noisy or that the modem is the root cause. Can you please make a test and download (without the proxy or anything in between) the same file(s) from that server. Download them multiple (let's say 3) times and compare the md5 checksums each time. If they change between each download, you should check your line and/or modem.

    By pure change, one of our Pre-Sales guys from Australia is currently stuck here in Karlsruhe (No flights in europe because of vulcanism), and he suggested to simply exchange the cable modem, because sometimes, after a year or so, they just start to show random, unpredictable errors. This is just a blind guess from my side, but maybe...