Scanning file downloads

You don't want the "download manager" page

Correct.
If I could diasable the download manager page, or have it open in another window/tab, that would be ideal, but I have no idea if this is possible or not (or how to do it if it is possible)

If I recall there were some changes (fixes) in 9.1 for when the download manager page is displayed.

Would be nice to know how to do this; that is, specify when it is displayed.

Make sure that you are hitting the filter action you think you are.  Download one of those files then look at the log line at filteraction=

I cannot find any log entries with "filteraction=". Which log file should I be looking in?

The other thing I would check is if you are doing this in transparent mode, try it with standard mode to see if it makes a difference.  No need to change the config on the UTM, you just set the browser proxy.

Yes, I am running in transparent mode and would prefer to keep it that way, as it requires no configuration of the browser.

Which log file should I be looking in?

Web Filtering.

The only way you might be able to disable the scanning engine would be to empty out the mime-type and extension filters.

Cheers - Bob

In the UI it is "Web Filtering".  If you are in SSH it is /var/log/http.log

From help (Management\Customization\Web Messages\Download Manager):
If the Web Filter is enabled, the web browser will display the following download pages while downloading content greater than 1 MB in size that is neither text nor an image. The download page will not be displayed when video or audio streams are requested or more than 50 % of the file has been downloaded within five seconds.

I think there may also be something where if the user agent string does not contain "Mozilla" then we assume it is not a browser and we don't display the page.

There is more to it then that, though.  I just did a quick test of downloading a large zip file.  With AV turned on I got the page and with AV turned off I didn't.  So I think you are on the right track - not sure why it isn't working.

if the file is larger than the scansize setting the a/v won't scan it...

Thanks for all of the responses and suggestions so far; they are appreciated.
Replying to a few of those suggestions...

I should start by saying that I did take your advice William and made a v9 backup file, rebuilt the UTM then applied this backup.
Much to my surprise, this did resolve the issue of being able to enable / disable the virus scanning.
So... one problem solved, thank you.
Having said that, clicking on a PDF file link still does not work as it used to, that being that it is simply downloaded by the browser then displayed in Acrobat. Clicking on the link now opens a blank page first, then does the above. It did not do that before when using ASG v8.x.
This, although being a bit of an annoyance, is not my prime focus here. Working with, and understanding the web filtering is...

Web Filtering.

I am not seeing any usable information in the web filtering log (live log). However, if I go to the archived log files I can download a previous file and I am seeing entries which include filteraction="REF_DefaultHTTPCFFAction (Default content filter action)"

You cannot create new filters under URL Filtering, so I would have expected the default filter action to be the last filter under URL Filtering Categories, but there is no such filter in that section.
Where is the default filter located? Can I modify this filter's actions?

As a side question... when I click on a log's "View" button, on the "Today's Log Files" or the "Archived Log Files" pages, nothing happens. I guess that this is something else I will have to look into.
Any suggestions as to why the log file does not open in the browser when the button is clicked?

From help (Management\Customization\Web Messages\Download Manager):

I cannot access that tab, as I am using a Home User license.


To summarise here...
I can now enable / disable the file scanning (biggest problem solved)
I would prefer not to disable web filtering entirely in order to not see / use the file download manager.
In a perfect world I would like to be able to omit specific file types (by extension) from being processed through the UTM but allow scanning of all web pages, to eliminate the potential hidden threats within.

Am I asking too much?

v9 is MUCH heavier on resources than v8.  What are the full specs of your utm installation?  cpu type and speed, ram, features in use..what model nics...how many users?  set your scanning size to 1 meg..anything bigger than that will be bypassed...at least until we can figure out where the issue is..but i'm thinking it's hardware/wan at this point.

To be honest William, I am not seeing that much difference in resource utilisation.

The box I run the firewall on is no powerhouse by any means. It's an old P4 workstation machine with 1Gb of memory. It uses the onboard Gb NIC and 2 x 3COM Gb NICs - definitely nothing special.
As stated, I have a home user licence, as that is what I am. I used to work in IT (3rd level support and development) and at that time more of the features were utilised, but now I just run the bare minimum to keep things inside my network safe. In a worst case scenario there might be four users, but normally these days it's just two. Nothing that should be the least bit taxing for an enterprise level firewall.
I have attached an image showing the dashboard. 

As with v8.x, I am using about 70% of the available memory.
My experience so far with UTM 9.1 is that the webadmin interface is considerably faster than it was in ASG 8.x, which is nice.

Sometime in the near future I will be updating the box, but doubt I will go with more than 2Gb of memory. In the past I have simply sourced a second hand, ex lease, corporate level workstation and used that as my firewall. That has worked well for me since starting with Astaro v3 way back, so I see no reason to change this approach.

I am at a bit of a loss understanding why you believe that the spec of my firewall machine is the source of these issues.
Maybe you can explain your rationale.

I agree... setting the scan size to 1Mb is an option.
I did try to set it to zero, but the UTM had an issue with that.

There's the issue.  Which p-4 exactly?  if it isn't at least 2.5ghz with HT the p-4 might not be nearly fast under v9 to handle those downloads in realtime..so you see the download screen while the system chugs through it.  Your ram is also highly problematic.  The minimum recommendation for v9 form sophos is 2 gigs..realistically it's 4 gigs.  So not only does it have to try to scan it on the fly(which takes ram) the instant you do start scanning something the system instantly goes into swap so it can extract and inspect the contents of the file.  You simply don't have enough machine for v9 and a/v...or much of anything else.  If you quadrupled the ram you MIGHT be able to have enough cpu horsepower so the system can scan the file in realtime therefore not needing to buffer the download so it can be scanned while it desperately claws for ram that simply doesn't exist.  Ram is cheap..get 4 gigs into that box and see if that doesn't help things.  Your cpu is most likely the other bottleneck but until you relieve the absolute strangulation you have that poor machine under form no ram..we won't know.  One of my installs is a p-4 2.4 ghz non HT and i won't put v9 on it....not if i want it to perform worth anything..[:)]

Not discarding anything that you have written William, but if we go back to my original concern; this being the UTM download page being displayed every time I download a file and in the process, navigating away from the page the download link was on.

I do not understand how the specification of the box would affect the above process.
I agree that faster processing on the UTM would be beneficial, but downloads are not instantaneous so the download page would still be displayed, albeit maybe for a shorter time.
Am I not correct?

and i have explained why that is happening in v9 instead of v8.  you need more ram at the absolute minimum..then you might need a beefier cpu..v9 is waaaaay heavier than v8.  It's that simple...get more ram(4 gigs) into that thing..if the cpu is fast enough AFTER THAT'S DONE then you won't see the download manager.  The download manager only shows itself when the download isn't going to go in real time..for any reason...be the server on the other end is slow..your inet is slow..or your system is woefully overload or under resourced.  Your system is under resourced by a ton..you will ALWAYS see the download manager with the system running v9 in it's current configuration.