Guest User!

You are not Sophos Staff.

This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Log format

Hi all,

My company has recently implemented Astaro Security Gateway (7.504),
and is now interested in integrating it with one of our current systems (PaperCut)
to monitor internet usage/internet quotas etc.

The PaperCut manual states that it is compatible with any proxies that provide
"W3C Compliant" logs.

Are the log files that Astaro creates W3C compliant?

Also, if anyone has had any experience in handling internet quota management in relation to Astaro:
could you point me in the right direction?


This thread was automatically locked due to age.
  • This question hasn't been addressed here before, so please do report back what you discover in examining the 'Content Filter (HTTP)' log and checking with PaperCut.  The easy answer is "No," because the PaperCut documentation says that it only is compatble with Squid and Microsoft ISA.

    Cheers - Bob
  • Astaro does not create W3C compliant log files; they are however syslog compatible.
    The specific format of those logfiles is avaliable through Astaro, in case you plan on e.g. implementing a SIEM solution, as e.g. ArcSight is.

    One could - with some perl magic -transform them, but I personally haven't done this yet.

    The question is what your original goal is anyways; you've talked about internet quota. Could you elaborate this a little more, so that we can get our brains working?

    Thanks in advance
    Christian

  • One could - with some perl magic -transform them, but I personally haven't done this yet.


    Yes it´s possible, I have done this la long time ago not with perl but with simple shell script tools, although SOME (not much) date in W3C compliant logs are not in the Astaro logs. But this missing data is pretty uninteresting.
    (The former purpose of the script was to convert v7 http logs into v6 log format, but as V6 is - AFAIK - w3c log file compatble, it´s the same stuff)

    I have transformed the script a bit to make it V8 log file ready...

    here the script:

    #!/bin/sh

    # Beispielzeile V6 http_access.log:
    #2008:05:14-19:30:57 (none) squid_access[8150]: 1210786257.561    699 172.30.30.1 TCP_MISS/200 395 GET http://www.google-analytics.com/__utm.gif? user123 DIRECT/72.14.221.104 image/gif
    #Beispielzeile V8 http.log:
    #2010:04:13-19:46:01 asg httpproxy[4914]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="172.30.2.90" dstip="208.43.202.27" 
    #                                                1               2               3          4                  5             6            7                   8                     9
    #user="" statuscode="200" cached="0" profile="REF_WAHdEIHIfR (Profil1)" filteraction="REF_***xx (***)" size="15" time="74171 ms" 
    #     10               11         12                                             13                               14        15              16
    #request="0x9d78c00" url="http://stork26.dropbox.com" exceptions="ssl" error="" category="170" reputation="unverified" categoryname="Personal Network Storage" content-type="text/html"
    #                 17                               18              19        20            21                    22                                         23                      24


    INFILE=/var/log/http.log


    cat $INFILE | grep "filteraction" | grep -v  "time=\"0 ms\"" | grep -v "severity=\"debug\"" | (while read ZEILE; do
            echo $ZEILE | awk -F"\" "  '{ORS=""; for(a=1;a
  • Thanks all for the quick replies; much appreciated! :-)

    The question is what your original goal is anyways; you've talked about internet quota. Could you elaborate this a little more, so that we can get our brains working?


    I'll try to explain what I'm attempting in a little more depth:
    As I stated, we recently installed an Astaro Web Gateway (not a security gateway, apologies!) and have been in the process of moving users to it from our old proxy.
    We're also looking at implementing an internet download quota management system;
    and seeing as we already have software that has that feature (PaperCut), we were wanting to integrate PaperCuts' Internet Control Module with Astaro.

    Our thinking is; if we could integrate both systems (Astaro & PaperCut),
    that it would be the easiest and most cost effective means to get the Quota Management system up and running, as it's now a high priority.

    So ultimately, I asked if there was a way to make Astaro logs W3C compliant,
    as PaperCut can interpret and use the logs for its Internet Control Module natively.

    Alternatively, if anyone here has had any experience with internet download/bandwidth quota management (preferably freeware!)
    or if there is a way to get the Web Gateway to do this natively,
    I would greatly appreciate you sharing :-)

    Looking forward to all replies.
  • Hi,

    the Astaro cannot do quota management at the moment. What it can do is report the bandwith used based on a single user, but there is no mechanism to automatically cut off internet usage once a certain quota has been matched.

    I do not understand how the PaperCut software works, but from what it looks like it cannot enforce the internet connection to be cut by itself but does this with the help of an IIS or a squid plugin.

    So, in a nutshell:

    What is possible with Astaro:
    - user based traffic reporting

    What isn't possible:
    - quota based disconnection or other quota based actions

    The best way to implement this would be to use RADIUS accounting, however this is not done at the moment.

    So as you've mentioned there are several alternatives out there. What could be worth looking at is maybe EasyHotspot: EasyHotspot

    This tool allows you to define user accounts with quotas; however there is no way known to me for linking this to AD users. 

    Maybe that helps
    Christian