Log format

Astaro does not create W3C compliant log files; they are however syslog compatible.
The specific format of those logfiles is avaliable through Astaro, in case you plan on e.g. implementing a SIEM solution, as e.g. ArcSight is.

One could - with some perl magic -transform them, but I personally haven't done this yet.

The question is what your original goal is anyways; you've talked about internet quota. Could you elaborate this a little more, so that we can get our brains working?

Thanks in advance
Christian

Astaro does not create W3C compliant log files; they are however syslog compatible.
The specific format of those logfiles is avaliable through Astaro, in case you plan on e.g. implementing a SIEM solution, as e.g. ArcSight is.

One could - with some perl magic -transform them, but I personally haven't done this yet.

The question is what your original goal is anyways; you've talked about internet quota. Could you elaborate this a little more, so that we can get our brains working?

Thanks in advance
Christian

One could - with some perl magic -transform them, but I personally haven't done this yet.

Yes it´s possible, I have done this la long time ago not with perl but with simple shell script tools, although SOME (not much) date in W3C compliant logs are not in the Astaro logs. But this missing data is pretty uninteresting.
(The former purpose of the script was to convert v7 http logs into v6 log format, but as V6 is - AFAIK - w3c log file compatble, it´s the same stuff)

I have transformed the script a bit to make it V8 log file ready...

here the script:

#!/bin/sh

# Beispielzeile V6 http_access.log:
#2008:05:14-19:30:57 (none) squid_access[8150]: 1210786257.561    699 172.30.30.1 TCP_MISS/200 395 GET http://www.google-analytics.com/__utm.gif? user123 DIRECT/72.14.221.104 image/gif
#Beispielzeile V8 http.log:
#2010:04:13-19:46:01 asg httpproxy[4914]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="172.30.2.90" dstip="208.43.202.27" 
#                                                1               2               3          4                  5             6            7                   8                     9
#user="" statuscode="200" cached="0" profile="REF_WAHdEIHIfR (Profil1)" filteraction="REF_***xx (***)" size="15" time="74171 ms" 
#     10               11         12                                             13                               14        15              16
#request="0x9d78c00" url="http://stork26.dropbox.com" exceptions="ssl" error="" category="170" reputation="unverified" categoryname="Personal Network Storage" content-type="text/html"
#                 17                               18              19        20            21                    22                                         23                      24


INFILE=/var/log/http.log


cat $INFILE | grep "filteraction" | grep -v  "time=\"0 ms\"" | grep -v "severity=\"debug\"" | (while read ZEILE; do
        echo $ZEILE | awk -F"\" "  '{ORS=""; for(a=1;a

Thanks all for the quick replies; much appreciated! :-)

The question is what your original goal is anyways; you've talked about internet quota. Could you elaborate this a little more, so that we can get our brains working?

I'll try to explain what I'm attempting in a little more depth:
As I stated, we recently installed an Astaro Web Gateway (not a security gateway, apologies!) and have been in the process of moving users to it from our old proxy.
We're also looking at implementing an internet download quota management system;
and seeing as we already have software that has that feature (PaperCut), we were wanting to integrate PaperCuts' Internet Control Module with Astaro.

Our thinking is; if we could integrate both systems (Astaro & PaperCut),
that it would be the easiest and most cost effective means to get the Quota Management system up and running, as it's now a high priority.

So ultimately, I asked if there was a way to make Astaro logs W3C compliant,
as PaperCut can interpret and use the logs for its Internet Control Module natively.

Alternatively, if anyone here has had any experience with internet download/bandwidth quota management (preferably freeware!)
or if there is a way to get the Web Gateway to do this natively,
I would greatly appreciate you sharing :-)

Looking forward to all replies.