This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

HTTPS Scanning Frustrations

We recently enabled HTTPS scanning and I am getting errors all over the place. 

One frustrating issue is a german online class. The website works fine, but when the students need to view the actual lesson plan the firewall blocks it, giving the error "The Connection Was Reset" in Chrome. Turning HTTPS off gives no error and everything loads correctly. For now I just turned the HTTPS scanning off so they can continue to have class. I've tried to following exceptions with no success:

^https?://([A-Za-z0-9.-]*\.)?okstate\.edu/
^https?://[A-Za-z0-9.-]+\.okstate\.edu/
^https?://okstate\.edu/
^https?://([A-Za-z0-9.-]*\.)?okstate\.edu\.?/

I'm not a networking guy, which is why I'm using Sophos UTM, but I can't figure this one out. What's my problem? Also, how necessary is HTTPS scanning in the first place?


This thread was automatically locked due to age.
  • ^https?://([A-Za-z0-9.-]*\.)?okstate\.edu/

    That should work, I would prefer ^https?://[A-Za-z0-9.-]*okstate\.edu as it's simpler.  The others won't work all or some of the time.

    To determine the problem, you would need to show us the line in the Web Filtering log where the access failed.

    Also, how necessary is HTTPS scanning in the first place?

    Depends on the needs of the organization.

    Cheers - Bob
  • My mistake, I should have put that in the first place:

    2014:03:04-15:28:48 MembcIT-1 httpproxy[5357]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="" srcip="192.168.3.206" dstip="" user="" statuscode="502" cached="0" profile="REF_HttProMcaStudeNetwo (MCA Student Network)" filteraction=" ()" size="0" request="0xf97f490" url="139.78.96.144" exceptions="" error="Failed to verify server certificate"
    2014:03:04-15:28:48 MembcIT-1 httpproxy[5357]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="" srcip="192.168.3.206" dstip="" user="" statuscode="502" cached="0" profile="REF_HttProMcaStudeNetwo (MCA Student Network)" filteraction=" ()" size="0" request="0xf97f910" url="139.78.96.144" exceptions="" error="Failed to verify server certificate"
    2014:03:04-15:28:48 MembcIT-1 httpproxy[5357]: id="0002" severity="info" sys="SecureWeb" sub="http" name="web request blocked" action="block" method="" srcip="192.168.3.206" dstip="" user="" statuscode="502" cached="0" profile="REF_HttProMcaStudeNetwo (MCA Student Network)" filteraction=" ()" size="0" request="0xe49fde8" url="139.78.96.144" exceptions="" error="Failed to verify server certificate"

    We are a church and private school. I have three subnets, one for church staff, one for teachers, and one for students. Would these need HTTPS scanning, in your opinion?
  • I work with a lot of web content filtering environments. 

    Nobody can make recommendations on what type of content filtering you need - your organization and you are the only ones that can do that.
  • I presume this is pure transparent traffic (as opposed to explicit/standard proxy) with "Decrypt and scan" enabled.

    Going by IP, I see a public CA at http://cert.incommon.org/InCommonServerCA.crt CRL at http://crl.incommon.org/InCommonServerCA.crl but SNI can make the server return a different certificate.  Consider importing this CA.  If the server returns other certificates, are these certificates self-signed or perhaps signed by an intermediate CA that's not available?  If self-signed, you'll probably need a exception for certificate trust check on 1+ IPs at okstate.edu (139.78.0.0/16 being their entire range).

    UTM-9.2 introduces a new option of filtering based on host name (for TLS-1.1+ clients; aka SNI inspection) whereby the clients don't need any new certificates but you can block some more sites without firewall rules.  I work on a team and we have several UTMs that we've had to put in a firewall rule to block facebook due to the number of clients that are less managed and don't gracefully handle an explicit proxy system.  9.2 eliminates this need but introduces other consideration.

    Due to already diagnosed bugs resolved in 9.201 and the lack of a release of a supporting SUM, this won't be an option for us for a few months.
  • HTTPS scanning is basically more protection at the cost of more management for you.

    If you do not have HTTPS scanning and you are blocking people from certain sites, be aware that some people can bypass your blocks.  For example, you block youtube and they go to HTTPS youtube.  If you don't do scanning, you dont block it.

    If on the other hand, you are mostly just protecting from viruses and you realize that most students will just go to youtube with their phone anyway...  You can save yourself some configuration by not doing scanning.

    If you control all devices on your networks, HTTPS scanning is easier.  If you have a BYOD network then scanning is more problematic.

    There is no correct answer, it depends on your needs.


    As for your error it is an SSL certificate error when you are going to an HTTPS site via IP (which is quite unusual and indicates a poorly written site/app).

    In your browser try going to:
    https://139.78.96.144

    You should get a block page from the UTM saying it is an untrusted website and has a link for "Add exception for this URL".  Click on it, put in your admin credentials, and you should be fine.  Alternately you can go through WebAdmin in the Web Filtering, under Exceptions, create an exception for the SSL checks for a destination of that site/IP.