Thread Info
  • State Not Answered
  • Locked Locked
  • Replies 6 replies
  • Subscribers 1 subscriber
  • Views 10043 views
  • Users 0 members are here
Options
Suggested
This discussion has been locked.
You can no longer post new replies to this discussion. If you have a question you can start a new discussion

Wetransfer - no upload of big files with https scanning active

lvandijk
Problem: users can't no longer upload big files using wetransfer.com

Seen on: Astaro 8.103 and 8.301

On our Astaros 220's we use http proxy with https scanning. There are exceptions for https sites giving trouble (certificates etc). The category Personal Network Storage is not allowed by default.

For wetransfer.com the exceptions skips url filter and ssl scanning. This has been working successfully for two years.

Since a few weeks it's no longer possible to upload big files (say 50 Mb). Smaller files are no problem. The wetransfer.com interface shows the normal procedure till 100% and then times out. Starting all over again.
The http log files show nothing abnormal. No blocked sites.

1. After disabling https scanning in the proxy profile uploading works fine again. But that's not what we want.

2. Skipping virus scanning makes no difference.

Does anyone have an explanation, and better: a solution?


This thread was automatically locked due to age.
  • 0
    I can confirm that.  I bet they changed something and that now you'll need to skip the proxy for wetransfer.

    Here's the interesting part of the logs where I think it hangs.  I wonder if the first request, with www.wetransfer.com, had gone through, if the other two sites would have tried at all. 
    2012:03:14-14:42:33 astaro httpproxy[5849]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="172.x.y.64" dstip="85.17.27.1" user="myuser" statuscode="200" cached="0" profile="REF_RMxbSZXQTi (Bob Desktop Office)" filteraction="REF_IiqUeSGrWr (Open Web Access)" size="0" request="0x9b738c0" url="www.wetransfer.com/.../message.xml

    2012:03:14-14:44:06 astaro httpproxy[5849]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0xa248068" function="ssl_write" file="ssl.c" line="811" message="SSL_ERROR_SYSCALL: ret=-1 error=Connection reset by peer"

    2012:03:14-14:44:06 astaro httpproxy[5849]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="astaro" srcip="172.x.y.64" dstip="72.21.194.23" user="myuser" statuscode="201" cached="0" profile="REF_RMxbSZXQTi (Bob Desktop Office)" filteraction="REF_IiqUeSGrWr (Open Web Access)" size="0" request="0xa248068" url="wetransfer-us.s3.amazonaws.com/.../xml"

    2012:03:14-14:46:09 astaro httpproxy[5849]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0xa248770" function="ssl_write" file="ssl.c" line="811" message="SSL_ERROR_SYSCALL: ret=-1 error=Connection reset by peer"

    2012:03:14-14:46:09 astaro httpproxy[5849]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="astaro" srcip="172.x.y.64" dstip="207.171.163.24" user="myuser" statuscode="201" cached="0" profile="REF_RMxbSZXQTi (Bob Desktop Office)" filteraction="REF_IiqUeSGrWr (Open Web Access)" size="0" request="0xa248770" url="wetransfer-us.s3.amazonaws.com/.../xml"

    2012:03:14-14:46:25 astaro httpproxy[5849]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="172.x.y.64" dstip="205.188.95.108" user="myuser" statuscode="200" cached="0" profile="REF_RMxbSZXQTi (Bob Desktop Office)" filteraction="REF_IiqUeSGrWr (Open Web Access)" size="2" request="0x9b73e60" url="reachability.aol.com/.../html"

    2012:03:14-14:46:41 astaro httpproxy[5849]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0x9b45018" function="ssl_raw_read" file="ssl.c" line="590" message="SSL_ERROR_SYSCALL: ret=-1 error=Connection reset by peer"



    Cheers - Bob
  • 0 in reply to BAlfson
    Hello Bob,

    I'm not sure I understand you.
    Using an exception, I am skipping the proxy, or not? If not, what is the best way to skip a site from the http proxy?

    Who do you think changed something: Astaro or Wetransfer?

    Leo 

    2012:03:15-08:49:35 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="10.x.y.42" dstip="85.17.27.2" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="7603" time="63 ms" request="0x98e6068" url="v1.wetransfer.com/" exceptions="url,ssl" error="" 

    2012:03:15-08:49:36 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="10.x.y.42" dstip="85.17.27.2" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="2705" time="154 ms" request="0x8a77920" url="v1.wetransfer.com/" exceptions="url,ssl" error="" 

    2012:03:15-08:49:36 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.x.y.42" dstip="178.236.4.23" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="691" time="155 ms" request="0x8a77920" url="wetransfer-eu.s3.amazonaws.com/.../xml" 

    2012:03:15-08:50:05 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.x.y.42" dstip="173.241.240.180" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="2428" time="31 ms" request="0x98ecfe8" url="ox-d.wetransfer.com/.../arj

    2012:03:15-08:50:05 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.x.y.42" dstip="85.17.27.11" user="leo" statuscode="304" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="0" time="14 ms" request="0x98ecfe8" url="duffman.wetransfer.com/.../channels10i.swf" exceptions="url,ssl" error="" 

    2012:03:15-08:50:05 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.x.y.42" dstip="173.241.240.180" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="43" time="29 ms" request="0x8a75000" url="ox-d.wetransfer.com/.../ri

    2012:03:15-08:50:39 fwbd-2 httpproxy[7006]: id="0003" severity="info" sys="SecureWeb" sub="http" request="0x8c8c008" function="ssl_log_errors" file="ssl.c" line="47" message="C 10.x.y.42: 7006:error:140ED0E5:SSL routines:SSL23_PEEK:ssl handshake failure:s23_lib.c:165: 

    2012:03:15-08:50:39 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="10.x.y.42" dstip="" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="0" time="0 ms" request="0x8c8c008" url="wetransfer-eu.s3.amazonaws.com/" exceptions="" error="" 

    2012:03:15-08:50:49 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="POST" srcip="10.x.y.42" dstip="178.236.6.33" user="leo" statuscode="201" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="0" time="55632 ms" request="0x8a77920" url="wetransfer-eu.s3.amazonaws.com/.../xml" 

    2012:03:15-08:50:50 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.x.y.42" dstip="173.241.240.180" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="2277" time="126 ms" request="0x98ecfe8" url="ox-d.wetransfer.com/.../arj

    2012:03:15-08:50:50 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.x.y.42" dstip="173.241.240.180" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="43" time="127 ms" request="0x8a75000" url="ox-d.wetransfer.com/.../ri

    2012:03:15-08:50:51 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="10.x.y.42" dstip="85.17.27.11" user="leo" statuscode="304" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="0" time="95 ms" request="0x98ecfe8" url="duffman.wetransfer.com/.../eee_1280x800.jpg" exceptions="url,ssl" error="" 

    2012:03:15-08:51:03 fwbd-2 httpproxy[7006]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="10.x.y.42" dstip="85.17.27.2" user="leo" statuscode="200" cached="0" profile="REF_KndOcHkmJV (Standaard proxy Bestuursdienst)" filteraction="REF_wgNNmzvcBO (Uitgebreide internet toegang ICT)" size="1769" time="118 ms" request="0x9db9110" url="v1.wetransfer.com/" exceptions="url,ssl" error=""
  • 0
    I guess that it was wetransfer that made some change.

    Exceptions do not cause the proxy to be skipped - just the skipping of the selected proxy actions.  Skipping the proxy is done differently depending on the mode used.

    Transparent: in 'Skip transparent mode destination hosts/nets' on the 'Advanced' tab, add a DNS Host definition for wetransfer.com.

    Standard: in 'Proxy Settings' in the clients, add wetransfer.com to 'Exceptions'.  You can do this for everyone with a Proxy Autoconfiguration (PAC) file or with a GPO if you have a Windows domain.



    Cheers - Bob
  • 0 in reply to BAlfson
    Ok, see what you mean. English not being my native language is the problem here [;)] 

    The problem can be 'resolved' by adding amazonaws.com to the exception. I still have no explanation what makes the transfer of big files go wrong, but for the moment the users are happy.

    Thanks for your support.
  • 0
    The problem can be 'resolved' by adding amazonaws.com to the exception

    Interesting.  I bet that means that recently they've moved part of their infrastrucure to Amazon's cloud.  You might want to change that to something like ^https?://wetransfer[A-Za-z0-9.-]*amazonaws\.com

    Cheers - Bob
  • 0 in reply to BAlfson
    I added 2 network definitions (Definitions & Users > Network definitions > New Network Definition > Type: DNS Group) and exceptions for these in the Web Filter > Advanced > Skip transparent mode destination hosts/nets, for transfers to work:

    1st: wetransfer.com
    2nd: wetransferbeta-eu.s3.amazonaws.com

    And it works!

    Look in the web filter logs to domains and subdomains related to wetransfer, which are blocked, and create DNS Group network definitions, otherwise it won't work. And because of their clustering and load balancing network, you will probably find other subdomains as well. Domains/subdomains must be resolvable. If you find any, feel free to share [:)]