<div dir="ltr">Hi all,<div><br></div><div>Just wondering how other companies are using Mimedefang and what people do to handle issues that arise with general email parsing/storage.  My companies product involves email archiving.  I have been working here for the past 7 years as (more or less) a solo engineer so I often feel like I am trapped in a bubble.  It can be a bit difficult at times to not have other people to turn to when I get stuck on something that is non-trivial.  Anyway, very simple numbers are as follows:</div><div><br></div><div>3 million mails a day<br></div><div>24 c3.large servers = 90GB ram (AWS love it/hate it we wouldn't have gotten this far without it).</div><div><br></div><div>Ongoing issues:</div><div><br></div><div>1) Retry requests.  Given that this is an archiving service, I generally don't worry about this too much but I wonder how others feel about retry requests resulting from the slave/queue being full?  As it stands I think our current setup can handle quite a bit more traffic on average than we currently process.  We do, however, often get several unpredictable daily spikes whose resulting retry requests I have tried to overcome by throwing hardware at the problem.</div><div><br></div><div>2) Premature EOM unexpected close.  I see this sometimes and have tried looking into it on multiple occasions, but I have yet to find anything to help me sort out what is happening in my case.  I really dislike not knowing the why of the what.  Our traffic mostly comes from office 365 and google apps.  Haproxy is sitting in front of the mail processing servers with lengthy timeouts.  Otherwise it is a very straightforward setup.</div><div><br></div><div>We use ES, Tika, S3 and several other technologies so there is a lot happening around the simple act of storing email.</div><div><br></div><div>Regards,</div><div>Nate</div></div>