<div dir="ltr"><div>Hi George,</div><div><br></div><div>Could you possibly say a little more?</div><div><br></div><div>For our part, we run RIPE Validator.version=3.1-2020.07.06.14.28 (not the most recent version, I believe) which didn't seem to be affected and also Routinator 0.8.0 which did see it.</div><div>And, FWIW, the number of ROAs validated underneath the RIPE TA we saw drop from over 62000 to 241 (where it stayed constant for the duration of the incident.</div><div><br></div><div>The Routinator logs are quite verbose but I was able to see that during the time of the problem the number of log messages per 12-minute refresh interval grew by about 10x beyond what it had been (around 50 or 110 to about 500 or 1000).</div><div><br></div><div>I could do more looking but if you had an idea of what you were looking for it may save time or perhaps you've already found the problem.</div><div><br></div><div>Let me know if you want more info on what's in there.  Perhaps you're already running a copy of each RP package and can check your own logs.<br></div><div><br></div><div>Tony<br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Dec 1, 2020 at 9:55 PM George Michaelson <<a href="mailto:ggm@algebras.org">ggm@algebras.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Wed, Dec 2, 2020 at 3:45 AM Job Snijders <<a href="mailto:job@ntt.net" target="_blank">job@ntt.net</a>> wrote:<br>
><br>
> On Tue, Dec 01, 2020 at 01:29:58PM +1000, George Michaelson wrote:<br>
> > We have received reports that our RPKI repository was producing zero<br>
> > VRP from 00:00 to 02:00  today, Tuesday 01 December. This was visible<br>
> > in Seattle and may have been seen elsewhere.<br>
> ><br>
> > We are looking into what happened and will report back as soon as possible.<br>
><br>
> Some preliminary analysis on my side suggests this event might have been<br>
> RRDP-specific.<br>
><br>
> On (multiple) rsync-only RPKI collectors I did not observe a drop in<br>
> VRPs in the 00:00-02:00 UTC time frame. Hope this helps debugging.<br>
><br>
> Kind regards,<br>
><br>
> Job<br>
<br>
We continue to investigate.<br>
<br>
Not all RPs saw this, and it appears that the problem was due to<br>
recent updates to some relying party software.<br>
<br>
cheers<br>
<br>
-George<br>
-- <br>
RPKI-Deployers mailing list<br>
<a href="mailto:RPKI-Deployers@puck.nether.net" target="_blank">RPKI-Deployers@puck.nether.net</a><br>
<a href="https://puck.nether.net/mailman/listinfo/rpki-deployers" rel="noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/rpki-deployers</a><br>
</blockquote></div>