<div dir="ltr">Heya.<div><br><div>Hope, both are VMs yes, but they are provisioned identically. Looking a bit deeper each server is using a slightly different 'version' of the CPU:</div></div><div><br></div><div><font face="monospace">cat /proc/cpuinfo | grep mode<br>model           : 45<br>model name      : Intel(R) Xeon(R) CPU E5-2667 v3 @ 3.20GHz<br>model           : 45<br>model name      : Intel(R) Xeon(R) CPU E5-2667 v3 @ 3.20GHz<br></font></div><div><font face="monospace"><br></font></div><div><font face="monospace"> cat /proc/cpuinfo  | grep mode<br>model           : 63<br>model name      : Intel(R) Xeon(R) CPU E5-2667 v3 @ 3.20GHz<br>model           : 63<br>model name      : Intel(R) Xeon(R) CPU E5-2667 v3 @ 3.20GHz</font><br></div><div><br></div><div>One thing I notice is that on the server using more memory right now, it has more logs about rsync timeouts:</div><div><font face="monospace"><br></font></div><div><font face="monospace">● routinator.service - Routinator 3000<br>   Loaded: loaded (/etc/systemd/system/routinator.service; enabled; vendor preset: enabled)<br>   Active: active (running) since Sat 2019-10-19 21:59:07 EDT; 1 day 11h ago<br>     Docs: man:routinator(1)<br> Main PID: 27905 (routinator)<br>    Tasks: 8 (limit: 4626)<br>   Memory: 747.3M<br>   CGroup: /system.slice/routinator.service<br>           └─27905 /root/.cargo/bin/routinator server --rtr <a href="http://127.0.0.1:3323">127.0.0.1:3323</a><br><br>Oct 21 09:10:35 bgp2 routinator[27905]: rsync://<a href="http://ca.rg.net/rpki">ca.rg.net/rpki</a>: failed with status exit code: 35<br>Oct 21 09:10:35 bgp2 routinator[27905]: rsync://<a href="http://ca.rg.net/rpki">ca.rg.net/rpki</a>: rsync error: timeout waiting for daemon connectio<br>Oct 21 09:20:53 bgp2 routinator[27905]: rsync://<a href="http://ca.rg.net/rpki">ca.rg.net/rpki</a>: failed with status exit code: 35<br>Oct 21 09:20:53 bgp2 routinator[27905]: rsync://<a href="http://ca.rg.net/rpki">ca.rg.net/rpki</a>: rsync error: timeout waiting for daemon connectio<br>Oct 21 09:21:10 bgp2 routinator[27905]: rsync://<a href="http://rpki-repository.nic.ad.jp/ap">rpki-repository.nic.ad.jp/ap</a>: failed with status exit code: 35<br>Oct 21 09:21:10 bgp2 routinator[27905]: rsync://<a href="http://rpki-repository.nic.ad.jp/ap">rpki-repository.nic.ad.jp/ap</a>: rsync error: timeout waiting for da<br>Oct 21 09:31:35 bgp2 routinator[27905]: rsync://<a href="http://rpki-repository.nic.ad.jp/ap">rpki-repository.nic.ad.jp/ap</a>: failed with status exit code: 35<br>Oct 21 09:31:35 bgp2 routinator[27905]: rsync://<a href="http://rpki-repository.nic.ad.jp/ap">rpki-repository.nic.ad.jp/ap</a>: rsync error: timeout waiting for da<br>Oct 21 09:31:48 bgp2 routinator[27905]: rsync://<a href="http://ca.rg.net/rpki">ca.rg.net/rpki</a>: failed with status exit code: 35<br>Oct 21 09:31:48 bgp2 routinator[27905]: rsync://<a href="http://ca.rg.net/rpki">ca.rg.net/rpki</a>: rsync error: timeout waiting for daemon connection</font><br></div><div><br></div><div><font face="monospace"><br></font></div><div><font face="monospace">● routinator.service - Routinator 3000<br>   Loaded: loaded (/etc/systemd/system/routinator.service; enabled; vendor preset: enabled)<br>   Active: active (running) since Sun 2019-10-20 17:47:29 EDT; 15h ago<br> Main PID: 23658 (routinator)<br>    Tasks: 8 (limit: 4626)<br>   Memory: 645.9M<br>   CGroup: /system.slice/routinator.service<br>           └─23658 /root/.cargo/bin/routinator server --rtr <a href="http://127.0.0.1:3323">127.0.0.1:3323</a><br><br>Oct 20 20:57:14 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: failed with status exit code: 3<br>Oct 20 20:57:14 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: rsync error: timeout waiting fo<br>Oct 20 21:07:43 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: failed with status exit code: 3<br>Oct 20 21:07:43 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: rsync error: timeout waiting fo<br>Oct 20 21:18:12 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: failed with status exit code: 3<br>Oct 20 21:18:12 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: rsync error: timeout waiting fo<br>Oct 20 21:28:55 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: failed with status exit code: 3<br>Oct 20 21:28:55 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: rsync error: timeout waiting fo<br>Oct 20 21:39:24 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: failed with status exit code: 3<br>Oct 20 21:39:24 bgp1 rpki-routinator[23658]: rsync://<a href="http://rpki.afrinic.net/repository">rpki.afrinic.net/repository</a>: rsync error: timeout waiting fo</font><br><br></div><div><br></div><div>I might be completely wrong here, but maybe the memory is increasing each time there is a timeout?</div><div><br></div><div>Thanks</div><div>Darren</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 21 Oct 2019 at 05:40, Martin Hoffmann <<a href="mailto:martin@nlnetlabs.nl">martin@nlnetlabs.nl</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Darren O'Connor wrote:<br>
> On Sun, 20 Oct 2019, 13:08 Paul Hoogsteder, <<a href="mailto:paul@meanie.nl" target="_blank">paul@meanie.nl</a>> wrote:<br>
> <br>
> > That seems excessive. My routinator uses 116/139M at the moment.<br>
> > That's on Raspbian so not completely comparable but I guess most<br>
> > datastructures will be comparable in size.<br>
><br>
> Even stranger is that I have two instances on two identical servers.<br>
> One is 550MB and the second is using 657MB. I'm not sure why.<br>
<br>
It looks like memory consumption is tied to the number of validation<br>
threads which defaults to the number of CPUs (or cores, rather). Paul’s<br>
Pi probably has just one -- if I run Routinator with<br>
--validation-threads 1, I get to a similar number.<br>
<br>
Are you perhaps using VMs or somesuch with different number of cores<br>
allocated?<br>
<br>
Kind regards,<br>
Martin<br>
</blockquote></div>