<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">I have three identically-configured Power DNS 2.9.21 servers. Server 1 and 2 are on Centos5 "Linux version 2.6.18-028stab064.7 (root@rhel5-64-build) (gcc version 4.1.2 20070626 (Red Hat 4.1.2-14)) #1 SMP Wed Aug 26 13:11:07 MSD 2009" and "Linux version 2.6.18-028stab070.5 (root@rhel5-build-x64) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-46)) #1 SMP Fri Sep 17 15:37:23 MSD 2010" and server 3 is on SuSE "Linux version 2.6.22.18-0.2-default (geeko@buildhost) (gcc version 4.2.1 (SUSE Linux)) #1 SMP 2008-06-09 13:53:20 +0200". Up until two weeks ago, everything was working the same. Then, suddenly, Server 3 responses changed without my making any configuration changes.<div><br></div><div><b>Server 1 Response</b></div><div><div>$ host <a href="http://ip2.dns2.my-domain-1.com">ip2.dns2.my-domain-1.com</a> <a href="http://dns1.my-domain-1.com">dns1.my-domain-1.com</a></div><div>Using domain server:</div><div>Name: <a href="http://dns1.my-domain-1.com">dns1.my-domain-1.com</a></div><div>Address: [my-ip-address-1]#53</div><div>Aliases: </div><div><br></div><div><a href="http://ip2.dns2.my-domain-1.com">ip2.dns2.my-domain-1.com</a> has address [my-ip-address-4]</div></div><div><br></div><div><b>Server 1 Log</b></div><div><b><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:37 About to create 3 backend threads for UDP</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:37 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:37 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:37 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:37 Done launching threads, ready to distribute questions</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:44 Distributor misses a thread (4<3), spawning new one</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:44 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:44 Authoritative empty NO ERROR to [my-ip-address-home] for 'ip2.dns2.my-domain-1.com' (AAAA), other types do exist</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:30:44 Authoritative empty NO ERROR to [my-ip-address-home] for 'ip2.dns2.my-domain-1.com' (MX), other types do exist</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:31:23 Authoritative empty NO ERROR to [my-ip-address-home] for 'ip2.dns2.my-domain-1.com' (AAAA), other types do exist</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:31:23 Authoritative empty NO ERROR to [my-ip-address-home] for 'ip2.dns2.my-domain-1.com' (MX), other types do exist</span></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div>Server 2 Response</div><div><div><span class="Apple-style-span" style="font-weight: normal;">$ host <a href="http://ip2.dns2.my-domain-1.com">ip2.dns2.my-domain-1.com</a> <a href="http://dns2.my-domain-1.com">dns2.my-domain-1.com</a></span></div><div><span class="Apple-style-span" style="font-weight: normal;">Using domain server:</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Name: <a href="http://dns2.my-domain-1.com">dns2.my-domain-1.com</a></span></div><div><span class="Apple-style-span" style="font-weight: normal;">Address: [my-ip-address-1]#53</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Aliases: </span></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div><span class="Apple-style-span" style="font-weight: normal;"><a href="http://ip2.dns2.my-domain-1.com">ip2.dns2.my-domain-1.com</a> has address [my-ip-address-4]</span></div></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div>Server 2 Log</div><div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:24 About to create 3 backend threads for UDP</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:24 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:24 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:24 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:24 Done launching threads, ready to distribute questions</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:30 Distributor misses a thread (4<3), spawning new one</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:30 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:31 Authoritative empty NO ERROR to [my-ip-address-home] for 'ip2.dns2.my-domain-1.com' (AAAA), other types do exist</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:33:31 Authoritative empty NO ERROR to [my-ip-address-home] for 'ip2.dns2.my-domain-1.com' (MX), other types do exist</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:34:12 Authoritative empty NO ERROR to [my-ip-address-home] for 'ip2.dns2.my-domain-1.com' (AAAA), other types do exist</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:34:12 Authoritative empty NO ERROR to [my-ip-address-home] for 'ip2.dns2.my-domain-1.com' (MX), other types do exist</span></div></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div><span class="Apple-style-span" style="font-weight: normal;">So far, everything looks right. But here's server 3...</span></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div>Server 3 Response</div><div><div><span class="Apple-style-span" style="font-weight: normal;">$ host <a href="http://ip2.dns2.my-domain-1.com">ip2.dns2.my-domain-1.com</a> <a href="http://dns3.my-domain-1.com">dns3.my-domain-1.com</a></span></div><div><span class="Apple-style-span" style="font-weight: normal;">;; reply from unexpected source: [my-ip-address-3]#267, expected [my-ip-address-3]#53</span></div><div><span class="Apple-style-span" style="font-weight: normal;">;; reply from unexpected source: [my-ip-address-3]#267, expected [my-ip-address-3]#53</span></div><div><span class="Apple-style-span" style="font-weight: normal;">;; connection timed out; no servers could be reached</span></div><div><span class="Apple-style-span" style="font-weight: normal;">$ host <a href="http://my-domain-2.com">my-domain-2.com</a> <a href="http://dns3.my-domain-1.com">dns3.my-domain-1.com</a></span></div><div><span class="Apple-style-span" style="font-weight: normal;">;; reply from unexpected source: [my-ip-address-3]#267, expected [my-ip-address-3]#53</span></div><div><span class="Apple-style-span" style="font-weight: normal;">;; reply from unexpected source: [my-ip-address-3]#267, expected [my-ip-address-3]#53</span></div><div><span class="Apple-style-span" style="font-weight: normal;">;; connection timed out; no servers could be reached</span></div></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div>Server 3 Log</div><div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:24:00 About to create 3 backend threads for UDP</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:24:00 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:24:00 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:24:00 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:24:00 Done launching threads, ready to distribute questions</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:24:09 Distributor misses a thread (4<3), spawning new one</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:24:09 gmysql Connection succesful</span></div><div><span class="Apple-style-span" style="font-weight: normal;">Oct 02 10:35:29 Not authoritative for 'my-domain-2.com', sending servfail to [my-ip-address-home] (recursion was desired)</span></div></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div><span class="Apple-style-span" style="font-weight: normal;">I've examined my ports in use with nmap and lsof and I've examined my firewall rules. Nothing has changed and everything looks correct. pdns_serv is listening on port 53. I can telnet in to port 53 from the same machine as the queries above were executed from. I get the same results with both host and dig.</span></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div><span class="Apple-style-span" style="font-weight: normal;">Anybody have any ideas?</span></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div><span class="Apple-style-span" style="font-weight: normal;">Thanks,</span></div><div><span class="Apple-style-span" style="font-weight: normal;"><br></span></div><div><span class="Apple-style-span" style="font-weight: normal;">Nick</span></div></b></div></body></html>