CEO解释：被忽视的软件更新导致Telstra大规模网络中断

edith921

Telstra将上周造成全国性混乱的网络中断归咎于一套关键授时系统未进行软件更新，并承认其维护团队对该系统的一项设计变更毫不知情，而这一变更影响了系统的重置方式。

周五，Telstra首席执行官Vicki Brady在参议院针对此次移动网络中断的调查听证会上表示上周三凌晨4点30分网络中断时，45%的电话和数据会话受到影响。

Telstra表示其网络并不缺乏冗余，但这种冗余并未能阻止此次中断。

在提交给委员会的报告和听证会上，高管们证实了一项报道：Telstra三个网络时间协议（NTP）服务器中有一个旨在确保系统时间准确的服务器，在重置后时间回到了2006年。

Brady确认该服务器为Microchip品牌的SSU 2000型号。该设备制造于2011年，更换成本为3万澳元。Telstra在悉尼、墨尔本和珀斯各部署了一台。尽管该设备仍处于Scientific Devices公司的支持服务期内，但听证会获悉问题并非出在硬件上，而是电信运营商没有应用相关的软件更新。

在更换故障备用电源的维护期间，公司关闭并重启了墨尔本的服务器。由于服务器内部存在“潜在的软件配置问题”，它重启后的日期错误地显示为2006年。

“在接下来的几个小时里，不正确的日期在网络中缓慢传播，导致其他服务器中的身份验证证书失效，”Telstra表示。

“客户无法间歇性地进行网络身份验证（即’无服务’），这影响了他们在Telstra移动网络上拨打电话和使用数据的能力。”

高管们透露除了服务器与异地服务器失去通信能力外，公司在2022年和今年1月都曾收到制造商的警告，称其需要更新软件。他们表示如果当时应用了更新，此次中断本可避免。

Telstra还曾对该设备进行过一次有意的设计变更，以修复之前的故障，但并未就此为维护人员留下适当的记录。

公司负责端到端韧性的高管Gerard Tracey还表示如果Telstra投资了运行在同一设计理念下的新硬件，此次中断可能就不会发生。

提交的文件还显示当墨尔本NTP服务器因维护断开时，其他两台服务器按预期发挥了冗余和备份作用。

Telstra表示造成此次中断的原因是不可接受的，并暗示其控制措施做得不够好。Brady在听证会上表示Telstra对此次中断承担全部责任。

Telstra表示其调查将深入探究为何设计变更未被记录在案，以及软件更新为何未完成。

在中断期间，Telstra表示有58835次拨打000的电话成功接通，而604次出现了错误。

Telstra还为所有电信运营商运营000平台。公司表示该平台不使用NTP服务器进行同步，因此未受此次事件影响。NBN的固定电话用户也未受影响。

Telstra已承诺向受中断影响的客户提供赔偿。Brady表示公司正在研究如何向企业客户（包括运营导致V/Line服务中断的网络运营商——澳洲铁路轨道公司）进行赔偿。

Brady表示预计大多数客户将以话费抵扣的形式获得赔偿。截至周五，在近900万受影响的客户中，Telstra已收到约8000份索赔。过去一周已赔付约10万澳元。

https://www.theguardian.com/busi ... esign-change-outage

happyheros

How pathetic

Evo

这种水平的管理已经见怪不怪了。

还提议澳洲上核电呢，管理要是掉链子了就是澳洲版切尔诺贝利。

Flyingfree

Evo 发表于 2026-7-17 16:56
这种水平的管理已经见怪不怪了。

还提议澳洲上核电呢，管理要是掉链子了就是澳洲版切尔诺贝利。

Telstra从 2020 年起就收到供应商警告，但未采取行动。

这其实已经不是管理水平低，而是在犯罪了。

Evo

Flyingfree 发表于 2026-7-17 16:59
Telstra从 2020 年起就收到供应商警告，但未采取行动。

这其实已经不是管理水平低，而是在犯罪了。 ...

连躬都不拘一个，还犯罪呢

呵呵虫

老子就这样，咋滴

xxxxyyyy

完全就是大规模使用印度外包的后遗症，但是没有哪位精英白人会去承认。

VICKYCCS

凌晨发生的故障大概率是系统升级，如果是旧系统时间发生冲突一般在12点，不可能在4:30。Telstra 拿这种不靠谱的解释骗人。

figtree1

澳洲的工作文化有两个大问题，一是不会去精益求精，过得去就行。二是不会严厉追责，比较宽容，有好处有坏处吧

YumeYuki

之前维护的这些系统的人员被降本增笑了？

groper

就特么的发了个道歉邮件，连流量都没送个几B。

seaskyv

groper 发表于 2026-7-17 17:26
就特么的发了个道歉邮件，连流量都没送个几B。

真没诚意，给5块钱credit也行啊； 不过人家就啥也不给你能咋样？

civ

感觉只有成立皇家委员会才有可能问出到底是什么原因。

innsfree

YumeYuki 发表于 2026-7-17 17:24
之前维护的这些系统的人员被降本增笑了？

有可能，但另一种可能性更大：
第一次邮件通知，哇，这么关键的系统时间服务，先开个工单测试一下有没有问题；
测试人员因为某个blocker没能完成测试，想想，反正也不急，拖着拖着，当初做测试的人被裁了，后面接手的人哪敢动关键系统时间服务，想着十几年都没问题，也别升级固件了，没准过两年就换新硬件了，固件升级出了问题反而是自己的责任。
屎山代码埋下的技术债定时炸弹就在一次意外断电，系统重启后被引爆了。

rayki

让AI给分析了一下： 最高层级（Stratum 1）： 电信运营商的核心授时服务器属于顶级时间源。为了保证微秒甚至纳米级的精度（这对 5G/4G 无线基站的时隙同步至关重要），它们通常不通过互联网向外对时，而是直接连接 GPS/GNSS 卫星信号，或者依赖机房内昂贵的原子钟（铯钟或铷钟）。
安全隔离（Air-gapped）： 核心电信网络为了防止黑客攻击和时间篡改，是与外网严格物理隔离的。它绝对不可能去访问外部公开的互联网 NTP 服务器。
为什么重启变回了 2006 年？ 文中提到，这是一台 2011 年制造的老设备（Microchip SSU 2000），且有两年以上的关键软件更新没有安装。当维护人员重启它时，由于这个潜在的软件 Bug，系统在启动初始化时未能正确读取 GPS 信号或内部时钟，而是直接跌落回了该设备固件出厂设置的基准时间（Epoch Time，即 2006 年）。
还是解释不了为啥另外两台2026NTP 不拒绝2006 - 虽然有说： 其他两台服务器按预期发挥了冗余和备份作用。

也就说这台机器不仅有bugs 没更新。然后等级还最高，自动控制其他的冗余NTP 服务器。

结果墨尔本管家在厕所里摔了一跤摔失忆了，坚称今年是 2006 年。当他走出来时，因为他身上还穿着大管家的衣服，盖着大管家的公章（设计变更导致的特权），下面干活的仆人们（验证服务器）不敢质疑他，直接把挂历全撕回了 2006 年。而另外两个管家虽然手表时间是对的，但在家规里他们管不着同级别的墨尔本管家，只能眼睁睁看着他瞎指挥。  靠。 就三台NTP 少的可怜了。  随便我看到的客户环境都是5+以上的。

wangwalter

水平低的借口。。。。。

kanweng

Flyingfree 发表于 2026-7-17 16:59
Telstra从 2020 年起就收到供应商警告，但未采取行动。

这其实已经不是管理水平低，而是在犯罪了。 ...

很简单，一直在裁员， 人心惶惶， 没人认真做事情， 加上都要走了，文档基本也不做。

1月份收到最后警告更新软件，1月份就宣布才260多人， 要走的人，谁管呢

kanweng

YumeYuki 发表于 2026-7-17 17:24
之前维护的这些系统的人员被降本增笑了？

应该是一月份走的， 下周一再走450人

kawara

这件事比“漏装一个软件更新”严重得多。**真正的问题不是一台2011年的旧设备，而是Telstra把错误时间当成可信数据，允许它穿透多层系统。**

故障链条大概是：

1. 维护人员为更换备用电源，重启墨尔本的SSU 2000。
2. 因软件/配置缺陷，设备时间回到2006年。
3. 这台设备重新接入生产网络后，错误时间逐步传播。
4. 依赖时间判断有效性的证书、认证、会话和策略控制开始失败，用户因而出现“No service”。Telstra确认高峰时约45%的语音和数据会话受影响。

## “有三台冗余服务器”为什么没用

因为它们防范的是**服务器停止服务**，不是**服务器一本正经地提供错误数据**。

墨尔本服务器被关闭时，悉尼和珀斯两台确实正常接管；但它重新上线后，不是沉默，而是宣布“现在是2006年”。下游系统仍然接受了这个结果。这属于典型的：

> fail-stop redundancy 能防宕机，不能自动防止错误节点输出可信但错误的数据。

Telstra自己也承认，问题不是缺少冗余，而是错误时间被下游安全、认证和会话系统接受并传播。

标准NTP实现通常具备多个时间源选择、异常源排除和大幅时间偏差保护机制。例如常见的 `ntpd` 默认在偏差超过1000秒时触发“panic threshold”，而不是安静地接受几十年的跳变。

当然，我们还不知道Telstra具体的时间拓扑和厂商实现，因此不能断言它简单地“关掉了一个参数”。但一个接近20年的时间倒退能够进入生产环境，至少说明**异常值检查、源头仲裁或重新接入控制存在严重缺口**。

## 这是连续几层管理失效

最难看的不是软件bug，而是：

- 厂商在2022年和2026年1月都通知需要更新，Telstra没有完成更新；
- Telstra曾自行改变设备设计以处理旧故障，却没有正确记录；
- 维护人员不知道这项设计变更；
- 维护结束后，显然没有在重新接入网络前验证日期、时间源状态和偏移量；
- 没有及时阻断一台时间严重异常的设备向下游供时。

所以这不是某一个工程师按错按钮，而是 **patch management、configuration management、change management、maintenance runbook和监控告警同时失效**。

## “换新硬件就不会发生”这个说法比较可疑

Telstra高管说，买一套按预期设计运行的新硬件可能避免事故。这个说法不能说完全错，但有明显转移焦点的成分。

设备仍在厂商支持期内，而且Telstra承认问题不是硬件损坏，而是未应用软件更新和配置管理失效。

换一台3万澳元的新机器很容易，但如果：

- 更新仍没人跟踪；
- 设计变更仍不记录；
- 重启后仍不验证时间；
- 下游仍无异常时间保护；

几年后完全可以在新机器上再发生一次。

## 最荒唐的地方

一套价值3万澳元的基础设施，因为漏打补丁和文档缺失，影响接近900万客户，并导致604次000呼叫出现错误。Telstra后来披露，这604次触发了福利核查，其中144人没有回应并转交警方跟进，23人被转交紧急服务机构；Telstra表示目前不知道有因此造成的危及生命结果。

这就是大型企业经常出现的反常现象：**设备采购金额极小，业务风险极大，但由于它几十年都没出事，就在组织里变成没人真正负责的遗留基础设施。**

Telstra应当做的不是单纯换设备，而是把时间服务当作类似DNS、PKI和身份认证一样的关键控制面：错误时间必须经过多源仲裁、偏移上限检查和隔离验证，维护后的设备也不应未经健康检查就直接重新加入生产网络。

Flyingfree

kanweng 发表于 2026-7-17 18:39
应该是一月份走的， 下周一再走450人

那么，就是说有可能继续爆雷？

有没有可能，这次爆的雷就是之前某个被裁员的组或部门埋下的？然后一路裁，连回去重审的人都没了，后面还有一堆瓜准备爆？

AKB48

都是草台班子，不要太当真。

dinglongdong

就这么一天有6万个000，这么多紧急事件，靠草台班子来解决，后果很严重

vivianvivian

Flyingfree 发表于 2026-7-17 16:59
Telstra从 2020 年起就收到供应商警告，但未采取行动。

这其实已经不是管理水平低，而是在犯罪了。 ...

Telstra 的管理层和澳洲政府管理层一样，所有当官的都是某些领导的关系户， 没学历， 没经验， 没能力管理TELSTRA.

Flyingfree

vivianvivian 发表于 2026-7-17 19:35
Telstra 的管理层所有当官的都是某领导的关系户， 没学历， 没经验， 没能力管理TELSTRA.

...

但人家的股价就是涨，之前他家在两块多三块不到时，我有想过买。。。。。。

kanweng

Flyingfree 发表于 2026-7-17 18:41
那么，就是说有可能继续爆雷？

有没有可能，这次爆的雷就是之前某个被裁员的组或部门埋下的？然后一路裁 ...

本周一的时候已经再次小爆， 不久将来必再次爆雷， 都是印度人远程。

clovedsm

现在不都是AI自动排除隐患了么？一看就是不舍得钱没上claude神话

fabrica

阿叁一手抓着咖喱饭往手里送，一手抓着电话聊天，抽空就把活干完了，厉害啊

ralphk

自身带铷和铯时钟，然后再接受卫星时钟做对比

ittgx

Flyingfree 发表于 2026-7-17 19:38
但人家的股价就是涨，之前他家在两块多三块不到时，我有想过买。。。。。。 ...

前任和现任CEO都是财务出身，做什么都是围绕着把财务数字做好看。过去几年连续裁员，然后在印度招员工或印度外包，节省人力成本。再卖掉一些资产和业务。服务不断涨价才能撑住利润。对股东是好事，但是里面的管理和运营非常乱。

benaus

然后就说印度外包公司