codis3添加sentinel之后点击“SYNC”异常

[16boke]

codis3中添加完sentinel，状态还是（OUT OF SYNC），手动点击SYNC之后报错：

{
    "Cause": "context deadline exceeded",
    "Stack": [
        {
            "Name": "github.com/CodisLabs/codis/pkg/utils/redis.(*Sentinel).dispatch",
            "File": "/usr/local/gopkg/src/github.com/CodisLabs/codis/pkg/utils/redis/sentinel.go",
            "Line": 103
        },
        {
            "Name": "github.com/CodisLabs/codis/pkg/utils/redis.(*Sentinel).monitorGroupsDispatch",
            "File": "/usr/local/gopkg/src/github.com/CodisLabs/codis/pkg/utils/redis/sentinel.go",
            "Line": 448
        },
        {
            "Name": "github.com/CodisLabs/codis/pkg/utils/redis.(*Sentinel).MonitorGroups.func2",
            "File": "/usr/local/gopkg/src/github.com/CodisLabs/codis/pkg/utils/redis/sentinel.go",
            "Line": 505
        }
    ]
}

请问是什么原因？

[16boke]

初步怀疑是网络原因，把超时时间调长之后，再点SYNC就可以了。
另外sentinel的配置文件只需要写：
port 26379
dir "/data/redis/logs"
protected-mode no
这三行，不需要指定具体的monitor，最后在fe界面上添加，codis3会自动生成集群的sentinel配置信息。
注意：需要修改dashboard.yaml文件中的sentinel配置，根据具体的集群配置设置failover的实例数。
如果发现有其它原因可以追加

[spinlock]

这个看起来像是 sentinel 的返回超时了。

目前这部分超时时间是 hardcode 的，因为大多数情况下 sentinel 返回都不应该如此的慢。具体的代码在： https://github.com/CodisLabs/codis/blob/release3.2/pkg/topom/topom_sentinel.go#L200

[spinlock]

Update：

对，看起来就是超时了。同不太了解超时的原因。道理讲不应该这么慢才对的。

对于 sentinel.conf 的修改，其实是这样的。我最早的时候直接 copy 的 redis 路径下的 sentinel.conf，结果他有多余的 mymaster 配置。不过最新的已经在 Makefile 里面通过脚本剔除掉了：
https://github.com/CodisLabs/codis/blob/release3.2/config/sentinel.conf
https://github.com/CodisLabs/codis/blob/release3.2/Makefile#L37
不知道和你的描述是不是一样？

[zhaomingzhu]

请问下这个超时时间是那个参数？

[spinlock]

https://github.com/CodisLabs/codis/blob/release3.2/pkg/topom/topom_sentinel.go#L200 这个是写在代码里面的 time.Second * 5，之后考虑把他提取出来作为参数。

@zhaomingzhu
现在你可能需要修改一下代码重新编译。

不过我不是很清楚 sentinel 的逻辑：为什么下发 master 列表需要这么长时间？5s 无论如何理论上都足够了，现在不清楚是 sentinel 和 dashboard 之间耗时过多，还是 sentinel 和 master 之间耗时过多。这很奇怪。

[zhaomingzhu]

好的，多谢，会不会是系统问题？我是在centos6.4编译的，运行在了7.2上面。 sentinel本来是部署到物理机centos7.2上面的，最后换了几台容器，就没有报错了。 物理机和容器都是同一机房，dashboard和redis也都是部署在容器上面。

补充：测试了下和系统版本应该没有关系，可能还是网络问题吧。

[16boke]

今天搭建一个新的集群时，添加sentinel时又出现“context deadline exceeded”，和之前的报错一样。
集群有32个group，所以有32个master。添加sentinel，点击sync时只有一个sentinel.conf更新了，但是更新的内容不全。
fe界面下Sentinels部分的status内容为：masters=6,down=0,slaves=1.00,sentinels=1.67
这个masters是不是就是整个集群master数量？
sentinels是不是就是sentinel实例数？
另外有没有一个文档介绍sentinel部分配置参数？

[spinlock]

SYNC 会给 全部的 sentinel 下发全部的 masters 列表。
出现 context deadline exceeded 说明下发过程存在超时，也就是说，出错原因是因为超时。@16boke 我建议你把上面 url 提到的 5s 超时改的稍微大一点，看看能不能解决？

这个问题我之后把他提出来，作为配置放到 dashboard.toml 里面。但是超时的原因我不得而知，我猜测应该是 sentinel 在收到 master 信息之后，需要向 master 进行验证，考虑到总时间是每个 master 确认的时间 乘以 master 的数量，最终整体下发过程存在超时。而且我怀疑这个验证过程本身开销很大。这涉及到 sentinel 的实现机制，不在 codis 的控制范围之内。

[zhaomingzhu]

sentinel_notification_script = "sentinel_notify.sh" dashboard.toml只要加上这个 ,无论脚本多简单，同步的时候就会报错context deadline exceeded"。 集群有210个group。 topom_sentinel.go#L200 在这个代码里面的 修改为time.Second *20 依然无法解决。

[spinlock]

@zhaomingzhu 你确定这个脚本，在 sentinel 所在文件系统的正确的位置么。

PS, 你的机器好多。

[zhaomingzhu]

确定是正确的位置，如果错误的位置会出现其他错误。 感觉超时修改没有生效，还是5s就返回报错信息了。 编译的时候需要注意什么呢？