关于用Hbase-standalone中的dockerfile来curl habase tar包速度过慢的问题

[Le0shy]

使用WSL来搭建环境 由于需要指定的历史版本hbase的tar包，所以似乎只能使用 *archive.apache.org/dist/hbase/2.2.2/hbase-2.2.2-bin.tar.gz* 的URL来获取而无法使用国内镜像源；是不是除了在WSL中科学上网外没有办法解决curl这个tar包需要一个小时（甚至更长时间）的问题。

[CALMorACT]

1. 可以尝试在有科学上网的环境中build该image 然后 使用 docker save 导入镜像备份 ，导入 wsl 中用 docker load 进行恢复
2. 可以使用TUN 模式（Clash for windows 有比较好的方案）代理网卡实现全局透明代理
3. 这个并不是完全科学上网的问题，准确来说是 apache cdn 已经放弃了这个老版本的hbase的加速，你可以使用新的版本，具体方式如下：
   1. 更改版本号 (修改images/HBase-standalone/Dockerfile 中 ENV HBASE_VERSION 2.2.2)为 2.4.12
   2. 修改其下载地址为 https://dlcdn.apache.org/hbase/2.4.12/hbase-2.4.12-bin.tar.gz (需要自行替换内容)
4. hbase 这个镜像对于 spark 实验是非必须的，可以在 docker-compose.yml 中直接去掉它

我个人推荐配置一次第二个方案，有效的全局透明代理方案的科学上网可以极大的提高你的开发体验
单纯为了解决 spark 实验的话可以采用第四个方案

[Le0shy]

1. 可以尝试在有科学上网的环境中build该image 然后 使用 docker save 导入镜像备份 ，导入 wsl 中用 docker load 进行恢复

2. 可以使用TUN 模式（Clash for windows 有比较好的方案）代理网卡实现全局透明代理

3. 这个并不是完全科学上网的问题，准确来说是 apache cdn 已经放弃了这个老版本的hbase的加速，你可以使用新的版本，具体方式如下：

   1. 更改版本号 (修改images/HBase-standalone/Dockerfile 中 ENV HBASE_VERSION 2.2.2)为 2.4.12
   2. 修改其下载地址为 https://dlcdn.apache.org/hbase/2.4.12/hbase-2.4.12-bin.tar.gz (需要自行替换内容)

4. hbase 这个镜像对于 spark 实验是非必须的，可以在 docker-compose.yml 中直接去掉它

我个人推荐配置一次第二个方案，有效的全局透明代理方案的科学上网可以极大的提高你的开发体验 单纯为了解决 spark 实验的话可以采用第四个方案

通过第四个方案解决了问题，不过后面会试试配置第二种方案；非常感谢 : )。

[Le0shy]

进入spark-worker容器的bash终端下 并尝试用 pip3 install numpy 安装numpy包,发生 Could not build wheels for numpy which use PEP 517 and cannot be installed directly 的报错

...

在尝试升级pip3后，仍然得到类似报错，输出原因变为 Could not build wheels for numpy,which is required to install pyproject.toml-based projects

...

不清楚原因出在哪里orz...是否存在解决方案？

[CALMorACT]

嗯嗯这个问题我也遇到了，是由于我们的docker容器不存在完整的编译环境的问题，我们 spark 的 docker 基于alpine （而不是 ubuntu ）build 的，可以使用 apk add py3-numpy 添加 numpy，我做实验的过程中添加后没有出现其他异常