Tag: 最佳实践

作者：尚卓燃，Databend 研发工程师，Apache OpenDAL(Incubating) PPMC。本文介绍了如何使用轻量集群服务创建和部署 Databend 高可用集群，后端存储服务采用 QingStor ，最后使用 bendsql 演示连接集群和执行查询。 前言 Databend 是一款完全面向云对象存储的新一代云原生数据仓库，专为弹性和高效设计，为您的大规模分析需求保驾护航。Databend 同时是一款符合 Apache-2.0 协议的开源软件，除了访问云服务之外，用户还可以自己部署 Databend 生产集群以满足工作负载需要。 Databend 的典型使用场景包括： KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台，提供全栈的 IT 自动化运维的能力，可以管理多个节点上的容器化应用，提供高可用性、弹性扩缩容、服务发现、负载均衡等功能。 利用 KubeSphere 部署和管理 Databend 具有以下优点： 本文将会介绍如何使用 KubeSphere 创建和部署 Databend 高可用集群，并使用 QingStor 作为底层存储服务。 配置对象存储 对象存储是一种存储模型，它把数据作为对象来管理和访问，而不是文件或块。对象存储的优点包括：可扩展性、低成本、高可用性等。 Databend 完全面向对象存储而设计，在减少复杂性和成本的同时提高灵活性和效率。Databend 支持多种对象存储服务，如 AWS S3、Azure Blob、Google Cloud Storage、HDFS、Alibaba Cloud OSS、Tencent Cloud COS 等。您可以根据业务的需求和偏好选择合适的服务来存放你的数据。 这里我们以青云 QingStor… Continue reading 使用轻量集群服务创建演示环境和部署 Databend

5 月 23 日，VerizonBusiness 《2022 数据泄露调查报告（DBIR）》显示，2022 年的勒索事件不仅没有减少，反而增幅超过过去五年的总和。2022 年上半年，就已发生多起影响或损失重大的勒索事件。 1 月 5 日，美国新墨西哥州伯纳利洛县遭勒索软件攻击。 3 月 1 日，丰田汽车供应商遭勒索攻击，14 家本土工厂暂时关闭。 3 月 21 日，征信巨头 TransUnion 数据泄露，对 90% 南非人造成影响。 4 月 22 日，里约财政系统遭勒索攻击，420 GB 数据被盗。 5 月 13 日，勒索攻击致使美国老牌高校林肯学院倒闭。 6 月 25 日，美国出版业巨头 Macmillan 遭勒索软件攻击后关闭系统。 面对恶意攻击，除了需要不断提升的安全策略，数据的容灾备份也是不可缺少的。 行业现状 现状一：行业面临的问题 灾备是一个非常古老的话题，那么目前行业面临着哪些问题呢？ 1、建设力度较低 目前国内在灾备的建设力度，出现了“两低一高”的局面。 2、政府法规要求相继完善 政府相继出台了一些政策法规，在用户数据和平台基础设施层面对企业进行保护。比如：2019 年发布的条例《等级保护 2.0》、2021 年逐渐加码的关于《关键信息基础设施的保护条例》以及《数据安全法》等，都对企业提出了更高的要求。 3、社会影响驱使 在社会影响上，无论是面向个人业务还是企业服务，服务中断造成的社会影响力也在日益加深。 基于以上三点，使得企业更加重视关键信息的保护。另外，每一次针对于数据侧的解决方案，方案更新都伴随着计算平台的更新而出现。… Continue reading 深度解析：云原生备份容灾方案，如何让关键数据无忧？

本文介绍了如何将 Kubernetes 集群中现有 PV 的数据迁移到新的 PV，并创建同名的 PVC 来指向新的 PV，这样就完成了应用的数据迁移而不需要对应用的配置清单做任何更改。最后还介绍了如何通过云原生备份容灾 SaaS 服务来简化迁移过程。 大家好，我是米开朗基杨。 KubeSphere 3.3.0 （不出意外的话~）下周就要 GA 了，作为一名 KubeSphere 脑残粉，我迫不及待地先安装 RC 版尝尝鲜，一顿操作猛如虎开启所有组件，装完之后发现有点尴尬：我用错了持久化存储。 我的 K8s 集群中有两个存储类（StorageClass），一个是 OpenEBS 提供的本地存储，另一个是 QingCloud CSI 提供的分布式存储，而且默认的 StorageClass 是 OpenEBS 提供的 local-hostpath，所以 KubeSphere 的有状态组件默认便使用本地存储来保存数据。 失误失误，我本来是想用分布式存储作为默认存储的，但是我忘记将 csi-qingcloud 设置为默认的 StorageClass 了，反正不管怎样，就这么稀里糊涂地搞错了。虽然重装可以解决 99% 的问题，但作为一名成熟的 YAML 工程师，重装是不可能的，必须在不重装的情况下解决这个问题，才能体现出我的气质！ 事实上不止我一个人遇到过这种情况，很多人都会稀里糊涂地装完一整套产品之后发现 StorageClass 用错了，这时候再想改回去恐怕就没那么容易了。这不巧了么这不是，本文就是来帮助大家解决这个问题的。 思路 我们先来思考一下换 StorageClass 需要做哪几件事情。首先需要将应用的副本数缩减为 0，然后创建一个新的 PVC，将旧 PV 的数据复制到新 PV，然后让应用使用新的 PV，并将副本扩展到原来的数量，最后再将旧… Continue reading Kubernetes 中跨 StorageClass 存储迁移指南

前言 KubeEye 是一款 Kubernetes 安全及配置问题检测工具，针对部署在 K8s 集群中的业务应用进行配置检测使用 OPA，针对集群部署的 Node 使用 Node-Problem-Detector 进行检测，同时除了系统内置有根据大多数业界常见场景的预定义规则，还支持用户自定义规则来进行集群检测。 架构 KubeEye 通过调用 Kubernetes API，通过匹配资源中的关键字和容器语法的规则匹配来获取集群诊断数据，详见架构图。 其中针对 Node 节点的检测，需要在被检测 Node 主机上安装。 特点 特性 检查项 是/否 检查项 描述 级别 ✅ PrivilegeEscalationAllowed 允许特权升级 紧急 ✅ CanImpersonateUser role/clusterrole 有伪装成其他用户权限 警告 ✅ CanDeleteResources role/clusterrole 有删除 Kubernetes 资源权限 警告 ✅ CanModifyWorkloads role/clusterrole 有修改 Kubernetes 资源权限 警告 ✅ NoCPULimits 资源没有设置 CPU 使用限制 紧急… Continue reading Kubernetes 安全及配置问题检测工具 KubeEye 使用教程

随着 K8s 在生产和测试环境中用的越来越多，对安全性的关注也会越来越多，所以本次演讲主要是给大家分享以下内容： K8s 安全风险 这张图是 CNCF 金融用户小组总结的 K8s 信任边界图，它把在 K8s 环境中的信任边界划分成三大块儿。 我们根据不同的攻击类型划分，首先最容易规避的就是来自外部的攻击。通常情况下，来自外部的攻击会有 2 种类型。 一种是系统层面的漏洞，需要及时更新，及时跟进 K8s 社区和安全领域相关的最新消息，可以很好的规避。 第二个是应用本身带来的渗透或者是提权的风险，业务部署在 K8s 之上，应用的漏洞可能造成容器越权或者容器逃逸之类的风险。 借助恶意容器进行攻击也比较常见，在使用容器的过程种主要会面临以下风险： K8s 集群的规模变大，运维人员与终端用户也会变多，安全凭证的泄露，会对整个集群的安全造成威胁。 即使集群保护的非常好，在安全凭证没有泄漏的情况下，来自内部成员的恶意攻击也难以规避，即使是在测试环境也需要一定程度的租户隔离，避免来自内部的攻击、对数据的恶意访问。 K8s 安全机制 在 K8s 社区，安全问题的关注度是非常高的，在 K8s 的设计中，各组件都有安全相关的特性。在 API 认证层面，控制平面中各个组件之间，需要开启 mTLS 进行组件之间的互认证。 K8s 也支持丰富的认证、访问控制的机制，通常我们会借助 RBAC 对用户的权限进行限制。 K8s 还提供了针对容器能力的限制机制，我们可以通过 Security Context 去限制容器运行时的用户、用户组，对容器特权进行限制。 K8s 中 Pod Security Policy 可以为集群应用安全策略，但是这个特性会在 1.25 之后被后面提到的 pod security… Continue reading K8s 安全策略最佳实践

前言 Kubernetes 集群天生自带自愈功能，但是往往有些意外情况使自愈功能不起作用，比如：公司同事把某个 namespace 删除、存储对象被清理了、集群突然断电了、集群升级失败了等。如果没有好的备份工具及定时备份的习惯，不管对于开发环境还是生产环境来说无疑都是灾难性的，如果这个时候有一个可视化备份工具友好的帮助集群做定时备份，你的工作会事半功倍。下面就给大家推荐青云科技容器团队基于 Velero 开源备份工具研发的备份容灾服务。 云原生备份容灾服务简介 KubeSphere Cloud 云原生备份容灾服务是 KubeSphere 团队针对混合云场景推出的 Kubernetes 备份容灾即服务产品。用户无需构建备份容灾的基础架构，基于原生的 Kubernetes API，提供了可视化界面，能够覆盖云原生数据保护的绝大多数重要场景，而且能够跨集群、跨云服务商、跨存储区域，轻松实现基础设施间多地、按需的备份恢复。登录 KubeSphere Cloud 即可对 Kubernetes 集群中的容器进行备份和恢复。 注册平台账号 1.登录 KubeSphere Cloud 平台 2.创建账户 准备集群 1.进入首页找到【资源管理】选择【导入集群】 2.填写集群相关信息，选择【直接连接 Kubernetes 集群】方式 3.获取 kubeconfig 方式一：托管 Kubernetes 集群 请参考对应云厂商产品文档进行获取如：阿里云、华为云、腾讯云等 方式二：自建 Kubernetes 集群 （一）master 节点上执行 （二）请确保 kubeconfig 中 cluser.server 字段的地址可以通过公网进行访问，或者同时勾选跳过 TLS 验证进行导入 4.验证集群连接状态 添加对象存储仓库 1.选择【新建仓库】 2.查看仓库是否可用 创建备份计划 注意：备份的集群… Continue reading Kubernetes 备份容灾服务产品体验教程