作者：尚卓燃，Databend 研发工程师，Apache OpenDAL(Incubating) PPMC。本文介绍了如何使用轻量集群服务创建和部署 Databend 高可用集群，后端存储服务采用 QingStor ，最后使用 bendsql 演示连接集群和执行查询。 前言 Databend 是一款完全面向云对象存储的新一代云原生数据仓库，专为弹性和高效设计，为您的大规模分析需求保驾护航。Databend 同时是一款符合 Apache-2.0 协议的开源软件，除了访问云服务之外，用户还可以自己部署 Databend 生产集群以满足工作负载需要。 Databend 的典型使用场景包括： KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台，提供全栈的 IT 自动化运维的能力，可以管理多个节点上的容器化应用，提供高可用性、弹性扩缩容、服务发现、负载均衡等功能。 利用 KubeSphere 部署和管理 Databend 具有以下优点： 本文将会介绍如何使用 KubeSphere 创建和部署 Databend 高可用集群，并使用 QingStor 作为底层存储服务。 配置对象存储 对象存储是一种存储模型，它把数据作为对象来管理和访问，而不是文件或块。对象存储的优点包括：可扩展性、低成本、高可用性等。 Databend 完全面向对象存储而设计，在减少复杂性和成本的同时提高灵活性和效率。Databend 支持多种对象存储服务，如 AWS S3、Azure Blob、Google Cloud Storage、HDFS、Alibaba Cloud OSS、Tencent Cloud COS 等。您可以根据业务的需求和偏好选择合适的服务来存放你的数据。 这里我们以青云 QingStor… Continue reading 使用轻量集群服务创建演示环境和部署 Databend
Category: 博客
KubeSphere Cloud 最新的技术博客与产品更新
KubeSphere Cloud 1 月刊｜K8s 轻量集群订阅方案上线，4C8G 仅需 138 元/月
新品发布 轻量集群订阅方案上线，4C8G 仅需 138 元/月 凭借轻量、秒级创建、一键部署等特性，K8s 轻量集群服务 (KubeSphere Lite) 在公测体验期便受到大量关注。近日，K8s 轻量集群服务正式推出三款订阅方案，即标准版、专业版、专属版，旨在满足不同规模用户和团队的 K8s 集群搭建需求，降低 K8s 集群的购买和使用门槛，惠及更多 K8s 用户。 阅读原文：👉青云 K8s 轻量集群服务推出三款订阅方案，免费资源每月领！ 最佳实践 云原生备份容灾方案，如何让关键数据无忧 近年来随着 Kubernetes 等云原生技术的巨大增长，容器化正在改变未来 IT 基础架构的格局。如何以云原生化的方式为核心业务数据保驾护航，是每家企业都将遇到并克服的难点。 针对核心数据保护的常见场景，云原生备份容灾服务带来了丰富的实践案例 👇 阅读原文：👉深度解析：云原生备份容灾方案，如何让关键数据无忧？ 优惠活动 目前进行中的活动如下，更多活动请关注 KubeSphere Cloud 最新活动。 每月免费领用 10h 使用时长 为方便 K8s 初学者学习 K8s 与 KubeSphere，K8s 轻量集群服务每月免费为用户提供 10 小时 2C4G 轻量集群资源。 “0 元即享”备份容灾新人礼包 为帮助企业尽快体验应用，云原生容灾备份服务推出了“0 元即享”新人礼包，领取后即可享受 30 天的标准版试用，包含… Continue reading KubeSphere Cloud 1 月刊｜K8s 轻量集群订阅方案上线，4C8G 仅需 138 元/月
青云 K8s 轻量集群服务推出三款订阅方案，免费资源每月领！
近日，由青云科技云原生团队提供的 K8s 轻量集群服务 (KubeSphere Lite) 正式推出三款订阅方案，即标准版、专业版、专属版，满足不同规模用户和团队的 K8s 集群搭建需求，降低 K8s 集群的购买和使用门槛。即日起，轻量集群服务将每月免费为用户提供 10 小时 2C4G 轻量集群资源，欢迎注册体验。 K8s 变得无处不在，在全球范围内得到广泛应用，已经成为现代 IT 基础设施的基石。不过 K8s 也给开发和运维人员带来了许多挑战，搭建 K8s 集群并非易事。 K8s 轻量集群服务是一款完全开箱即用的 K8s 集群托管服务，支持秒级启用 K8s 集群，同时提供一键部署 KubeSphere 容器平台。基于 KubeSphere Cloud 云原生 SaaS 服务平台，用户只需在控制台上简单拖动和点击鼠标，即可快速创建托管 K8s 集群，同时体验 KubeSphere 容器平台的丰富功能。 轻量简单，秒级搭建 K8s 集群 首先，借助 KubeSphere 云原生团队推出的轻量集群服务，用户无需自行搭建、维护任何集群基础资源，快速体验并运行容器化应用。最快 5 秒即可启用一个最小化、完整可用的 K8s 集群，极大节省了集群安装时间。极简的使用体验，让研发和运维人员真正受益，实现可靠、快捷的集群部署。 其次，轻量集群服务支持一键部署 KubeSphere 容器管理平台，实现集群资源与容器应用的高效管理。KubeSphere 作为全球领先的容器平台，面向企业用户，实现了大规模生产开箱即用，在多云多集群管理、微服务治理、应用管理、DevOps 等多个核心业务场景有强大功能表现。基于轻量集群服务，用户可以快速体验 KubeSphere 核心功能和应用场景，感受云原生带来的开发高效与运维便捷。 此外，青云科技是 CNCF 官网认证的… Continue reading 青云 K8s 轻量集群服务推出三款订阅方案，免费资源每月领！
深度解析：云原生备份容灾方案，如何让关键数据无忧？
5 月 23 日，VerizonBusiness 《2022 数据泄露调查报告（DBIR）》显示，2022 年的勒索事件不仅没有减少，反而增幅超过过去五年的总和。2022 年上半年，就已发生多起影响或损失重大的勒索事件。 1 月 5 日，美国新墨西哥州伯纳利洛县遭勒索软件攻击。 3 月 1 日，丰田汽车供应商遭勒索攻击，14 家本土工厂暂时关闭。 3 月 21 日，征信巨头 TransUnion 数据泄露，对 90% 南非人造成影响。 4 月 22 日，里约财政系统遭勒索攻击，420 GB 数据被盗。 5 月 13 日，勒索攻击致使美国老牌高校林肯学院倒闭。 6 月 25 日，美国出版业巨头 Macmillan 遭勒索软件攻击后关闭系统。 面对恶意攻击，除了需要不断提升的安全策略，数据的容灾备份也是不可缺少的。 行业现状 现状一：行业面临的问题 灾备是一个非常古老的话题，那么目前行业面临着哪些问题呢？ 1、建设力度较低 目前国内在灾备的建设力度，出现了“两低一高”的局面。 2、政府法规要求相继完善 政府相继出台了一些政策法规，在用户数据和平台基础设施层面对企业进行保护。比如：2019 年发布的条例《等级保护 2.0》、2021 年逐渐加码的关于《关键信息基础设施的保护条例》以及《数据安全法》等，都对企业提出了更高的要求。 3、社会影响驱使 在社会影响上，无论是面向个人业务还是企业服务，服务中断造成的社会影响力也在日益加深。 基于以上三点，使得企业更加重视关键信息的保护。另外，每一次针对于数据侧的解决方案，方案更新都伴随着计算平台的更新而出现。… Continue reading 深度解析：云原生备份容灾方案，如何让关键数据无忧？
5 秒快速搭建一套 K8s 集群，你还没用吗？
云原生的火爆程度，技术圈都有所感触。很多企业从观望、调研、小范围试验到全面拥抱云原生，已经切实感受到了云原生带来的好处，IT 从业人员也在加快学习和使用云原生。 集群搭建繁琐复杂且笨重 不管是初入云原生领域的技术小白、打算转行云原生的运维大佬，还是云原生相关的产品经理、售前工程师等，都或多或少需要搭建 K8s 集群。 但是，想完整拥有一套 K8s 集群不是一件容易的事情。对于新手来说，K8s 集群的搭建过程非常繁琐、复杂，而且笨重，需要大量的配置操作，安装和部署的每一步都是摸着石头过河，往往要踩很多坑才能上岸，后续还要面临繁重的维护工作。 而市场上现有的搭建方案，为了保障集群高可用，通常会创建多个节点，对于非生产需求和非私有云环境来说，性价比较低，集群也笨重，导致大家想用又不敢用。 秒级搭建 K8s 的轻量集群方案来了！ 为解决这一难题，KubeSphere Cloud 推出了轻量集群服务——一款可实现秒级搭建 K8s 集群服务的 SaaS 服务，能够轻松满足用户在学习、测试、Demo 演示等情境下的需求。 轻量集群服务支持秒级启用 K8s 集群，同时支持一键部署 KubeSphere 容器平台，用户仅需几步操作，即可快速得到完整可用的轻量集群资源。 轻量集群服务带来的便利，具体如下： 适用四大场景，满足用户个性化需求 得益于极简设计，可秒级完成 K8s 集群搭建，轻量集群服务广泛适用于“学习体验、教学培训、测试验证、商务演示”四大场景，为 IT 相关技术人员提供支持。 如何体验？ 用户注册登录 KubeSphere Cloud，即可免费体验轻量集群服务。体验即可获得轻量集群（基础型） 1 套，免费体验 2 小时。到期后，集群自动删除，可不限次重建。 了解更多：https://kubesphere.cloud/lite-cluster/ 免费体验：https://kubesphere.cloud/console/managed-cluster/ 参考文档：https://kubesphere.cloud/docs/managed-clusters/quickstart/create-managed-cluster/ 轻量集群服务，免费体验让集群搭建难题统统走开！扫码加小 KK 微信回复关键词“集群”进群与更多小伙伴展开交流
入选信通院《云原生产品目录》，+5！
向大家报告好消息： 近日，中国信通院、中国通信标准化协会正式公布《云原生产品目录》，青云云原生五款产品成功入选！ 分别是 QKCP 企业级容器平台、KSV 容器虚拟化、RadonDB MySQL 容器化数据库、Kubernetes 云原生备份容灾服务、KubeEye 云原生集群巡检服务🎉 《云原生产品目录》是中国信通院为解决云原生用户选型困境，全面拉齐行业认知，推动我国云原生产业蓬勃发展而发起、征集和评选出来的。青云云原生相关产品、服务的成功入选，再次印证了青云在云原生领域强劲的产品、服务实力。 事实上，作为云原生核心服务商和技术引领者，青云很早就开启了云原生之路。借助自研和开源力量，青云形成了覆盖多集群管理、DevOps、微服务、可观测性等场景的云原生产品家族和方案，结合灵活定制、陪伴式服务，为中国人民银行、中国银行、微众银行、四川航空、津燃华润、中通快递、去哪儿网等众多知名企业铺筑了云原生转型最佳实践路径。 此外，青云云原生架构全面适配信创生态，云原生系列产品完美适配国产芯片、服务器、操作系统等基础架构，支持国产数据库、中间件等各类 PaaS 组件，以及支持 OA、邮件等应用系统上云，为企业 IT 架构重构、系统改造、资源统一管控等提供支持，进而为我国信息技术应用创新注入全新动力。未来，青云将聚焦企业敏捷、高效、降本等需求，持续丰富云原生产品、服务、方案能力，逐步重构企业 IT 架构，改进生产流程，加速云原生转型，驱动业务数字化创新。
Kubernetes 中跨 StorageClass 存储迁移指南
本文介绍了如何将 Kubernetes 集群中现有 PV 的数据迁移到新的 PV，并创建同名的 PVC 来指向新的 PV，这样就完成了应用的数据迁移而不需要对应用的配置清单做任何更改。最后还介绍了如何通过云原生备份容灾 SaaS 服务来简化迁移过程。 大家好，我是米开朗基杨。 KubeSphere 3.3.0 （不出意外的话~）下周就要 GA 了，作为一名 KubeSphere 脑残粉，我迫不及待地先安装 RC 版尝尝鲜，一顿操作猛如虎开启所有组件，装完之后发现有点尴尬：我用错了持久化存储。 我的 K8s 集群中有两个存储类（StorageClass），一个是 OpenEBS 提供的本地存储，另一个是 QingCloud CSI 提供的分布式存储，而且默认的 StorageClass 是 OpenEBS 提供的 local-hostpath，所以 KubeSphere 的有状态组件默认便使用本地存储来保存数据。 失误失误，我本来是想用分布式存储作为默认存储的，但是我忘记将 csi-qingcloud 设置为默认的 StorageClass 了，反正不管怎样，就这么稀里糊涂地搞错了。虽然重装可以解决 99% 的问题，但作为一名成熟的 YAML 工程师，重装是不可能的，必须在不重装的情况下解决这个问题，才能体现出我的气质！ 事实上不止我一个人遇到过这种情况，很多人都会稀里糊涂地装完一整套产品之后发现 StorageClass 用错了，这时候再想改回去恐怕就没那么容易了。这不巧了么这不是，本文就是来帮助大家解决这个问题的。 思路 我们先来思考一下换 StorageClass 需要做哪几件事情。首先需要将应用的副本数缩减为 0，然后创建一个新的 PVC，将旧 PV 的数据复制到新 PV，然后让应用使用新的 PV，并将副本扩展到原来的数量，最后再将旧… Continue reading Kubernetes 中跨 StorageClass 存储迁移指南
混合多云时代数据保护难在哪？
数字化时代，数据越来越成为企业最重要的资产，数据保护（包括备份、迁移、容灾等）的重要性已不言而喻。但是当前，国内客户多数处在数字化转型的过程中，如业务上云、应用容器化改造、人工智能模型应用等都在并行推进，传统的系统架构仍在支撑企业核心业务的运转。因此，稳敏、新旧多种系统并存，这必然带来企业数据基础架构的多元性和复杂性，也为数据保护带来了极大的挑战。 从应对的角度而言，首先，没有银弹，希望用一套方案把企业所有的数据保护问题都一下子解决，肯定是不现实的，企业对这个复杂度要有充分认知；其次，历史上，系统建设的宝贵经验是可以借鉴的，比如“老的老办法，新的新办法，逐渐融合和过渡”，可能是更为务实的选择。 面向云原生的数据保护 数据侧技术（包括数据保护在内）是依附于计算生态的，计算生态每次重大的技术变革都会给数据侧带来全新的要求和挑战。云计算作为一个历史性的技术变革更是如此。尤其是云原生技术，它为混合多云而生，革命性地迭代了云计算的生态，对于数据保护提出了全新的需求。 以应用为中心 云原生是一个以应用为中心来设计的系统，计算、存储、网络等云基础实施被抽象成面对应用的“水、电、煤”服务。容器化的应用由 Kubernetes 平台分配资源，自动地在几百乃至上千台物理机或者虚拟机中进行调度。用户不关心，其实也很难去跟踪应用在哪个机器中运行，所以传统备份方案针对机器粒度进行备份保护就不能满足要求。 面向云原生的备份必须要以应用为粒度进行，对应用进行端到端的保护，包括应用的镜像、应用相关的配置信息，以及应用的数据；恢复时，也是把整个应用、配置和数据都完整地恢复回来。这与传统备份是非常不同的地方。 与云原生生态融合 云原生是一个全新的生态，有独特的设计思想、开发运维工具链和最佳实践，比如快速部署、弹性伸缩、高度自动化运维、声明式 API、与 Prometheus 和 ELK 的集成等。因此，备份服务本身也必须完全融入到这个生态中。 生来多云 云原生生来就是多云的。Kubernetes 屏蔽了多云底层基础设施的差异性，符合规范的应用可以在任何一个私有云或公有云的 Kubernetes 平台上运行。因此，云原生备份方案设计必须立足于多云。例如，在一个 Kubernetes 集群中备份的应用和数据，需要支持在其它云的 Kubernetes 平台上进行恢复；同时，可以在不同云的 Kubernetes 平台间进行应用和数据迁移等。 因此，在混合多云的云原生时代，需要有全新的数据保护解决方案，如青云科技 KubeSphere 云原生部与骥步科技联手打造的国内首个云原生备份容灾 SaaS 服务，就是以应用为中心、专门针对云原生生态的全新数据保护方案，可以满足企业用户对云原生应用日常备份恢复、跨集群迁移、异地容灾等场景的需求。 青云云原生备份容灾服务提供了“跨云容灾备份、核心业务保障、直观易用的管理”三大关键能力，可帮助企业快速建立备份恢复和容灾保护能力，实现对核心业务数据的有效保护，用户再也不用担心数据跑路。 安全合规“两手硬” 2019 年年底生效的等保 2.0 对于企业数据备份、容灾等技术规范给出了明确的要求。2021 年发布的《数据安全法》和《关键信息基础设施安全保护条例》更是从立法的角度对企业作为数据保护主体的责任进行了明确的界定，这些都必将对提高企业的数据备份意识和投入产生积极的影响。 北京信息灾备技术产业联盟的调查报告显示，我国信息系统灾备建设投资比例低于欧美两倍有余。重要的数据灾备建设“本地备份完备度低、缺乏容灾、严重缺乏异地灾备”，行业关键数据“有待充分分类分级并建立审查演练制度”。在这样的背景下，国家推出的一系列关于数据安全的法律法规必将对我国信息系统灾备建设产生重要的影响和有力推动。 网络安全与数据安全都是企业信息系统安全的重要组成部分，网络安全重预防，强调御敌于国门之外；数据安全重保障，强调即使遇到意外和灾难也不慌。只重视网络安全，是无法避免所有事故的，事后如果缺乏必要的恢复手段，依然无法做到安全无虞；只重视数据安全也不可行，企业在各种安全威胁面前会处处被动。所以在涉及企业信息系统安全建设的时候，一定要通盘考虑，做到两手抓，既要做好面对攻击的免疫系统，又要储备好遇到问题时的及时恢复能力。 青云 QKCP 企业级容器平台上推出了一体化的云安全解决方案，从主动到被动，全方位保障企业的核心数字化资产。QKCP 可以通过对容器内行为进行学习，建立安全模型。通过主机漏洞识别、主机入侵检测和合规审计，实现主机安全。同时还支持微服务安全，可自动发现云原生环境中存在的所有微服务，识别服务类型，扫描服务存在的安全漏洞。另外，还支持网络微隔离、安全合规，支持组件容器化部署。 不止是“上保险” 传统的备份手段往往只是为企业留存了数据保护的副本，这些副本除了用于数据和信息恢复之外，常常无法发挥更大的价值，所以只是作为企业为数据安全买的一份“保险”，从性价比的角度，这必然带来企业一定程度上的担忧。 现在，新的备份手段一般都强调采用数据的原始格式进行备份，这样备份下来的数据副本是可以直接访问和使用的。这样，数据备份的副本就不光是“保险”了，还是可以直接产生业务价值的数据源。例如，可以使用备份下来的数据副本完成测试环境的搭建、数据正确性验证、容灾模拟演练、数据抽取和分析等，全面盘活备份数据的价值。
Kubernetes 安全及配置问题检测工具 KubeEye 使用教程
前言 KubeEye 是一款 Kubernetes 安全及配置问题检测工具，针对部署在 K8s 集群中的业务应用进行配置检测使用 OPA，针对集群部署的 Node 使用 Node-Problem-Detector 进行检测，同时除了系统内置有根据大多数业界常见场景的预定义规则，还支持用户自定义规则来进行集群检测。 架构 KubeEye 通过调用 Kubernetes API，通过匹配资源中的关键字和容器语法的规则匹配来获取集群诊断数据，详见架构图。 其中针对 Node 节点的检测，需要在被检测 Node 主机上安装。 特点 特性 检查项 是/否 检查项 描述 级别 ✅ PrivilegeEscalationAllowed 允许特权升级 紧急 ✅ CanImpersonateUser role/clusterrole 有伪装成其他用户权限 警告 ✅ CanDeleteResources role/clusterrole 有删除 Kubernetes 资源权限 警告 ✅ CanModifyWorkloads role/clusterrole 有修改 Kubernetes 资源权限 警告 ✅ NoCPULimits 资源没有设置 CPU 使用限制 紧急… Continue reading Kubernetes 安全及配置问题检测工具 KubeEye 使用教程
K8s 安全策略最佳实践
随着 K8s 在生产和测试环境中用的越来越多，对安全性的关注也会越来越多，所以本次演讲主要是给大家分享以下内容： K8s 安全风险 这张图是 CNCF 金融用户小组总结的 K8s 信任边界图，它把在 K8s 环境中的信任边界划分成三大块儿。 我们根据不同的攻击类型划分，首先最容易规避的就是来自外部的攻击。通常情况下，来自外部的攻击会有 2 种类型。 一种是系统层面的漏洞，需要及时更新，及时跟进 K8s 社区和安全领域相关的最新消息，可以很好的规避。 第二个是应用本身带来的渗透或者是提权的风险，业务部署在 K8s 之上，应用的漏洞可能造成容器越权或者容器逃逸之类的风险。 借助恶意容器进行攻击也比较常见，在使用容器的过程种主要会面临以下风险： K8s 集群的规模变大，运维人员与终端用户也会变多，安全凭证的泄露，会对整个集群的安全造成威胁。 即使集群保护的非常好，在安全凭证没有泄漏的情况下，来自内部成员的恶意攻击也难以规避，即使是在测试环境也需要一定程度的租户隔离，避免来自内部的攻击、对数据的恶意访问。 K8s 安全机制 在 K8s 社区，安全问题的关注度是非常高的，在 K8s 的设计中，各组件都有安全相关的特性。在 API 认证层面，控制平面中各个组件之间，需要开启 mTLS 进行组件之间的互认证。 K8s 也支持丰富的认证、访问控制的机制，通常我们会借助 RBAC 对用户的权限进行限制。 K8s 还提供了针对容器能力的限制机制，我们可以通过 Security Context 去限制容器运行时的用户、用户组，对容器特权进行限制。 K8s 中 Pod Security Policy 可以为集群应用安全策略，但是这个特性会在 1.25 之后被后面提到的 pod security… Continue reading K8s 安全策略最佳实践