HAVING子句的命令格式和示例_云原生大数据计算服务 MaxCompute-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 云原生大数据计算服务 MaxCompute 操作指南 开发参考：SQL SQL参考 所有命令（按字母顺序） SELECT HAVING子句 HAVING子句 更新时间: 2022-09-28 19:58:07 MaxCompute SQL的WHERE关键字无法与聚合函数一起使用，此时您可以使用HAVING子句来实现。 命令格式如下。 SELECT column_name, aggregate_function(column_name) FROM table_name WHERE column_name operator value GROUP BY column_name HAVING aggregate_function(column_name) operator value 例如有一张订单表Orders，包括客户名称（Customer）、订单金额（OrderPrice）、订单日期（Order_date）和订单号（Order_id）四个字段。现在需要查找订单总额少于2000的客户，SQL语句如下。 SELECT Customer,SUM(OrderPrice) FROM Orders GROUP BY Customer HAVING SUM(OrderPrice)<2000 窗口函数 DDL操作常见问题 云原生大数据计算服务 MaxCompute-SHOW HAVING子句 CREATE FUNCTION 云原生大数据计算服务 MaxCompute-VALUES 云原生大数据计算服务 MaxCompute-UPDATE CREATE TABLE 阿里云首页 云原生大数据计算服务 MaxCompute 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 如何添加AliyunOSSFullAccess和AliyunDLFFullAccess权限_开源大数据平台E-MapReduce-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 开源大数据平台E-MapReduce EMR on ACK 快速入门 授予OSS和DLF权限 授予OSS和DLF权限 更新时间: 2023-07-19 18:57:01 本文为您介绍添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，以便于您可以使用DLF服务，以及授权组件免AccessKey访问OSS。前提条件已创建Kubernetes集群，详情请参见创建Kubernetes专有版集群或创建Kubernetes托管版集群。操作步骤登录容器服务管理控制台。在集群列表页面，单击目标集群操作列的详情。在集群信息页面，单击集群资源页签。在集群资源页面，单击Worker RAM角色所在行的链接。添加权限。在角色页面，单击新增授权。在新增授权页面，选择并添加系统策略AliyunOSSFullAccess和AliyunDLFFullAccess。单击确定。单击完成。 为Spark集群关联RSS 提交Spark作业 访问Web UI 查看集群信息 角色授权 查看作业列表 使用ECI弹性调度Spark作业 使用kubectl管理作业 阿里云首页 开源大数据平台E-MapReduce 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 MaxCompute提供的开源功能_云原生大数据计算服务 MaxCompute-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 云原生大数据计算服务 MaxCompute 产品概述 产品简介 开源支持 开源支持 更新时间: 2023-02-28 14:44:49 MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDKMaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过编辑代码灵活地操作MaxCompute。MaxCompute提供的SDK如下： Java SDK Java SDK使用说明请参见Java SDK介绍。服务支持方式：您可通过访问官方文档获取支持。Python SDK PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作和DataFrame框架，让您可以轻松地在MaxCompute上进行数据分析。更多详情请参见GitHub项目aliyun-odps-python-sdk和包括所有接口、类的细节等详细内容的PyODPS文档。 欢迎各位开发者参与到PyODPS的生态开发中，在您开始使用PyODPS之前请先安装PyODPS，详细内容请参见PyODPS安装指南。如何在DataWorks上使用PyODPS，详情请参见PyODPS开发指南。PyODPS提供了DataFrame API，详情请参见PyODPS DataFrame概述。欢迎您在GitHub aliyun-odps-python-sdk反馈问题和需求，加快PyODPS生态成长。服务支持方式：您可通过访问官方文档获取支持。MaxCompute RODPSMaxCompute R语言插件：RODPS。使用说明请参见GitHub ODPS Plugin for R。服务支持方式：在GitHub ODPS Plugin for R中留言或新建Issue。ODPS JDBC是MaxCompute官方提供的JDBC驱动，它向Java程序提供了一套执行SQL任务的接口。项目托管在GitHub ODPS JDBC。服务支持方式：在GitHub ODPS JDBC中留言或新建Issue。MarsMars是一个基于张量的统一分布式计算框架。使用Mars进行科学计算，不仅使大规模科学计算任务的实现从MapReduce上的数千行代码降低到Mars上的数行代码，更在性能上有大幅提升。Mars已经在Github上开源代码，您可以一起参与共建Mars。详情请参见GitHub开源代码Mars 。关于Mars的更多说明信息请参见Mars开发指南。服务支持方式：在Github Mars中留言或新建Issue。Data collectorMaxCompute数据集成工具插件，包括Flume、OGG、Kettle、Sqoop、Hive 。Data Collector是MaxCompute主要开源数据采集工具的集合，包括： Flume插件OGG插件SqoopKettle插件Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。DataHub和Tunnel分别是MaxCompute系统的实时和批量数据通道。Flume插件和OGG插件面向于实时数据传输，而Sqoop、Kettle和Hive Data Transfer UDTF则适合用于离线批量的数据传输。源代码请参见GitHub Aliyun MaxCompute Data Collectors。插件说明请参见wiki。服务支持方式：在GitHub Aliyun MaxCompute Data Collectors中留言或新建Issue。 云原生大数据计算服务 MaxCompute-资源 云原生大数据计算服务 MaxCompute-术语表 快速体验MaxCompute 云原生大数据计算服务 MaxCompute-项目 选择连接工具 Java SDK介绍 云原生大数据计算服务 MaxCompute-概述 ACID语义 阿里云首页 云原生大数据计算服务 MaxCompute 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 如何使用AutoPilot对作业进行自动调优_实时计算Flink版-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 实时计算Flink版 视频专区 如何使用AutoPilot对作业进行自动调优 如何使用AutoPilot对作业进行自动调优 更新时间: 2023-03-06 17:34:05 相关文档作业调试配置自动调优高性能Flink SQL优化技巧 查看作业性能 Flink SQL作业快速入门 配置自动调优 作业智能诊断 自定义监控指标上报渠道 Flink CDC技术 Flink CDC企业版特性 Flink SQL简介 阿里云首页 实时计算Flink版 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 实时计算Flink如何使用查看账单_实时计算Flink版-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 实时计算Flink版 产品概述 产品计费 查看账单 查看账单 更新时间: 2023-08-31 15:02:39 如果您对阿里云实时计算Flink版的消费情况产生疑问，可以通过用户中心查看费用账单以及消费明细。登录阿里云控制台。在顶部菜单栏单击费用，进入用户中心。在左侧导航栏，选择账单管理 > 账单详情。根据需要查看消费情况或导出账单。您可以在明细账单页签，消费类型选择为预付费或者后付费，查看后付费或预付费消费明细。账单详细内容，可参见用户中心的账单管理。 实时计算Flink版产品公告 实时计算Blink产品公告（已停止新购） Flink SQL作业快速入门 包年包月 部署作业 应用场景 按量付费 管理自定义连接器 阿里云首页 实时计算Flink版 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 Blink产品公告_实时计算Flink版-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 实时计算Flink版 产品概述 动态与公告 实时计算Blink产品公告（已停止新购） 实时计算Blink产品公告（已停止新购） 更新时间: 2023-11-14 09:56:34 本文为您介绍实时计算Blink产品的相关动态。公有云实时计算Blink产品进入产品收敛期，请下载查看PDF版公有云实时计算Blink产品进入产品收敛期，Flink产品详情请参见产品形态。实时计算Blink文档详情请单击阿里云实时计算Blink独享模式（公共云已停止新购）下载后进行查看。2022年11月15日起，Blink独享集群将停止接收新建订单和扩容订单，即进入EOM2阶段。为了提供更全面的服务体系，聚焦满足客户需求，提供更清晰简化的使用体验，2022年11月15日起暂停实时计算Blink独享模式新用户购买和已经购买客户的扩容订单，续费订单时长不超过4个月，保留阿里云的产品支持。Blink独享集群的产品生命周期策略和EOS时间详情请参见生命周期策略和产品形态。实时计算产品已推出更全面的全托管Flink产品，在不增加您成本的基础上，支持您使用UDF或JAR等多种开发方式，告别单一SQL的模式，为您提供更好更全面的实时能力。实时计算产品也提供完整的迁移工具协助您完成迁移，详情请参见迁移方案。非常感谢您对阿里云实时计算产品的支持。2022年8月15日起，Blink共享集群将停止接收新建订单和扩容订单，即进入EOM2阶段。为了提供更全面的服务体系，聚焦满足客户需求，提供更清晰简化的使用体验，2022年8月15日起暂停实时计算Blink共享模式新用户购买和已经购买客户的扩容订单，续费订单时长不超过4个月，保留阿里云的产品支持。Blink共享集群的产品生命周期策略和EOS时间详情请参见生命周期策略和产品形态。实时计算产品已推出更全面的全托管Flink产品，在不增加您成本的基础上，支持您使用UDF或JAR等多种开发方式，告别单一SQL的模式，为您提供更好更全面的实时能力。实时计算产品也提供完整的迁移工具协助您完成迁移，详情请参见迁移方案。非常感谢您对阿里云实时计算产品的支持。2021年4月28日-独享模式暂停新购实时计算Flink版独享模式已于2021年4月28日暂停新购，目前仅支持原有项目的扩缩容和续费操作。如果您有新购需求，推荐使用实时计算Flink全托管。RocketMQ接入点变更导致实时计算作业适配升级公告升级公告因消息队列RocketMQ接入点地域化变更（详情请参见关于TCP内网接入点设置的公告），如果您已使用了Blink 3.7.10以下版本的RocketMQ Connector，则您需要将您的实时计算作业升级至Blink 3.7.10及以上版本，并将作业中EndPoint参数取值更改为新的RocketMQ接入点，EndPoint参数详情请参见：Blink RocketMQ源表文档：详情请参见Blink PDF文档中的5.6.2.6章节。Blink RocketMQ结果表文档：详情请参见Blink PDF文档中的5.6.3.7章节。注意事项旧的RocketMQ接入点在2021年11月后完全不可用，且使用旧的RocketMQ接入点的作业可能存在稳定性风险，因此请您尽快安排作业升级，务必在2021年11月之前完成升级工作。RocketMQ产品承诺：2021年11月前不会下线旧的RocketMQ接入点，但旧的RocketMQ接入点无法保证作业稳定性。本次升级会导致作业的State无法兼容，请结合业务情况合理安排升级时间，尽量减少对业务的影响。2021年11月1日以后，实时计算Flink版产品侧不再对使用了旧的RocketMQ接入点的作业进行维护和支持。2020年8月10日21:00-2020年8月11日02:00-升级公告2020年8月10日21:00-2020年8月11日02:00，对杭州独享模式管控平台进行升级，升级期间现有运行作业不受影响，但集群创建和扩缩容功能不可用，请知悉。2020年4月28日21:00-2020年4月29日02:00-升级公告2020年4月28日21:00-2020年4月29日02:00，对上海独享模式管控平台进行升级，升级期间现有运行作业不受影响，但集群扩缩容功能不可用，请知悉。2020年4月20日-2020年4月22日-升级公告2020年4月20日-2020年4月22日，对上海和深圳共享集群的存储服务进行版本升级，旨在为您提供更加稳定的实时计算Flink版服务。正常情况下，此次升级不会对用户的业务造成影响；特殊情况下，Blink3.2和Blink3.3版本的作业会Failover一次后恢复正常。2019年12月24日-共享模式正式下线实时计算Flink版共享模式已于2019年12月24日正式下线，将不再支持共享模式新项目的购买，仅支持原有项目的扩缩容和续费操作。如果您有新购需求，推荐使用实时计算Flink版独享模式或Flink半托管模式。2019年8月27日-新增资源配置页签开发页面右侧，新增资源配置页签。原控制台基本属性页签下的资源配置跳转链接已下线。2019年8月21日-华东2（上海）共享集群扩容通知2019年8月23日，华东2（上海）共享集群将新增11.53.0.0/16,11.50.0.0/16网段。如果您使用的上下游存储涉及到例如RDS、HBase等需要添加白名单的组件，请提前将11.53.0.0/16,11.50.0.0/16网段添加至现有的白名单中，防止发生连接异常。2019年5月30日-实时计算Flink版3.0.0以上版本新功能运行信息 新增Vertex相关信息查询功能，详情请参见Blink PDF文档中的6.5.2章节。数据曲线 新增AutoScaling相关曲线，详情请参见Blink PDF文档中的6.5.3章节。Timeline 新增Timeline功能，详情请参见Blink PDF文档中的6.5.4章节。属性参数 新增AutoScale迭代的历史详情查询功能，详情请参见Blink PDF文档中的6.5.10章节。2019年5月29日-北京、上海地区实时计算Flink版共享模式停止售卖自2019年5月29日起，停止售卖北京和上海地区共享模式的实时计算Flink版。2019年3月14日-共享模式默认版本升级为2.2.7自2019年3月14日起，实时计算Flink版共享模式默认版本升级为2.2.7，此次升级仅影响新增作业，不影响原有运行作业。2019年1月24日-Blink-2.2.7版本发布Blink-2.2.7 是Blink-2.x系列中最新稳定版本，在Blink-1.x版本（最新稳定版本为Blink-1.6.4）进行了全面的升级，采用了自主研发的新一代存储Niagara作为Statebackend的底层存储，优化了SQL的性能，增加了一系列新功能： 主要特性 SQL 新增Window Emit机制，可以控制Window结果的输出策略，例如：1小时窗口，每1分钟输出一次。双流Join支持miniBatch，针对不同场景优化了Retraction处理和State存储结构，提高了性能。AGG支持Filter语法，可以只聚合满足条件的行。对Local-global AGG进行优化。重构了SQL的Optimize阶段，解决了SQL编译时间过长的问题。SortedMapView中KEY支持多种数据类型：BOOLEAN、BYTE、SHORT、INT、LONG、FLOAT、DOUBLE、BIGDECIMAL、BIGINT、BYTE[]和STRING。优化了MIN、MAX、FIRST和LAST函数存在Retraction场景的性能。新增多种标量函数，例如时区相关的解析TO_TIMESTAMP_TZ、格式化DATE_FORMAT_TZ和转换函数CONVERT_TZ。对SQL和Connector模块的错误信息进行了归类，并对每种类型设计了相应的ERROR_CODE。Connector 支持用户自定义的TableFactory注册源表和结果表的Connector。支持用户通过UDTF方式直接解析数据源类型。支持读取和写入Kafka。支持写入到ElasticSearch。Runtime 通过Blink Session机制，统一了用户提交Job、获取执行结果等行为。开放了调度插件机制，允许计算模型根据需求自定义调度逻辑。在有限流的情况下，通过避免不必要的全图重启，提高了JobManager和Task FailOver的处理效率。StateBackend 使用NiagaraStateBackend替换RocksDBStateBackend，具备更好的读写性能。(Experimental) NiagaraStateBackend支持计算存储分离，支持Failover过程中State秒级恢复。与Blink1.6.4不兼容的语法 功能项影响解决办法TableFunction接口修改所有使用自定义TableFunction的用户。更新代码，实现新的getResultType接口。ScalarFunction接口修改所有使用自定义ScalarFunction的用户。实现新的getResultType接口。AggregateFunction接口修改所有使用自定义AggregateFunction的用户。实现新的getAccumulatorType和getResultType接口。例如，accumulator类型为Row(STRING, LONG)，Agg result的类型为STRING，则需要实现如下代码。 public DataType getAccumulatorType\(\) { return DataTypes.createRowType\(DataTypes.String, DataTypes.LONG\); } public DataType getResultType\(\) { return DataTypes.String; }MapView构造函数修改MapView构造函数形参类型由之前的TypeInformation变更为DataType。所以在自定义UDAF中声明了MapView的Job都会受影响。更新代码，按DataType去构造MapView。例如MapView map = new MapView<>(Types.STRING, Types.INT);需要更新为MapView map = new MapView<>(DataTypes.STRING, DataTypes.INT);。当参数是LONG或INT时，除法和AVG返回类型改为DOUBLE以前的除法和AVG函数返回的是入参的字段类型，现在是DOUBLE，会导致类型不匹配的错误。例如：除法和AVG的结果直接写入结果表，可能会报结果表与Query字段类型不匹配的错误。在除法和AVG的结果上强制加上CAST。在比较BigDecimal 和Decimal数据类型的数据时，会考虑精度用到Decimal的Job，可能会报BigDecimal类型不匹配的错误。用到Decimal类型的Job，全局替换成带精度的声明方式，Decimal(38, 18)。NULL与字符串的比较语义1.x版本NULL与字符串比较返回True，在2.x版本后遵循了SQL语法语义改为返回False。所有NULL与字符串比较的地方，例如：WHERE SPLIT_INDEX(shop_list, ':', 1) <> shop_id，如果SPLIT_INDEX(shop_list, ':', 1)返回了NULL，在1.x版本上WHERE条件会返回True，在2.x上会返回False，将数据过滤。如何升级到Blink-2.x使用Blink-1.x版本的Job升级到Blink-2.x，需要进行数据回溯升级，数据回溯是指用户根据业务需要，在启动Job的时候，指定启动位点，具体操作如下： 停止待升级Job（清除State）。开发界面单击右下角的Flink版本下拉箭头，修改Job的Blink版本为Blink-2.2.7，上线Job。启动修改后的Job并指定启动位点。 如果步骤3执行不成功，需要人工介入查明原因后，进行如下操作： 快速修复SQL，重复步骤1、2、3。如果无法修复SQL，回退到原有Blink版本。如果无法生成Json Plan，可以尝试设置如下参数： blink.job.option.jmMemMB=4096blink.job.submit.timeoutInSeconds=600Blink-2.0.1的UDX第三方插件安装包详情，请参见Blink PDF文档中的5.11.1章节。类似如下的异常，是因为UDX包的版本太低或者包冲突导致的。 code:[30016], brief info:[get app plan failed], context info:[detail:[java.lang.NoClassDefFoundError: org/apache/flink/table/functions/aggfunctions/DoubleSumWithRetractAggFunction at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:788) at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) at java.net.URLClassLoader.defineClass(URLClassLoader.java:467) at java.net.URLClassLoader.access$100(URLClassLoader.java:73) 高性能Flink SQL优化技巧 上下游存储 什么是阿里云实时计算Flink版 Flink JAR作业快速入门 SQL作业开发 SDK快速入门 Flink SQL作业快速入门 JAR作业开发 阿里云首页 实时计算Flink版 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 如何进行升级检查以及兼容性检查失败时的调整方法_检索分析服务Elasticsearch版-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 检索分析服务Elasticsearch版 操作指南 Elasticsearch 集群变更 版本升级 升级检查 升级检查 更新时间: 2022-12-30 13:12:09 在升级阿里云Elasticsearch实例版本前，您需要通过升级检查，检查集群状态是否正常、是否存在不兼容的配置等，并进行调整。本文介绍在版本升级前需要完成的人工检查、集群状态检查和系统兼容性检查，以及兼容性检查失败时的调整方法。 背景信息 升级版本的具体操作，请参见升级版本。 本文的命令都可在Kibana控制台上执行，关于如何登录Kibana控制台，请参见登录Kibana控制台。 人工检查 在执行升级版本操作前，您必须手动完成以下检查： 执行以下命令，检查集群中是否存在close状态的索引。GET _cat/indices?v如果存在，需要执行以下命令将索引状态暂时设置为open，以便进行升级检查。POST test/_open 如果您需要更新升级内核补丁，需要检查对应实例是否存在可更新的内核补丁，存在才可更新。 可在实例的基本信息页面查看，如下图所示。 检查是否通过客户端连接了待升级的集群。如果是，您需要更新客户端版本，确保客户端与集群版本的兼容性。关于兼容性的详细信息，请参见Compatibility。 对于将5.x版本实例升级至6.x版本的情况，除了以上检查外，您还需要再完成以下检查： 将5.x版本中的多type索引拆分为单type索引。 Elasticsearch从6.x版本开始，不再支持一个索引多个type。而升级后，在5.x版本中创建的多type索引，在6.x版本中依然可以正常写入，但是在6.x版本中新建多type索引时会报错。因此，建议在升级前，按照官方标准，将5.x版本中的多type索引拆分为单type索引后，再进行升级。具体操作步骤，请参见基于reindex实现低版本多type数据迁移。 执行以下命令，检查集群中是否配置了跨集群访问。开启时，您可以在返回结果中看到search.remote属性的配置，且不为null。GET _cluster/settings如果配置了跨集群访问，需要执行以下脚本，在升级前取消该项配置，待升级后重新配置。PUT _cluster/settings { "persistent": { "search.remote.*": null }, "transient": { "search.remote.*": null } } 重要 升级后重新配置跨集群访问时需要注意：Elasticsearch 5.x版本中使用的配置参数是search.remote，而6.x版本中使用的是cluster.remote。 集群状态检查 在进行升级操作时，阿里云Elasticsearch会自动检查集群是否处于正常状态，以及负载是否处于正常水位。只有当两者都正常时，才可以对实例进行升级。您也可以在进行升级操作前，参考以下列表人工检查集群状态，确保操作可以顺利进行。 校验项 正常状态 集群健康度 集群状态正常（绿色）。 JVM使用率 集群JVM使用率低于75%。 磁盘使用率 节点的磁盘使用率低于cluster.routing.allocation.disk.watermark.low属性设置的值。 副本个数 所有索引都存在副本。 对于多可用区实例，在变更时，需要确保集群中任意一个索引的副本数都小于可用区数。待变更完成后，您可以根据业务手动增加副本数。详细信息请参见索引模板。 快照 集群在最近1个小时内完成过快照。 自定义插件 集群中不存在阿里云Elasticsearch预装之外的插件。 可用区ECS资源校验 可用区中ECS实例的库存充足。 说明 由于版本升级采用了先增加高版本节点，再将低版本节点的数据迁移到高版本节点，最后删除低版本节点的方式，因此升级前需要校验可用区中ECS实例的库存。 YML文件 高版本的集群可以兼容低版本的配置。 配置兼容检查 如果升级的目标版本为6.x，在进行升级操作时，阿里云Elasticsearch会自动检查集群不同版本之间是否存在不兼容的配置。如果您使用了这些配置，升级后，集群服务可能会受到影响。您也可以在进行升级操作前，使用GET _cluster/settings和GET */_settings?flat_settings=true命令查看集群中是否存在下表中的配置，确保升级操作可以顺利进行。 重要 对于索引模板级别类配置，当模板中存在这些配置时，在版本升级后，对应模板将无法用于创建新索引。 序号 配置级别 配置信息 配置参数 1 集群级别 集群快照设置（Snapshot settings） cluster.routing.allocation.snapshot.relocation_enabled 2 集群存储限流设置（Store throttling settings） indices.store.throttle.type、indices.store.throttle.max_bytes_per_sec 3 索引级别 索引相似性设置（Similarity settings） index.similarity.base 4 索引影子副本设置（Shadow replicas settings） index.shared_filesystem、index.shadow_replicas 5 索引存储设置（Index store settings） index.store.type 6 索引存储限流设置（Index store throttling settings） index.store.throttle.type、index.store.throttle.max_bytes_per_sec 7 索引Mapping参数include_in_all设置 include_in_all 说明 该配置在6.0版本之后创建的索引中无法使用，但在5.x版本中创建的包含此配置的索引，在升级到6.x版本后，可以兼容。 8 索引创建版本设置 index.version.created 说明 该配置表示不允许跨主版本升级索引。例如，无法将在5.x版本创建的索引直接升级到7.x版本，需要将失败的索引通过reindex迁移到新索引并删除后，再进行升级。 9 索引模板级别 索引模板相似性设置（Similarity settings） index.similarity.base 10 索引模板影子副本设置（Shadow replicas settings） index.shared_filesystem、index.shadow_replicas 11 索引模板存储设置（Index store settings） index.store.type 12 索引模板存储限流设置（Index store throttling settings） index.store.throttle.type、index.store.throttle.max_bytes_per_sec 13 索引模板 Mapping参数include_in_all include_in_all 14 索引模板Mapping元字段_all _all 15 索引模板Mapping包含多个type 无 说明 检查索引Mapping中是否包含多个type。 说明 以上配置参数在6.0版本开始被废弃，详细信息请参见Breaking changes in 6.0。 以上检查项均为CRITICAL（错误）级别。出现一次，即表示检查失败无法升级，此类型检查项对应配置在目标版本无法兼容，您需要参见配置不兼容的调整方法调整集群配置，并重新检查。而对于WARNING（警告）级别的检查项，表示检查失败时仍可以升级，即此类型检查项对应配置在升级后将被忽略。 配置不兼容的调整方法 如果兼容性检查不通过，您可以通过以下方式调整集群： 集群级别 当以下配置不兼容时，您可以取消对应配置进行调整。 配置信息 取消配置命令 集群快照设置（Snapshot settings） PUT _cluster/settings { "persistent": { "cluster.routing.allocation.snapshot.relocation_enabled": null }, "transient": { "cluster.routing.allocation.snapshot.relocation_enabled": null } } 集群存储限流设置（Store throttling settings） PUT _cluster/settings { "persistent": { "indices.store.throttle.type": null, "indices.store.throttle.max_bytes_per_sec": null }, "transient": { "indices.store.throttle.type": null, "indices.store.throttle.max_bytes_per_sec": null } } 索引级别 当以下配置不兼容时，您可以取消对应配置进行调整。 配置信息 取消配置命令 相关说明 索引相似性设置（Similarity settings） PUT test_index/_settings { "index.similarity.base.*": null } 这些配置需要关闭索引后修改，关闭后，您将无法对索引进行读写操作。修改完成后，您可以再次打开对应索引。以test_index索引为例，关闭和打开索引的命令如下： 关闭索引POST test_index/_close 打开索引POST test_index/_open 索引影子副本设置（Shadow Replicas settings） PUT test_index/_settings { "index.shared_filesystem": null, "index.shadow_replicas": null } 索引存储设置（Index Store settings） PUT test_index/_settings { "index.store.type": null } 索引存储限流设置（Index Store throttling settings） PUT test_index/_settings { "settings": { "index.store.throttle.type": null, "index.store.throttle.max_bytes_per_sec": null } } 无 说明 对于已创建的包含索引Mapping参数include_in_all的索引，升级后可以兼容，无需修复。 索引模板级别 以下以test_template索引模板为例，介绍处理索引模板类型的检查项未通过检查的调整方法： 使用GET _template/test_template命令获取不兼容的模板test_template。 根据以下结果发现test_template中存在的不兼容配置包括：索引模板存储设置（Index store settings）、索引模板Mapping元字段_all和索引模板Mapping参数include_in_all。 { "test_template": { "order": 0, "template": "test_*", "settings": { "index": { "store": { "throttle": { "max_bytes_per_sec": "100m" } } } }, "mappings": { "test_type": { "_all": { "enabled": true }, "properties": { "test_field": { "type": "text", "include_in_all": true } } } }, "aliases": {} } } 执行以下命令，删除模板中不兼容的配置，并更新模板。PUT _template/test_template { "order": 0, "template": "test_*", "settings": { }, "mappings": { "test_type": { "properties": { "test_field": { "type": "text" } } } }, "aliases": {} } 阿里云Elasticsearch实例FAQ 购买页面参数（商业版） 升配集群 内核版本发布记录 重启实例或节点 配置YML参数 修改场景化配置模板 降配集群 阿里云首页 检索分析服务Elasticsearch版 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 如何在不同的API模式下实现API请求参数的选填设置_大数据开发治理平台 DataWorks-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 大数据开发治理平台 DataWorks 操作指南 数据服务 API 最佳实践：API请求参数的选填设置 最佳实践：API请求参数的选填设置 更新时间: 2023-02-08 16:04:13 通过数据源封装数据API时，在某些业务场景下，需要设置API的请求参数为选填参数。当开发人员设置API的请求参数为选填参数后，调用方即可在调用API时自行选择是否要传入具体的请求参数值，实现更灵活的查询方式。本文将为您介绍如何在不同的API模式下，实现API请求参数的选填设置。背景信息本文将以ods_user_info_d用户信息表为例，表结构如下：字段名称字段类型描述uidINT用户idgenderSTRING性别age_rangeSTRING年龄zodiacSTRING星座在本例中，将把uid设置为必填的请求参数，gender设置为选填的请求参数。向导模式进入数据服务页面。鼠标悬停至图标，单击新建API > 生成API。在生成API对话框中，选择API模式为向导模式，配置各项参数后，单击确定。各参数配置详情请参见通过向导模式生成API。进入API的编辑页面，在选择表区域选择目标数据源及数据表。在选择参数区域勾选目标请求参数。在API编辑页面的右侧导航栏中，单击请求参数。进入请求参数的详细设置面板，在请求参数的列表中，对目标请求参数勾选是否必填的配置项，如下图所示：勾选：表示调用API时必须对参数传入具体的值，否则将会出现参数校验异常，导致API调用失败的问题。不勾选：表示调用API时允许对参数自行选择传入或者不传入具体的值。当不传值时，该请求参数将不会作为查询条件进行查询。调用API。情况一：请求参数uid、gender均传入具体值，执行查询如下：SELECT uid, gender, age_range, zodiac FROM ods_user_info_d WHERE uid = 0016359810821 AND gender = '女';情况二：请求参数uid传入具体值，请求参数gender未传值，执行查询如下：SELECT uid, gender, age_range, zodiac FROM ods_user_info_d WHERE uid = 0016359810821;脚本模式说明 基础SQL无法实现请求参数的选填逻辑，如果在基础SQL请求参数的详细设置面板中取消勾选了是否必填配置项，则调用API时：若请求参数传入值，将按照“请求参数 = 具体值”进行查询。若请求参数未传值，将按照“请求参数 = null”进行查询。高级SQL可以实现请求参数的选填逻辑，因此，如需通过脚本模式设置请求参数选填，请选择高级SQL。进入数据服务页面。鼠标悬停至图标，单击新建API > 生成API。在生成API对话框中，选择API模式为脚本模式。配置各项参数后，单击确定。各参数配置详情请参见通过脚本模式生成API。进入API的编辑页面，在选择表区域选择目标数据源及数据表。在编写查询SQL区域通过Mybatis标签语法实现请求参数的设置，示例如下：SELECT uid, gender, age_range, zodiac FROM ods_user_info_d gender = ${gender} and uid = ${uid} 在API编辑页面的右侧导航栏中，单击请求参数。进入请求参数的详细设置面板，在请求参数的列表中，对目标请求参数勾选是否必填的配置项，如下图所示：调用API。情况一：请求参数uid、gender均传入具体值，执行查询如下：SELECT uid, gender, age_range, zodiac FROM ods_user_info_d WHERE uid = 0016359810821 AND gender = '女';情况二：请求参数uid传入具体值，请求参数gender未传值，执行查询如下：SELECT uid, gender, age_range, zodiac FROM ods_user_info_d WHERE uid = 0016359810821; 配置数据源 查看、删除、移动、克隆、批量操作、代码搜索API 数据服务概述 脚本模式实践：高级SQL（Mybatis语法）示例 通过脚本模式生成API 管理函数 附录：数据服务错误代码表 通过向导模式生成API 阿里云首页 大数据开发治理平台 DataWorks 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 JindoFS的namespace的存储模式支持哪些权限_开源大数据平台E-MapReduce-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 开源大数据平台E-MapReduce EMR on ECS 操作指南 组件操作 SmartData（仅对存量用户开放） SmartData 3.5.x JindoFS Block模式 权限功能 权限功能 更新时间: 2021-05-08 15:04:09 本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。 背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下： 当您namespace的存储模式是Block模式时，支持Unix和Ranger权限。 Unix权限：您可以设置文件的777权限，以及Owner和Group。 Ranger权限：您可以执行复杂或高级操作。例如使用路径通配符。 当您namespace的存储模式是Cache模式时，仅支持Ranger权限。 您可以执行复杂或高级操作。例如使用路径通配符。 启用JindoFS Unix权限 进入SmartData服务。 登录阿里云E-MapReduce控制台。 在顶部菜单栏处，根据实际情况选择地域和资源组。 单击上方的集群管理页签。 在集群管理页面，单击相应集群所在行的详情。 在左侧导航栏单击集群服务 > SmartData。 进入namespace服务配置。 单击配置页签。 单击namespace。 单击自定义配置，在新增配置项对话框中，设置Key为jfs.namespaces..permission.method，Value为unix，单击确定。 保存配置。 单击右上角的保存。 在确认修改对话框中，输入执行原因，开启自动更新配置。 单击确定。 重启配置。 单击右上角的操作 > 重启 Jindo Namespace Service。 输入执行原因，单击确定。 开启文件系统权限后，使用方式跟HDFS一样。支持以下命令。 hadoop fs -chmod 777 jfs://{namespace_name}/dir1/file1 hadoop fs -chown john:staff jfs://{namespace_name}/dir1/file1如果用户对某一个文件没有权限，将返回如下错误信息。 启用JindoFS Ranger权限 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。 添加Ranger。 在namespace页签，单击自定义配置。 在新增配置项对话框中，设置Key为jfs.namespaces..permission.method，Value为ranger。 保存配置。 单击右上角的保存。 在确认修改对话框中，输入执行原因，开启自动更新配置。 单击确定。 重启配置。 单击右上角的操作 > 重启 Jindo Namespace Service。 输入执行原因，单击确定。 配置Ranger。 进入Ranger UI页面。详情请参见概述。 Ranger UI添加HDFS service。 配置相关参数。 参数 描述 Service Name 固定格式：jfs-{namespace_name}。 例如：jfs-test。 Username 自定义。 Password 自定义。 Namenode URL 输入jfs://{namespace_name}/。 Authorization Enabled 使用默认值No。 Authentication Type 使用默认值Simple。 dfs.datanode.kerberos.principal 不填写。 dfs.namenode.kerberos.principal dfs.secondary.namenode.kerberos.principal Add New Configurations 单击Add。 启用JindoFS Ranger权限+LDAP用户组 如果您在Ranger UserSync上开启了从LDAP同步用户组信息的功能，则JindoFS也需要修改相应的配置，以获取LDAP的用户组信息，从而对当前用户组进行Ranger权限的校验。 在namespace页签，单击自定义配置。 在新增配置项对话框中，参见以下示例设置参数来配置LDAP，单击确定。以下配置项请遵循开源HDFS内容，详情请参见core-default.xml。 参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop.security.group.mapping.provider.shell4services org.apache.hadoop.security.ShellBasedUnixGroupsMapping hadoop.security.group.mapping.provider.ad4users org.apache.hadoop.security.LdapGroupsMapping hadoop.security.group.mapping.ldap.url ldap://emr-header-1:10389 hadoop.security.group.mapping.ldap.search.filter.user (&(objectClass=person)(uid={0})) hadoop.security.group.mapping.ldap.search.filter.group (objectClass=groupOfNames) hadoop.security.group.mapping.ldap.base o=emr 保存配置。 单击右上角的保存。 在确认修改对话框中，输入执行原因，开启自动更新配置。 单击确定。 重启配置。 单击右上角的操作 > 重启 All Components。 输入执行原因，单击确定。 通过SSH登录emr-header-1节点，配置Ranger UserSync并启用LDAP选项。详情请参见Ranger Usersync集成LDAP。 阿里云首页 开源大数据平台E-MapReduce 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 如何在PyODPS中使用SQL_云原生大数据计算服务 MaxCompute-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 云原生大数据计算服务 MaxCompute 操作指南 数据科学计算 PyODPS 基本操作 SQL SQL 更新时间: 2023-07-25 16:36:04 PyODPS支持对MaxCompute SQL的基本操作，本文为您介绍如何在PyODPS中使用SQL。背景信息PyODPS提供对MaxCompute SQL的基本操作方法，方法如下所示。方法名称方法说明execute_sql()/run_sql()执行SQL语句。open_reader()读取SQL执行结果。说明 在MaxCompute客户端中可以执行的SQL语句并非都可以通过入口对象的execute_sql()和run_sql()方法执行。在调用非DDL或非DML语句时，请使用其他方法。例如，调用GRANT或REVOKE语句时，请使用run_security_query方法；调用API命令时，请使用run_xflow或execute_xflow方法。在Python UDF编写过程中，如果某个UDF引用的资源是动态变化的，您可以在execute_sql()中设置alias给旧的资源一个别名作为新的资源，无需重新删除或创建新的UDF。详情请参见设置alias。执行SQL语句PyODPS对MaxCompute SQL操作的具体说明如下。参数说明statement：需要执行的SQL语句。 hints：设置运行时参数，参数类型是DICT。返回值说明执行execute_sql()和run_sql()后的返回值是任务实例。详情请参见任务实例。使用示例示例1执行SQL语句。o.execute_sql('select * from table_name') #同步的方式执行，会阻塞直到SQL语句执行完成。 instance = o.run_sql('select * from table_name') #异步的方式执行。 print(instance.get_logview_address()) # 获取Logview地址。 instance.wait_for_success() # 阻塞直到完成。示例2执行SQL语句时，运行参数。o.execute_sql('select * from pyodps_iris', hints={'odps.stage.mapper.split.size': 16})您也可以通过如下示例，设置sql.settings，对运行的参数进行全局配置，则在每次运行语句时都会执行对应参数，支持设置的全局参数请参见Flag参数列表。 from odps import options options.sql.settings = {'odps.stage.mapper.split.size': 16} o.execute_sql('select * from pyodps_iris') # 会根据全局配置添加hints。读取SQL执行结果您可以通过open_reader操作读取SQL执行结果。有以下两种情况： 读取表数据，返回结构化数据，通过for语句遍历即可。with o.execute_sql('select * from table_name').open_reader() as reader: for record in reader: # 处理每一个record。 print(record)执行desc等命令，返回非结构化数据，需要通过reader.raw获取执行结果。 with o.execute_sql('desc table_name').open_reader() as reader: print(reader.raw)在调用open_reader()时，PyODPS会默认调用旧的Result接口，可能会出现获取数据超时或获取数据受限等问题。您可以按照如下方法指定PyODPS调用Instance Tunnel。在脚本中设置options.tunnel.use_instance_tunnel =True。按照如下示例，设置open_reader(tunnel=True)。从PyODPS v0.7.7.1开始，您可以通过open_reader()方法读取全量数据。with o.execute_sql('select * from table_name').open_reader(tunnel=True) as reader: for record in reader: print(record)说明 如果您使用了较低版本的MaxCompute服务，或者调用Instance Tunnel出现了问题，PyODPS会给出警告并自动降级到旧的Result接口，您可根据警告信息判断导致降级的原因。如果您使用的MaxCompute只能支持旧Result接口，并且需要读取所有的数据，您可将SQL结果写入另一张表后用读表接口读取（可能受到Project安全设置的限制）。更多Instance Tunnel说明，请参见Instance tunnel。PyODPS默认不限制从Instance读取的数据规模，但Project Owner可能在MaxCompute Project上增加保护设置，以限制对Instance结果的读取，此时只能使用受限读取模式读取数据，在此模式下可读取的行数受到Project配置限制，通常为10000行。如果PyODPS检测到读取Instance数据被限制，且options.tunnel.limit_instance_tunnel未设置，会自动启用受限读取模式。如果您的Project被保护，想要手动启用受限读取模式，可以为open_reader()方法增加limit=True参数，例如open_reader(limit=True)。或者设置options.tunnel.limit_instance_tunnel = True。在部分环境中（例如DataWorks），options.tunnel.limit_instance_tunnel可能默认被置为True，此时，如果想要读取所有数据，需要为open_reader()方法增加tunnel=True和limit=False参数，例如open_reader(tunnel=True, limit=False)。重要 如果Project本身被保护，tunnel=True和limit=False选项不能解除保护，此时应联系Project Owner开放相应的读权限。设置alias如果某个UDF引用的资源是动态变化的，您可以通过设置alias给旧的资源一个别名作为新的资源，无需重新删除或创建新的UDF。from odps.models import Schema myfunc = '''\ from odps.udf import annotate from odps.distcache import get_cache_file @annotate('bigint->bigint') class Example(object): def __init__(self): self.n = int(get_cache_file('test_alias_res1').read()) def evaluate(self, arg): return arg + self.n ''' res1 = o.create_resource('test_alias_res1', 'file', file_obj='1') o.create_resource('test_alias.py', 'py', file_obj=myfunc) o.create_function('test_alias_func', class_type='test_alias.Example', resources=['test_alias.py', 'test_alias_res1']) table = o.create_table( 'test_table', schema=Schema.from_lists(['size'], ['bigint']), if_not_exists=True ) data = [[1, ], ] # 写入一行数据，只包含一个值1。 o.write_table(table, 0, [table.new_record(it) for it in data]) with o.execute_sql( 'select test_alias_func(size) from test_table').open_reader() as reader: print(reader[0][0]) res2 = o.create_resource('test_alias_res2', 'file', file_obj='2') # 把内容为1的资源别名设置成内容为2的资源。您不需要修改UDF或资源。 with o.execute_sql( 'select test_alias_func(size) from test_table', aliases={'test_alias_res1': 'test_alias_res2'}).open_reader() as reader: print(reader[0][0])在少数情形下，提交SQL时需要同时提交biz_id，否则执行会报错。此时，您可以通过设置全局options里的biz_id解决此类报错。 from odps import options options.biz_id = 'my_biz_id' o.execute_sql('select * from pyodps_iris') 通过DataWorks使用PyODPS 快速入门 PyODPS读取分区表数据 PyODPS概述 快速入门 Python SDK示例：SQL 安装PyODPS 创建DataFrame 阿里云首页 云原生大数据计算服务 MaxCompute 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 如何使用HBase快照_开源大数据平台E-MapReduce-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 首页 开源大数据平台E-MapReduce EMR on ECS 操作指南 组件操作 HBase 使用HBase快照 使用HBase快照 更新时间: 2022-12-30 17:53:16 HBase的快照功能可以获取表的轻量级备份，并且对性能的影响极小。您可以在DataServing集群节点上使用HBase Shell或通过命令行来创建、导入或导出快照，并使用快照克隆新表或恢复表数据。本文为您介绍如何使用HBase快照。 创建快照 使用hbase shell命令连接HBase后，您可以通过以下命令为表table1创建名为table1-snapshot的快照。您还可以为snapshot命令增加SKIP_FLUSH、TTL或MAX_FILESIZE等参数限制。snapshot 'table1', 'table1-snapshot' 说明 快照名称必须唯一。您可以通过list_snapshots命令查看当前所有的快照。 通过hbase shell命令连接HBase，详情请参见连接HBase。 通过快照克隆新表 您可以通过clone_snapsho命令，基于快照克隆出一个新表，新表拥有和快照相同的数据。 例如，使用hbase shell命令连接HBase后，执行以下命令您可以通过快照table1-snapshot克隆出新表table2。clone_snapshot 'table1-snapshot', 'table2' 通过快照恢复表数据 您可以通过restore_snapshot命令，恢复创建该快照时的表数据。使用快照恢复表数据时，必须先禁用表。 例如，使用hbase shell命令连接HBase后，先禁用表table1，通过快照table1-snapshot恢复table1的数据并重新启用表table1。disable 'table1' restore_snapshot 'table1-snapshot' enable 'table1' 导入快照 您可以使用命令行方式导入其他路径上的HBase快照。导入快照时您需要指定导入的快照名称、导入快照的源路径、保存快照的目的地址以及导入任务的mapper数量等。 例如，通过以下命令从OSS-HDFS上导入快照至另一个DataServing集群的OSS-HDFS中。hbase snapshot export \ -snapshot 'table1-snapshot' \ -copy-from oss://${OSS-HDFS服务的域名}/oss-dir \ -copy-to oss://${OSS-HDFS服务的域名}/hbase \ -mappers 2 参数 描述 -snapshot 需要导出的快照名称。例如，table1-snapshot。 -copy-from 导入快照的源地址和保存快照的目的地址。 您可以在OSS管理控制台的概览页面，复制OSS-HDFS服务的域名，获取详情请参见获取OSS-HDFS服务域名。 -copy-to -mappers 导入使用处理程序的个数。例如，设置为2。 重要 如果导入快照时您没有指定该参数，HBase会根据表的大小来计算该值，如果数量过大，则会影响HBase正在运行的任务。因此，建议您指定-mappers或者-bandwidth参数的值以限制导入快照使用的集群资源。 导出快照 您可以使用命令行方式将快照导出至另一个集群的HDFS或OSS-HDFS上。导出快照时您需要指定导出的快照名称、导出的路径以及导出任务的mapper数量等。 例如，通过以下命令向OSS-HDFS中导出快照table1-snapshot。如果向另一个集群的HDFS中导出快照，则需要将-copy-to参数设置为对应的HDFS路径。hbase snapshot export \ -snapshot 'table1-snapshot' \ -copy-to oss://${OSS-HDFS服务的域名}/oss-dir \ -mappers 2 删除快照 使用hbase shell命令连接HBase后，您可以通过以下命令删除快照table1-snapshot。delete_snapshot 'table1-snapshot' 相关文档 您可以查看Apache HBase Snapshots官方文档了解更多信息，详情请参见Apache HBase官网。 选型配置说明 登录集群 使用JindoDistCp工具迁移第三方云对象存储数据到OSS/OSS-HDFS 自定义函数（UDF） HMaster服务异常提示Cannot seek after EOF HDFS Balancer Sqoop概述 Hive作业调优 阿里云首页 开源大数据平台E-MapReduce 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015 DataWorks数据集成Mongodb做联合切分键设置_大数据开发治理平台 DataWorks-阿里云帮助中心 产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台登录/注册 DataWorks数据集成Mongodb做联合切分键设置 更新时间: 2023-01-13 10:21:52 问题描述：读MongoDB 全量同步 按着什么字段做 条数切割呢，是按照主键吗 目前同步任务 设置的条件是modify_time , 在MongoDB的执行计划里，只是走id这个索引，不走 modify_time 这个索引，导致在mongodb 里出现了慢SQL，占用资源比较高，会影响业务访问延迟 解决方案：脚本加上hint参数，配置成"hint":"{'modify_time':1,'id':1}"，如下位置 注意：用户modify_time是-1，hint改成 "hint":"{'modify_time':-1}" ，可以在第一给截图查看-1设置 阿里云首页 大数据开发治理平台 DataWorks 相关技术圈 为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理解决方案技术解决方案行业解决方案文档与社区文档开发者社区天池大赛培训与认证权益中心免费试用高校计划企业扶持计划推荐返现计划支持与服务基础服务企业增值服务迁云服务官网公告系统状态信任中心关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务售前咨询：95187-1售后服务：400-80-13260法律声明及隐私权政策Cookies政策廉正举报安全举报联系我们加入我们阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么© 2009-2023 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015浙公网安备 33010602009975号浙B2-20080101-4 关注我们：新浪微博 联系我们© 2009-2023 Aliyun.com 版权所有
增值电信业务经营许可证： 浙B2-20080101
域名注册服务机构许可： 浙D3-20210002 京D3-20220015