Posts
All the articles I've posted.
【离线数仓】拉链表的3种构建方案
Published: at 10:46前面说到了拉链表的应用场景,但在我们构建拉链表的时候,往往是从快照表中构建数据的,我接下来会基于介绍3种经验方案,用来提供给大家更多的参考。
【离线数仓】我们为什么需要拉链表【与快照表的对比】
Published: at 10:39快照表和拉链表是两种用于存储数据历史的常见表结构,它们的目的都是记录数据的变化,但实现方式和适用场景有所不同。下面从多个角度对比它们,解释为什么在某些情况下需要使用拉链表。
Hive表中数据倾斜的处理方法
Published: at 14:24在 Hive 表中,数据倾斜 是大数据处理中的常见问题,尤其在执行 JOIN、GROUP BY、DISTINCT 等操作时,某些键值的数据分布不均匀,导致某些计算节点负载过重,任务执行变慢甚至失败。以下是处理 Hive 表数据倾斜的常见方法:
Flink 在大数据开发中的应用(实时数据分析和处理)
Published: at 16:29在当今快节奏的商业环境中,实时数据分析成为企业获取竞争优势的关键能力。通过对实时数据进行分析,企业可以快速应对市场变化、做出更精准的业务决策。无论是金融、零售还是物联网领域,实时数据流的处理需求愈发重要。Apache Flink,作为一款开源的分布式流处理框架,以其强大的实时数据处理能力和低延迟特性,在大数据实时分析领域备受推崇。本文将详细介绍 Flink 在实时数据分析与处理中的应用,结合 PyFlink 和 Flink SQL 的实操步骤,帮助开发者快速掌握 Flink 的实时流处理技巧。
作为前员工,对阿里瓴羊业务的理解
Published: at 13:57在国内,过去几年中大数据底层技术的发展并没有发生显著变化,很多服务提供商的产品同质化严重,竞争也集中在价格和短期服务上。然而,仅靠短期的项目或服务维持盈利显然是不现实的,企业必须为客户提供长期、持续的服务,才能建立真正的竞争优势。鉴于我也曾经是瓴羊的一分子,我认为瓴羊的未来发展需要从多个层面进行优化与调整。
数据湖与数据仓库:两种核心数据存储方式的深度解析与差异
Published: at 10:31最近有一些朋友在问我,数据湖和数据仓库有什么区别和关系,一开始我是觉得这个事情压根不需要一篇博客来解释,昨天又有人在问,我想了下,还是话点时间来解释下
人工智能真的在帮助人类进步吗?(我对AI未来发展的担忧)
Published: at 01:54近期,我们明显感受到人工智能创作的内容遍布各个角落。从文稿至图像,再到视频制作,其速度之快令人咋舌。虽然看似无关痛痒,但实际上背后隐藏诸多问题。人工智能所产出的内容日益增多,不禁让人忧虑互联网的未来将走向何方。
离线数据中台的数据安全策略实践
Published: at 01:29在数字化时代,数据成为了企业的核心资产,而如何保障这些资产的安全成为了亟待解决的问题。离线数据中台,作为企业数据资产管理的重要环节,其数据安全策略的实践显得尤为重要。今天,我们就来聊聊这个话题,知其然,更要知其所以然。
Python 在大数据开发中的应用
Published: at 16:15在大数据领域,数据的处理和分析是企业决策和业务优化的核心。随着数据量的不断增长和数据类型的多样化,企业面临着如何高效处理和分析这些数据的挑战。Python 作为一种灵活、易于学习且功能强大的编程语言,逐渐成为大数据开发中不可或缺的工具。从数据采集、清洗、分析到机器学习,Python 在大数据开发的各个环节中都扮演了重要角色。本文将探讨 Python 在大数据开发中的应用及其优势,并介绍一些常见的使用场景和工具。
Flink 在大数据开发中的应用
Published: at 16:20在现代大数据开发中,实时数据处理变得愈发重要。无论是金融服务中的实时风控,还是电商平台的个性化推荐,企业都需要对实时数据进行处理,以便做出快速决策。Apache Flink 作为一个分布式流处理框架,以其高性能、低延迟和强大的状态管理功能,逐渐成为实时数据处理的首选解决方案。本文将详细介绍 Flink 在大数据开发中的应用,并探讨其在实际业务场景中的使用优势。
如何在Astro Markdown博客中插入视频,让其自适应页面大小
Published: at 02:36最近在博客中插入了一个youtube视频,pc端看起来似乎很正常,只是页面不是很居中,想想也不是大事情,就无所谓了,直到我前两天用手机打开博客,发现这个视频把我整个页面给撑起来了。根本无法看,所以简单研究了一下,自适应视频的宽度,达到页面的美观(非前端出身,大佬求放过)
《草台班子是如何运行的?——陈一枝》观后感
Published: at 03:39最近看了油管上的这个视频,很有趣,因为我在国内的某个大厂工作过一段时间,参与的项目大大小小也有一些,所以,这个视频我反复看了好几遍,内容虽然毫无客观可言,但基本上都对上了我的经历,所以分享出来给大家乐和乐和。
Github 的一些操作沟通中的缩写
Published: at 15:13之前使用github的时候,很少和别人合作过,都只是用来clone别人的代码,或者把自己的项目push上去,最近想把自己的blog推上astro-cn,提交PR的过程中,发现很多有意思的“黑话”缩写,网上查了一下,还有不少,所以,就粘贴过来,挺有意思的。
对当下AI的理解及想法1:中国不会在AI领域有世界领先的发展
Published: at 23:25AI当前真的是如火如荼啊,到处都充斥着新技术和新突破,在我有限的认知下,我谈谈我自己的一些想法。
关于中文输入方式的问题——我现在是如何打字的
Published: at 01:43作为一名从事数据行业多年的人,我相信现在所有的云输入法,如搜狗、百度、QQ等,他们都一定会收集你的输入信息,这点我深信不疑,所以在前几年我为了保护下自己隐私,同时也改一改我的“二指禅”的毛病,决定研究下更高效安全的文字输入问题。