百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程字典 > 正文

Flink 源码开发环境配置(flink 开发平台)

toyiye 2024-06-30 09:59 10 浏览 0 评论

本文讲述如何将 Flink 项目导入到 IDE 中以进行 Flink 本身的源码开发。

声明:本文基于Flink1.14.0版本

可参照Flink官网

英文:https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/flinkdev/ide_setup/

中文:https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/flinkdev/ide_setup/


主要内容

  1. Flink开发环境配置
  2. 常见问题

Flink开发环境配置

主要步骤

  1. 安装Git,拉取Flink源码
  2. 安装Scala插件
  3. 导入Flink

步骤1、安装Git,拉取Flink源码

我的下载到了本地D盘

git clone https://github.com/apache/flink.git


步骤2、安装scala插件

如未安装,按以下步骤进行安装

  1. 转到 File → Settings → Plugins 并选择 “Marketplace”。
  2. 选择并安装 “Scala” 插件。
  3. 如果出现提示,请重启 IntelliJ。


步骤3、导入Flink

1、启动 IntelliJ IDEA 并选择 New → Project from Existing Sources。

2、选择已克隆的 Flink 存储库的根文件夹。

3、选择 “Import project from external model”,然后选择 “Maven”。

4、保留默认选项,然后依次单击 “Next”,直到到达 SDK 部分。

5、如果未列出 SDK,在完成下一步【6】后,通过File → Project Structure 创建一个。选择 “JDK”,选择 JDK 主目录,然后单击 “OK”。选择最合适的 JDK 版本。

6、单击 “Next” 继续,直到完成导入。

7、右键单击已导入的 Flink 项目 → Maven → Generate Sources and Update Folders。

8、编译项目(Build → Make Project)。

Build完成后,会报一个错:

ParserResource.java会自动弹出,报依赖的包不存在,解决方法看Q2

至此,配置完成!!!


常见问题

Q1,Q2,Q3,Q6是我在配置过程中遇到的问题,Q4,Q5来自Flink官网

Q1:Flink源码拉取失败

A1:我在拉取源码过程中,进度到一半多时,会拉取失败,是因为网络问题,多操作几次就可以

Q2:ParserResource.java异常问题

问题描述:无法找到ParseException类

A2:ParseException类是通过codegen生成的,需要重新编译【flink-table】→ 【flink-sql-parse】,会自动生成这几个类到target目录里,然后把这几个类拷贝到src目录里。

Q3:Could not transfer artifact com.google.errorprone:javac-shaded:pom:9+181-r41

问题描述:是在解决Q2问题,进行compile操作时遇到的,缺少jar包:

javac-shaded-9+181-r4173-1.jar 或 javac-9+181-r4173-1.jar

A3:下载两个jar包到本地,通过mvn install命令安装

1、下载jar包

javac-shaded-9+181-r4173-1.jar下载地址
https://mvnrepository.com/artifact/com.google.errorprone/javac-shaded/9+181-r4173-1
javac-9+181-r4173-1.jar下载地址
https://mvnrepository.com/artifact/com.google.errorprone/javac/9+181-r4173-1

2、执行mvn install

//javac-9+181-r4173-1.jar
mvn install:install-file -DgroupId=com.google.errorprone -DartifactId=javac -Dversion=9+181-r4173-1 -Dpackaging=jar -Dfile=D:\javac-9+181-r4173-1.jar
//javac-shaded-9+181-r4173-1.jar
mvn install:install-file -DgroupId=com.google.errorprone -DartifactId=javac-shaded -Dversion=9+181-r4173-1 -Dpackaging=jar -Dfile=D:\javac-shaded-9+181-r4173-1.jar

3、pom文件中配置maven依赖,重新reload项目

Q4:编译失败 invalid flag: --add-exports=java.base/sun.net.util=ALL-UNNAMED

这意味着 IntelliJ 仍激活了 Java 11 配置文件,尽管使用了较旧的 JDK。解决方法:打开 Maven 工具窗口(View → tool Windows → Maven),取消选中 Java 11 配置文件并重新导入项目。

Q5:编译失败 cannot find symbol: symbol: method defineClass(...) location: class sun.misc.Unsafe

这意味着 IntelliJ 正在为该项目使用 JDK 11,但是你正在使用不支持 Java 11 的 Flink 版本。这通常在将 IntelliJ 设置为使用 JDK 11 并检出 Flink 的旧版本(<= 1.9)时发生。解决方法:打开项目设置窗口(File → Project Structure → Project Settings: Project),然后选择 JDK 8 作为项目 SDK。如果要使用 JDK 11,则可能必须在切换回新的 Flink 版本后恢复此状态。

Q6:运行 Flink Examples 且 Flink 出现关于 NoClassDefFoundError 错误信息

这可能是由于将 Flink 依赖项设置为 provided,导致它们没有自动放置在类路径中。你可以在运行配置中选中 “Include dependencies with ‘Provided’ scope” 框,也可以创建一个调用 main() 方法的测试示例(provided 依赖关系在测试类路径中可用)。


学习交流,互相促进,文中问题,欢迎指正!!!

相关推荐

为何越来越多的编程语言使用JSON(为什么编程)

JSON是JavascriptObjectNotation的缩写,意思是Javascript对象表示法,是一种易于人类阅读和对编程友好的文本数据传递方法,是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON(数据库用json格式存储)

在本文中,您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?,Devops,敏捷?,测试?以及?项目?管理?最新?,最热门?的?文章?,每天?花?...

MySQL 从零开始:05 数据类型(mysql数据类型有哪些,并举例)

前面的讲解中已经接触到了表的创建,表的创建是对字段的声明,比如:上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶(json格式对象)

一、引言在现代Web开发中,JSON(JavaScriptObjectNotation)已经成为数据交换的标准格式。无论是从前端向后端发送数据,还是从后端接收数据,JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data(json和formdata提交区别)

在讨论现代网络开发与API设计的语境下,理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里,特别值得关注的是两种主流数据格式:...

JSON 语法(json 语法 priority)

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解(json的语法规则)

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意:json的key是字符串,且必须是双引号,不能是单引号...

MySQL JSON数据类型操作(mysql的json)

概述mysql自5.7.8版本开始,就支持了json结构的数据存储和查询,这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库,在处理json这种非结构化的数据...

JSON的数据模式(json数据格式示例)

像XML模式一样,JSON数据格式也有Schema,这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解(后端json格式)

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势(什么叫json)

现在程序员还有谁不知道JSON吗?无论对于前端还是后端,JSON都是一种常见的数据格式。那么JSON到底是什么呢?JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型,以存储结构化数据。JSON是一种开放的数据格式,可用于存储各种类型的值。什么是JSON类型?JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类(javascript 包)

JOSN:我们希望可以将一个对象在不同的语言中进行传递,以达到通信的目的,最佳方式就是将一个对象转换为字符串的形式JSON(JavaScriptObjectNotation)-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介:Json,全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?(json和xml哪个好)

JSON(JavaScriptObjectNotation)和XML(eXtensibleMarkupLanguage)是在日常开发中比较常用的两种数据格式,它们主要的作用就是用来进行数据的传...

取消回复欢迎 发表评论:

请填写验证码