参加”
attend
participate
参加学术会议
attend/participate the academic conference

被邀请参加学术会议作报告可以不去吗

当然可以。你可以选择参加或者不参加，这是你的权利！
而且，现在有很多打着学术会议的旗号进行诈骗的案例！