Ultra-dense edge computing (UDEC) has great potential, especially in the 5G era, but it still faces challenges in its current solutions, such as the lack of: i) efficient utilization of multiple 5G resources (e.g., computation, communication, storage and service resources); ii) low overhead offloading decision making and resource allocation strategies; and iii) privacy and security protection schemes. Thus, we first propose an intelligent ultra-dense edge computing (I-UDEC) framework, which integrates blockchain and Artificial Intelligence (AI) into 5G ultra-dense edge computing networks. First, we show the architecture of the framework. Then, in order to achieve real-time and low overhead computation offloading decisions and resource allocation strategies, we design a novel two-timescale deep reinforcement learning (\textit{2Ts-DRL}) approach, consisting of a fast-timescale and a slow-timescale learning process, respectively. The primary objective is to minimize the total offloading delay and network resource usage by jointly optimizing computation offloading, resource allocation and service caching placement. We also leverage federated learning (FL) to train the \textit{2Ts-DRL} model in a distributed manner, aiming to protect the edge devices' data privacy. Simulation results corroborate the effectiveness of both the \textit{2Ts-DRL} and FL in the I-UDEC framework and prove that our proposed algorithm can reduce task execution time up to 31.87%.

中文翻译：

---

当深度强化学习遇上联邦学习：5G 超密集网络中多接入边缘计算的智能多时间尺度资源管理

超密集边缘计算（UDEC）具有巨大的潜力，尤其是在 5G 时代，但它目前的解决方案仍然面临挑战，例如缺乏：i）多个 5G 资源（例如，计算、通信、存储）的高效利用和服务资源）；ii) 低开销卸载决策和资源分配策略；iii) 隐私和安全保护方案。因此，我们首先提出了一种智能超密集边缘计算（I-UDEC）框架，将区块链和人工智能（AI）集成到 5G 超密集边缘计算网络中。首先，我们展示了框架的架构。然后，为了实现实时和低开销的计算卸载决策和资源分配策略，我们设计了一种新颖的两时间尺度深度强化学习 (\textit{2Ts-DRL}) 方法，分别由快速时间尺度和慢时间尺度学习过程组成。主要目标是通过联合优化计算卸载、资源分配和服务缓存放置来最小化总卸载延迟和网络资源使用。我们还利用联邦学习 (FL) 以分布式方式训练 \textit{2Ts-DRL} 模型，旨在保护边缘设备的数据隐私。仿真结果证实了 \textit{2Ts-DRL} 和 FL 在 I-UDEC 框架中的有效性，并证明我们提出的算法可以将任务执行时间减少高达 31.87%。资源分配和服务缓存放置。我们还利用联邦学习 (FL) 以分布式方式训练 \textit{2Ts-DRL} 模型，旨在保护边缘设备的数据隐私。仿真结果证实了 \textit{2Ts-DRL} 和 FL 在 I-UDEC 框架中的有效性，并证明我们提出的算法可以将任务执行时间减少高达 31.87%。资源分配和服务缓存放置。我们还利用联邦学习 (FL) 以分布式方式训练 \textit{2Ts-DRL} 模型，旨在保护边缘设备的数据隐私。仿真结果证实了 \textit{2Ts-DRL} 和 FL 在 I-UDEC 框架中的有效性，并证明我们提出的算法可以将任务执行时间减少高达 31.87%。