nodejs + mongo + redis + oss追加写入CSV文件-程序员宅基地

技术标签: node.js  mongodb  redis  javascript  

const fs = require(‘fs’);
const path = require(‘path’);
const ENUM = require(‘…/…/extend/enum’);
const OSS = require(‘ali-oss’);
const page = 1;
const limit = 1000;
let OSS_CONFIG = think.config(‘OSS_CONFIG’)
OSS_CONFIG[‘timeout’] = 86400

module.exports = class extends think.Controller {
async writeSvc(data){
const object_id = data._id
if (think.isEmpty(OSS_CONFIG) || !object_id) {
await this.editDataSvc(object_id, {status: 4, fail_reason: ${object_id}未找到oss配置})
return
}
let params = data.where || {}
params.limit = limit;
params.page = page;
// 构建查询参数
const channel = data.channel;
const menu_button = data.menu_button || []
// 下载类型
let downloadType = data.downloadType;

let result = {};
// 构建开始 ---------------------------------------------------------------------
// 去除参数中为空字符串的条件
params = Object.fromEntries(
  Object.entries(params).filter(([key, value]) => value !== "")
);
// 根据下载类型调用相应的导出方法
switch (downloadType) {
    case "userList":
        result = await think.model("common/derive").userListExport(params, channel, menu_button);
        break;
    case "ExchangeList":
        result = await think.model("common/derive").GetWithdrawListExport(params, channel);
        break;
    case "payRecord":
        result = await think.model("common/derive").GetPayRecordExport(params, channel);
        break;
    case "DrawInfoRecord":
        result = await think.model("common/derive").getDrawPageRecordExport(params, channel);
        break;
    case "gameData":
        result = await think.model("common/derive").getGameStaticsDataExport(params, channel);
        break;
    case "ActiveDetails":
        result = await think.model("common/derive").ActiveDetails(params, channel);
        break;
    default:
        console.log("无效的下载类型");
}
// 构建结束 ---------------------------------------------------------------------
// 此次下载总数量
const total = result.count

console.log(`导出类型:${downloadType},导出数量:${total}`);

// 数量检查
if (total >= 1000000 || think.isEmpty(total)) {
  await this.editDataSvc(object_id, {status: 4, fail_reason: '导出数据超过限制或无数据'})
  console.log('导出数据超过限制');
  return;
}

// 记录总次数
await this.editDataSvc(object_id, {export_quantity: total})

const numOfIterations = Math.ceil(total / limit); // 计算需要循环导出的次数
console.log(`应循环总次数为 ${numOfIterations}`);

// 定义文件夹名称
const folderName = 'downloadCenter';
// 确定文件夹路径
const folderPath = path.join(think.ROOT_PATH, folderName);

// 如果文件夹不存在,则创建文件夹
if (!fs.existsSync(folderPath)) {
  fs.mkdirSync(folderPath);
}

// 定义CSV文件名称
const csvFileName = path.join(folderPath, `${Date.now()}_${think.uuid()}.csv`);

// 如果文件不存在,则写入BOM和表头
if (!fs.existsSync(csvFileName)) {
  const bom = Buffer.from("EFBBBF", "hex").toString("utf-8");
  const headers = Object.values(data.ToCnName); // 获取表头的中文列名
  fs.writeFileSync(csvFileName, bom + headers.join(',') + '\n');
}

// 支付方式枚举
const pay_payment = await think.mongoPay('conf_pay_type').field('_id, remarks').select();
// 跳转位置
const jumpList = await think.mongoConf('conf_jump_enums').field('value, name').select();
//获取支付平台
const paymentPlatform = await think.mongoPay('conf_channel').select();

// 进度
let downloadedBytes = 0;
// 循环导出数据
for (let i = 0; i < numOfIterations; i++) {
  console.log(data.file_name + '循环次数·', i + 1);
  // 下载页码
  params.page = i + 1;
  // 下载数据
  let list = {};
  switch (downloadType) {
    case "userList":
        let userList = await think.model("common/derive").userListExport(params, channel, menu_button);
        list = await ENUM.usersDataReplace(userList.data)
        break;
    case "ExchangeList":
        let withdrawList = await think.model("common/derive").GetWithdrawListExport(params, channel);
        list = await ENUM.getExchangeData(withdrawList.data, params, paymentPlatform)
        break;
    case "payRecord":
        let payRecordList = await think.model("common/derive").GetPayRecordExport(params, channel);
        list = await ENUM.getPayRecordData(payRecordList.data, params, pay_payment, jumpList, paymentPlatform)
        break;
    case "DrawInfoRecord":
        let DrawInfoRecordList = await think.model("common/derive").getDrawPageRecordExport(params, channel);
        list = await ENUM.getDrawInfoRecordData(DrawInfoRecordList.data)
        break;
    case "gameData":
        let gameDataList = await think.model("common/derive").getGameStaticsDataExport(params, channel);
        list = await ENUM.getGameData(gameDataList.data,  params.game_enum)
        break;
    default:
        console.log("无效的下载类型");
  }
  // 追加写入数据
  for (const record of list) {
    const rowValues = Object.keys(data.ToCnName).map(key => {
      let value = record[key];
      if (typeof value !== 'string') {
        value = String(value); // 将非字符串类型的值转换为字符串
      }
      // 如果数据中包含逗号,则用双引号括起来
      return value.includes(',') ? `"${value}"` : value;
    });
    fs.appendFileSync(csvFileName, rowValues.join(',') + '\n');
  }
  downloadedBytes += list.length;
  const progress = Math.floor((downloadedBytes / total) * 100);
  await this.editDataSvc(object_id, {progress: progress})
}
// 上传oss
// 定义CSV文件路径  
const csvFilePath = `${folderName}/${think.formatDate(Date.now(), 'yyyy-MM-dd')}/${data.file_name}.csv`;
let url = await this.upOssloadFile(object_id, csvFilePath, csvFileName)
if (url) {
  // 删除文件
  fs.unlink(csvFileName, (err) => {
    if (err) {
      console.error('Error deleting file:', err);
      return;
    }
    console.log('File deleted successfully');
  });
  await this.editDataSvc(object_id, {status: 2, download_url: url})
} else {
  await this.editDataSvc(object_id, {status: 4, fail_reason: 'oss上传失败'})
}
console.log('CSV 文件写入完成');

}

// 上传文件
async upOssloadFile(object_id, csvFilePath, csvFileName) {
const ossClient = new OSS(OSS_CONFIG);
try {
await this.editDataSvc(object_id, {status: 5})
const result = await ossClient.put(csvFilePath, csvFileName);
let url = await this.extractPathAfterDomain(result[‘url’])
return url
} catch (err) {
console.error(‘Upload error:’, err);
}
}

async extractPathAfterDomain(url) {
// 匹配域名后的路径
var pathAfterDomain = url.match(/(?:https?/)?(?:[@\n]+@)?(?:www.)?[\n?]+(/[^?#]+)/img);
if (pathAfterDomain && pathAfterDomain.length > 0) {
// 返回匹配的路径
return pathAfterDomain[0].replace(/.*//[/]+/, ‘’);
} else {
return null;
}
}

// 更新下载进度及其他信息
async editDataSvc(id, data) {
await think.mongoRecord(‘record_download_csv_list’).where({_id: id}).update({$set: data})
}
}

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_32531777/article/details/137671137

智能推荐

LeetCode刷题总结(C语言版)_leetcode c语言-程序员宅基地

文章浏览阅读5.4k次,点赞6次,收藏73次。编程总结每每刷完一道题后,其思想和精妙之处没有地方记录,本篇博客用以记录刷题过程中的遇到的算法和技巧001)两数之和给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的两个整数。你可以假设每种输入只会对应一个答案。但是,你不能重复利用这个数组中同样的元素。给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] ..._leetcode c语言

小程序开发者工具正常显示,但是真机调试和真机中安卓加载正常ios加载首页失败,首页的请求返回204_苹果 sec-fetch-dest-程序员宅基地

文章浏览阅读125次。检查请求头中的’sec-fetch-dest’: ‘document’ ,是否进行了特殊处理(node层)_苹果 sec-fetch-dest

ansible 批量安装zabbix-agent-程序员宅基地

文章浏览阅读321次。服务器初始化(这是在建立在新的服务器基础上做的初始化)关闭防火墙、selinux,添加epel常用源,安装常用工具、添加普通用户并禁止root1、服务器批量初始化[root@fwd ansible]# cat init.yml 系统初始化脚本---- hosts: all tasks: - name: disable selinux、firew..._ansible批量安装zabbix-agent

java日志系统--log4j配置解析过程,源码分析_log4j 源码分析 读取配置-程序员宅基地

文章浏览阅读1.4w次,点赞3次,收藏2次。Logger.getLogger(Test.class);从getLogger开始,就启动了log4j的整个工作流程,通过调用LogManager获取logger实例return LogManager.getLogger(clazz.getName());LogManager类里面有个静态块static{},【初始化重要信息】【root logger】,做一些配置,其中url = Loader.ge_log4j 源码分析 读取配置

心灵震撼《一个8岁女孩的遗书》看完能有几人不哭…-程序员宅基地

文章浏览阅读533次。无奈的父亲­有一个美丽的小女孩,她的名字叫余艳,她有一双亮晶晶的大眼睛她有一颗透明的童心.她是一个孤儿,她在这个世界上只活了8年,她留在这个世界上最后的一句话是“我来过,我很乖”她希望死在秋天,纤瘦的身体就像一朵花自然开谢的过程.在遍地黄花堆积,落叶空中旋舞的时候,她会看见横空远行的雁儿们.她自愿放弃治疗,把全世界华人捐给她的54万分成了7份,把生命当成希望的蛋糕分给了7个正徘徊在生死线上的小

C++音视频开发从放弃到入门 (基于FFmpeg+OpenCV)-程序员宅基地

文章浏览阅读1.1w次,点赞12次,收藏88次。音视频开发一定要学C++吗?答案是肯定的。虽然其它语言也能搞音视频开发,甚至使用起来更简单,但“语言越高级,离真相就越远”,当你的功能需求日益增多,程序的性能需求越来越迫切,你想进一步了解程序实现的细节时,使用其它语言往往会面临“无法解决”的困境,最后不得不使用C++来解决问题,我们何不从一开始就使用C++呢?FFmpeg及OpenCV是开源、跨平台的音视频开发SDK,搞音视频开发基本都需要用到它。_c++音视频开发

随便推点

EV/HEV中的牵引逆变器驱动优化-程序员宅基地

文章浏览阅读1.6k次,点赞42次,收藏35次。什么是牵引逆变器?从本质上讲,牵引逆变器是电动汽车动力系统中的一个子系统,它从电池中获取高电压,并将其转换为交流电压——因此被称为逆变器——并基本上为电机供电。它控制电机速度和扭矩,直接影响效率和可靠性,这正成为牵引逆变器设计的设计挑战。此图片来源于网络如今的电动汽车至少有一个牵引逆变器。有些型号实际上不止一个。一个在前轴上,一个在后轴上。甚至一些高端车型实际上每个车轮都有一个牵引逆变器。因此,效率和可靠性非常重要。所以,从逆变器和电机控制的市场趋势来看——从技术趋势来看,我们看到了功率水平的提高。

Ubuntu之apt命令_ubuntu18.04 atp命令使用技巧-程序员宅基地

文章浏览阅读134次。简介apt-cache和apt-get是apt包的管理工具,他们根据/etc/apt/sources.list里的软件源地址列表搜索目标软件、并通过维护本地软件包列表来安装和卸载软件。查看本机是否安装软件:whereis package_name 或者which package_name1.搜索软件sudo apt-cache search pa..._ubuntu18.04 atp命令使用技巧

查询Dynamics 365的Audit History_dynamics 审核历史记录如何查询-程序员宅基地

文章浏览阅读150次。【代码】查询Dynamics 365的Audit History。_dynamics 审核历史记录如何查询

python yield函数的用法-程序员宅基地

文章浏览阅读1.3w次,点赞15次,收藏66次。什么是yield函数?yield函数是python里面的关键字,带有yield的函数相当于一个生成器generator.当你使用一个yield的时候,对应的函数就是一个生成器在python里面类似于return函数,他们主要的区别就是:遇到return会直接返回值,不会执行接下来的语句.但是yield并不是,在本次迭代返回之后,yield函数在下一次迭代时,从上一次迭代遇到的yield后面的代码(下一行)开始执行下面是案例分析:案例一:def gen_generator(): yiel_yield函数

【QT笔记】QFile读文件问题_qfileread后指针会移动吗-程序员宅基地

文章浏览阅读917次。如果不用seek(0)的话,默认是自己会把读取文件的指针后移的,不用手动后移;_qfileread后指针会移动吗

dw8051基本测试示例_dw8051 part1-程序员宅基地

文章浏览阅读2.5k次。整理了网上一份简单的dw8051测试示例,共享到云盘:http://pan.baidu.com/s/1bnu9lZT1.目录如下:---dut ---rtl:DW8051的core文件 ---model:ROM和RAM的model文件---testbench ---rtl.f:filelist文件 ---test_top.v:仿真的top_dw8051 part1