ZSTD解压缩库

aixunsoft

ZSTD解压缩库，添加了多线程和压缩速度的设置。
之前使用ZSTD_compressCCtx进行压缩，设置了多线程速度不变，我以为已经默认开启了多线程，看了头文件注释默认是单线程，需要手动开启多线程并且使用ZSTD_compress2才能进行多线程压缩，解压没有找到多线程相关的函数。

游客，如果您要查看本帖隐藏内容请回复

urenai

大兄弟你能给他封个源码版的吗？

还有你搞个 17- 的
这得升级到vs2022啊

还有，原版中可以设定多线程的线程数，你这个也没预留参数啊。

kingsoft

老大加油优化一下，远程桌面就靠你们两个了！

aixunsoft

urenai 发表于 2025-2-5 14:29
大兄弟你能给他封个源码版的吗？

还有你搞个 17- 的

重新上传封了一个类，一个对象一个上下文，频繁压缩解压的话，速度可能会快一点，至于说多线程压缩，应该是指的可以多个线程同时压缩数据，并不是一个数据多个线程压缩，内部带了线程池，整个zstd的头文件也没找到可以设置线程数的函数，但是里面有一个线程池，并且内部创建了线程池，源码文件太多了，不适合全部包进去，库是vs2022编译的，把限制17删掉看看能不能兼容2019。

htpmcj

支持一下

aixunsoft

据说lz4压缩更快，但是压缩率差一点

Xelloss0618

aixunsoft 发表于 2025-2-5 16:17
重新上传封了一个类，一个对象一个上下文，频繁压缩解压的话，速度可能会快一点，至于说多线程压缩，应该 ...

高版本可以兼容低版本编译的LIB，反过来不行

urenai

大哥 你能不能放源码版本出来，

有选择的话，肯定源码版优先啊

aixunsoft

urenai 发表于 2025-2-6 20:15
大哥 你能不能放源码版本出来，

有选择的话，肯定源码版优先啊

你说的源码是指直接引用zstd源码，还是火山的源码，zstd源码太多了不好引用，火山模块安装完就是源码，你也可以自己复制出来写到你自己项目上面，代码没几行，zstd编译很简单的，你可以自己用vs2019编译，下载zstd源码，build-VS2010，用vs2019打开，然后右键动态库和静态库直接生成把文件复制出来在火山引用就可以了。

aixunsoft

urenai 发表于 2025-2-6 20:15
大哥 你能不能放源码版本出来，

有选择的话，肯定源码版优先啊

<火山程序 类型 = "通常" 版本 = 1 />

包 星火.zstd

类 ZSTD <公开 @全局类 = 真 @视窗.头文件搜寻目录 = "zstd\\include" @视窗.外部头文件 = "zstd.h"
        @视窗.附属文件.non_static = "zstd\\$(p)\\$(d)\\dynamic\\bin\\zstd.dll"
        @视窗.外部库 = "zstd\\$(p)\\$(d)\\$(lm)\\lib\\zstd.lib" "" "@视窗.外部库.debug-static" = "msvcrtd.lib"
        "@视窗.外部库.release-static" = "msvcrt.lib" "" @视窗.需求VS版本.static = "17-">
{
    方法 ZSTD_取版本 <公开 静态 类型 = 文本型 @嵌入式方法 = "">
    {
        @ CVolString(ZSTD_versionString())
    }

    方法 ZSTD_压缩 <公开 静态 类型 = 字节集类 折叠>
    参数 欲压缩数据 <类型 = 字节集类>
    参数 压缩等级 <类型 = 整数 注释 = "1-22,默认3" @默认值 = 3>
    {
        变量 结果 <类型 = 字节集类>
        @ @<结果>.Alloc (ZSTD_compressBound(@<欲压缩数据>.GetSize ()), false);
        @ size_t compressedSize = ZSTD_compress(@<结果>.GetPtr(), @<结果>.GetSize (),@<欲压缩数据>.GetPtr(), @<欲压缩数据>.GetSize(), @<压缩等级>);
        @ if (ZSTD_isError(compressedSize))return CVolMem();
        @ @<结果>.Realloc (compressedSize);
        返回 (结果)
    }

    方法 ZSTD_解压 <公开 静态 类型 = 字节集类 折叠>
    参数 欲解压数据 <类型 = 字节集类>
    {
        变量 结果 <类型 = 字节集类>
        @ @<结果>.Alloc (ZSTD_getDecompressedSize(@<欲解压数据>.GetPtr(), @<欲解压数据>.GetSize()), false);
        @ if (ZSTD_isError(ZSTD_decompress(@<结果>.GetPtr(), @<结果>.GetSize (), @<欲解压数据>.GetPtr(), @<欲解压数据>.GetSize())))return CVolMem();
        返回 (结果)
    }
}

类 zstd压缩类 <公开 注释 = "适合连续压缩数据，一个对象只能同时被一个线程操作" @强制依赖 = "ZSTD">
{

    # @begin
    # <> <include>
    #     ZSTD_CCtx* cctx;
    # <> </include>
    # @end

    方法 类_初始化
    {
        @ cctx = ZSTD_createCCtx();
    }

    方法 类_清理
    {
        @ ZSTD_freeCCtx(cctx);
    }

    方法 压缩等级 <公开 属性写>
    参数 等级 <类型 = 整数 注释 = "默认为3 1到22">
    {
        @ ZSTD_CCtx_setParameter(cctx, ZSTD_c_compressionLevel, @<等级>);
    }

    方法 线程数 <公开 属性写 @视窗.外部头文件 = "<thread>">
    参数 数量 <类型 = 整数 注释 = "默认为0 单线程，-1为CPU核心数">
    {
        @ if(@<数量> == -1)@<数量> = std::thread::hardware_concurrency();
        @ ZSTD_CCtx_setParameter(cctx, ZSTD_c_nbWorkers, @<数量>);
    }

    方法 速度 <公开 属性写>
    参数 挡位 <类型 = 整数 注释 = "默认为2 1到9，数值越小，速度越快，压缩比越低">
    {
        @ ZSTD_CCtx_setParameter(cctx, ZSTD_c_strategy, @<挡位>);
    }

    方法 压缩 <公开 类型 = 字节集类>
    参数 欲压缩数据 <类型 = 字节集类>
    参数 压缩等级 <类型 = 整数 注释 = "1-22,默认3" @默认值 = 3>
    {
        变量 结果 <类型 = 字节集类>
        @ @<结果>.Alloc (ZSTD_compressBound(@<欲压缩数据>.GetSize ()) , false);
        @ size_t compressedSize = ZSTD_compress2(cctx, @<结果>.GetPtr(), @<结果>.GetSize (), @<欲压缩数据>.GetPtr(), @<欲压缩数据>.GetSize());
        @ if (ZSTD_isError(compressedSize))return CVolMem();
        @ @<结果>.Realloc (compressedSize);
        返回 (结果)
    }
}

类 zstd解压类 <公开 注释 = "适合连续解压数据，一个对象只能同时被一个线程操作" @强制依赖 = "ZSTD">
{

    # @begin
    # <> <include>
    #     ZSTD_DCtx* dctx;
    # <> </include>
    # @end

    方法 类_初始化
    {
        @ dctx = ZSTD_createDCtx();
    }

    方法 类_清理
    {
        @ ZSTD_freeDCtx(dctx);
    }

    方法 解压 <公开 类型 = 字节集类>
    参数 欲解压数据 <类型 = 字节集类>
    {
        变量 结果 <类型 = 字节集类>
        @ @<结果>.Alloc (ZSTD_getDecompressedSize(@<欲解压数据>.GetPtr(), @<欲解压数据>.GetSize()), false);
        @ size_t decompressedSize = ZSTD_decompressDCtx(dctx, @<结果>.GetPtr(), @<结果>.GetSize (), @<欲解压数据>.GetPtr(), @<欲解压数据>.GetSize());
        @ if (ZSTD_isError(decompressedSize))return CVolMem();
        返回 (结果)
    }
}