个人私有公开书库和个人网盘完整解决方案 onedrive + oneindex + calibre-web + kindle

0

个人网盘和书库的解决方案汇总:
1、网盘:百度网盘 + OneDirve 教育版 2T 空间 + QQ空间相册。
如果没什么花哨的操作,直接使用官方网盘app+网页版足够满足大部分个人使用需求,再开个百度网盘 svip 会员,活动时一年价格也就是200块,office 365 的年价格也不贵,带几个T的网盘空间,分享链接,手机app自动备份相册,支持在线看视频,自动转码,高清标清任意切换。

一块硬盘的价格享受在线云服务,非常舒适,如果你学校给你开通教育版,免费的2T-5T onedirve 存储空间,评价就是真好用。

[……]

阅读更多

迁移Calibre书库:Fastcopy(最快的文件拷工具):Windows下大量文 件复制工具软件

0

几十个TB的存储满了,需要把一些不常用的文件迁移到移动硬盘,给网络存储空出一些空间,想来想去把视频和calibre的图书库迁移出来,迁移以后大概可以增加一些几百G的空间,可以临时用一下。就想到要找个工具复制,要不然几十万的文件,用windows复制不靠谱。想起以前常用的 FastCopy 又特意下载下来用了一下。还特地了解了一下开发者,这么多年一直保持着软件更新,确实很专注。

FastCopy 第一次了解是当时做网盘的建设时用的,批量安装游戏服务器,因为整个盘有几百G ,有新网吧开业都需要把服务器硬盘拷贝一份放到新的游戏服务器里去。当时用到的工具就是FastCopy,两块硬盘挂在一起,放在那里拷贝一晚上就完成了。第二天直接拿着硬盘去安装就行了。

[……]

阅读更多

Calibre-web 个人图书库搭建记 19:给 Calibre-web 服务器减压

最近 Calibre- web 演示的网站的服务器压力比较大,每次开放游客浏览以后都会频繁出现502。经常出现这种情况,我尝试分析了一下,找到三个主要的原因。

0

第一个原因是服务器内存小导致的,服务内存只有512M,能勉强跑起来一些小程序,如果数据查询和访问量比较多,服务器必然会比较吃力。

第二个原因是Calibre-web程序设计的原因,很多请求是根据浏览器和访问特征返回数据,一个url可能返回不同的内容,并没有使用动态数据和静态数据分离,整体是一个动态网站,如果不进行改造,cdn内容加速都不能上。需要定制开发做相关的动态、静态请求的分离,把固定不变的内容进行缓存以后才能更少的减少服务器资源消耗。

[……]

阅读更多

Calibre-web 个人图书库搭建记 18:calibre-web 蹭图 床之 onedrive 共享目录

以前蹭图床,都是考虑自己用服务器写api接口,后来有了 onedrive 的教育版账户以后,发现可以共享目录,而且 onedrive 共享文件企业账户访问速度还挺快,一直想考虑直接用直连共享目录的方式使用calibre书库,可是calibre 的数据全是拼音加英文,完全把文件打乱了,不好检索,要想下载还需要先找到对应目录才行。

前段时间就尝试用 oneindex 作为图床测试应用,但是测试发现 微软的第三方应用访问api 有很多频率限制,不适合做公共图床,自己偶尔用用还行,文件多了不光接口有频次限制,自己建oneindex索引目录也跑不起来。

既然 oneindex 不行,那不如考虑测试直接用office onedrive 自己的共享目录来作为图床使用,稳定,快速,而且访问URL 也是按照目录文件名的方式,有规律可循。

[……]

阅读更多

Calibre-web 个人图书库搭建记 17:升级Calibre-web,更新任务(Tasks)发 送邮件功能

0

前段时间在 calibre 的群里聊天,讨论了一些关于新版本calibre-web在linux 服务器,docker,群晖中的安装问题。我看最新版本的calibre-web 已经支持任务功能。

calibre-web 的任务(Tasks)是负责电子邮件发送队列化处理,calibre-web邮件发送主要有两个用途,一个是发送注册后的账号信息,另一个是将电子书通过邮件发送到kindle。我之前日记里写过,因为放到腾讯云的服务器出口带宽只有1m,实时发送邮件会堵塞程序执行,然后把带宽占满,一百兆的文件需要发送几分钟,程序也就崩溃了。

我一直不想去升级calibre-web新版本的原因是之前为了了解calibre-web的代码,自己改了一些模板和程序的东西,如果升级了新版本,这些改过的地方又要重新改一遍。前段时间我就升级过一次calibre-web,因为现在的版本都是零点几的版本,很多代码的实现都是临时写到业务逻辑里了,我升级这个版本的时候,有很多又进行了封装。所以很多代码不只是简单的拷贝到对应位置,还需要了解修改的后的代码逻辑,再进行升级。

[……]

阅读更多

Calibre-web 个人图书库搭建记 16:腾讯云cos对象存储挂载硬盘后 的读请求异常问题

Calibre-web图书库,使用了腾讯云的cos对象存储当作图书文件目录,这样可以无限扩容服务器空间,还可以在下载的时候使用对象存储的外网提供高速下载。

最近遇到几个对象存储当磁盘文件使用的问题总结一下。挂载对象存储在频繁操作calibre的数据库文件时读写性能跟不上,解决方式是单独改变了calibre数据库的位置,放在系统磁盘保证读写可以跟上,然后代码中修改calibre-web的数据读取位置。

之后发现下载速度跟上了,但通过1M带宽的主机发送附件的邮件出口带宽一样太慢,这样会有一些功能受到限制,在calibre-web上最明显的是发送到Kinlde功能体验不好,每次送要等待太长时间。

[……]

阅读更多

Calibre-web 个人图书库搭建记 15: 1m带宽主机的坑

在腾讯云主机上安装了calibre-web程序,因为主机只有1M带宽,折腾了很长时间的访问优化。现在访问优化基本上能静态访问的图片、css、js、图书下载都放到了不限带宽、不限容量、按照容量和流量收费的对象存储中了。

但遗漏了一个电子书管理很重要的功能,发送到kindle的服务也是通过服务器发送电子邮件,而往外传数据是用的出口带宽,如果实时发送电子邮件带上几M的书附件就太慢了,发一本书带宽跑满的情况下也要很长时间,程序经常超时,也影响正常网站访问。这个问题直到自己尝试发送到kindle时才发现。

研究了一下在腾讯云可以有几种方式可以处理这种非实时要求的大附件发送要求,一种是直接加带宽,目前看成本收益不高。另一种是通过其他服务发送邮件和附件,腾讯云的五服务器函数可以干这个事情,scf无服务器函数可以直接读取对象存储内容,也能通过smtp 发送邮件,可以通过腾讯云消息队列smq进行调用。

[……]

阅读更多

Calibre-web 个人图书库搭建记 14 python-cdn、python-cors插件 和腾讯云cos对象存储、CDN的设置

最近开始扩充书库,折腾程序中多了很多思考和感悟,因为眼睛又干又涩不能看手机了,很久也没有更新日记和看书了,现在做个记录。

折腾书库折腾了一段时间,开始考虑整个折腾过程中哪些是值得提前优化的?哪些事情是根本不需要现在这个阶段进行提前优化的?

本地磁盘的缓存磁盘空间现在也不着急进行优化,磁盘不够用的时候只需要花几百块钱买一块新的云磁盘挂载即可,不需要在本地磁盘上做太多对象存储化的优化。针对图书库的对象存储优化工作也可以考虑放到对象存储回源来实现,适量冗余可以减少很多定制的折腾问题。

测试了前面想到的cos对象存储内网回源的方式发现不能成功,后面把对象存储回源改为外网回源,在低访问和calibre-web 的static 资源冷数据访问量低的情况下足够使用。

[……]

阅读更多

Calibre-web 个人图书库搭建记 13 python,linux 相关的知识学习

昨天半夜又搞了一下web服务器,想着将calibre-web的静态目录static放到对象存储中,将web服务器的存储空间给解放出来,因为calibre-web的在线阅读用的目录就是static目录,整个目录一直是在不断的增长中的,calibre-web对整个解压目录没有采用统一文件夹,而是直接放到了static的跟目录下了。

这让整个迁移和实时解压文件产生了问题,将静态css,js这些文件通过腾讯的对象存储的挂载磁盘方式挂载static目录后python flash 对整个静态目录读写貌似慢了很多。主要体现在第一次对文件的读写上,因为要上传和实时解压上影响了程序响应效率。

既然上传资源文件到对象存储,那就继续考虑对象存储文件的外部访问通过对象存储的cdn方式访问。找到python flash_cdn 插件,可以统一配置 url_for调用static 的资源cdn 域名,在访问url_for函数生成时自动生成cdn 域名前缀的资源。

[……]

阅读更多

Calibre-web 个人图书库搭建记 12 增加增长量,迁移本地书库

这两天测试了一次开通两个小蜜蜂账号,这样每天可以增加100本的存储量,小蜜蜂防止滥用下载的程序还挺严格,一不小心就被封禁下载4小时。试了很多次才用两个浏览器下载完成。

下载完的书籍重复还是很多,为了防止浪费每天的下载次数,通过chrome 的自定义搜索,在加入书库的时候先搜索一下书库是否存在相同的书,相同的话就不再下载。自定义搜索用起来还是挺好用的。

因为增加了书库下载量,自己感觉笔记本整天干转换,下载图书的工作太费硬盘,基本上calibre转换为epub和mobi时正常使用电脑都受影响。想着测试一下把calibre的本地书库整理工作放到华为云桌面上。复制文件迁移到云桌面,配置cos的本地同步工具,但从笔记本拷贝过去的本地同步工具还要全量上传一次到云存储上。迁移到云桌面后的书库目录有变化,又研究一下虚拟磁盘把云桌面的磁盘虚拟一个E盘出来,保持与原来相同的目录后cos本地同步工具就可以沿用同步记录了,不需要再次全量上传一次到云存储了。

[……]

阅读更多