个人私有公开书库和个人网盘完整解决方案 onedrive + oneindex + calibre-web + kindle

0

个人网盘和书库的解决方案汇总:
1、网盘:百度网盘 + OneDirve 教育版 2T 空间 + QQ空间相册。
如果没什么花哨的操作,直接使用官方网盘app+网页版足够满足大部分个人使用需求,再开个百度网盘 svip 会员,活动时一年价格也就是200块,office 365 的年价格也不贵,带几个T的网盘空间,分享链接,手机app自动备份相册,支持在线看视频,自动转码,高清标清任意切换。

一块硬盘的价格享受在线云服务,非常舒适,如果你学校给你开通教育版,免费的2T-5T onedirve 存储空间,评价就是真好用。

[……]

阅读更多

迁移Calibre书库:Fastcopy(最快的文件拷工具):Windows下大量文 件复制工具软件

0

几十个TB的存储满了,需要把一些不常用的文件迁移到移动硬盘,给网络存储空出一些空间,想来想去把视频和calibre的图书库迁移出来,迁移以后大概可以增加一些几百G的空间,可以临时用一下。就想到要找个工具复制,要不然几十万的文件,用windows复制不靠谱。想起以前常用的 FastCopy 又特意下载下来用了一下。还特地了解了一下开发者,这么多年一直保持着软件更新,确实很专注。

[……]

阅读更多

Calibre-web 个人图书库搭建记 19:给 Calibre-web 服务器减压

最近 Calibre- web 演示的网站的服务器压力比较大,每次开放游客浏览以后都会频繁出现502。经常出现这种情况,我尝试分析了一下,找到三个主要的原因。

0

第一个原因是服务器内存小导致的,服务内存只有512M,能勉强跑起来一些小程序,如果数据查询和访问量比较多,服务器必然会比较吃力。

第二个原因是Calibre-web程序设计的原因,很多请求是根据浏览器和访问特征返回数据,一个url可能返回不同的内容,并没有使用动态数据和静态数据分离,整体是一个动态网站,如果不进行改造,cdn内容加速都不能上。需要定制开发做相关的动态、静态请求的分离,把固定不变的内容进行缓存以后才能更少的减少服务器资源消耗。

第三个原因是因为网站开放访问,正常人类请求并没多少,但各种各样的爬虫(MJ12bot、DotBot、AhrefsBot)请求太过频繁,大部分服务器资源都消耗到了应对采集爬虫的访问请求了。

[……]

阅读更多

Calibre-web 个人图书库搭建记 18:calibre-web 蹭图 床之 onedrive 共享目录

以前蹭图床,都是考虑自己用服务器写api接口,后来有了 onedrive 的教育版账户以后,发现可以共享目录,而且 onedrive 共享文件企业账户访问速度还挺快,一直想考虑直接用直连共享目录的方式使用calibre书库,可是calibre 的数据全是拼音加英文,完全把文件打乱了,不好检索,要想下载还需要先找到对应目录才行。

前段时间就尝试用 oneindex 作为图床测试应用,但是测试发现 微软的第三方应用访问api 有很多频率限制,不适合做公共图床,自己偶尔用用还行,文件多了不光接口有频次限制,自己建oneindex索引目录也跑不起来。

既然 oneindex 不行,那不如考虑测试直接用office onedrive 自己的共享目录来作为图床使用,稳定,快速,而且访问URL 也是按照目录文件名的方式,有规律可循。

[……]

阅读更多

Calibre-web 个人图书库搭建记 17:升级Calibre-web,更新任务(Tasks)发 送邮件功能

0

前段时间在 calibre 的群里聊天,讨论了一些关于新版本calibre-web在linux 服务器,docker,群晖中的安装问题。我看最新版本的calibre-web 已经支持任务功能。

calibre-web 的任务(Tasks)是负责电子邮件发送队列化处理,calibre-web邮件发送主要有两个用途,一个是发送注册后的账号信息,另一个是将电子书通过邮件发送到kindle。我之前日记里写过,因为放到腾讯云的服务器出口带宽只有1m,实时发送邮件会堵塞程序执行,然后把带宽占满,一百兆的文件需要发送几分钟,程序也就崩溃了。

我一直不想去升级calibre-web新版本的原因是之前为了了解calibre-web的代码,自己改了一些模板和程序的东西,如果升级了新版本,这些改过的地方又要重新改一遍。前段时间我就升级过一次calibre-web,因为现在的版本都是零点几的版本,很多代码的实现都是临时写到业务逻辑里了,我升级这个版本的时候,有很多又进行了封装。所以很多代码不只是简单的拷贝到对应位置,还需要了解修改的后的代码逻辑,再进行升级。

[……]

阅读更多

Calibre-web 个人图书库搭建记 16:腾讯云cos对象存储挂载硬盘后 的读请求异常问题

Calibre-web图书库,使用了腾讯云的cos对象存储当作图书文件目录,这样可以无限扩容服务器空间,还可以在下载的时候使用对象存储的外网提供高速下载。

最近遇到几个对象存储当磁盘文件使用的问题总结一下。挂载对象存储在频繁操作calibre的数据库文件时读写性能跟不上,解决方式是单独改变了calibre数据库的位置,放在系统磁盘保证读写可以跟上,然后代码中修改calibre-web的数据读取位置。

之后发现下载速度跟上了,但通过1M带宽的主机发送附件的邮件出口带宽一样太慢,这样会有一些功能受到限制,在calibre-web上最明显的是发送到Kinlde功能体验不好,每次送要等待太长时间。

[……]

阅读更多

Calibre-web 个人图书库搭建记 15: 1m带宽主机的坑

在腾讯云主机上安装了calibre-web程序,因为主机只有1M带宽,折腾了很长时间的访问优化。现在访问优化基本上能静态访问的图片、css、js、图书下载都放到了不限带宽、不限容量、按照容量和流量收费的对象存储中了。

但遗漏了一个电子书管理很重要的功能,发送到kindle的服务也是通过服务器发送电子邮件,而往外传数据是用的出口带宽,如果实时发送电子邮件带上几M的书附件就太慢了,发一本书带宽跑满的情况下也要很长时间,程序经常超时,也影响正常网站访问。这个问题直到自己尝试发送到kindle时才发现。

研究了一下在腾讯云可以有几种方式可以处理这种非实时要求的大附件发送要求,一种是直接加带宽,目前看成本收益不高。另一种是通过其他服务发送邮件和附件,腾讯云的五服务器函数可以干这个事情,scf无服务器函数可以直接读取对象存储内容,也能通过smtp 发送邮件,可以通过腾讯云消息队列smq进行调用。

[……]

阅读更多

Calibre-web 个人图书库搭建记 14 python-cdn、python-cors插件 和腾讯云cos对象存储、CDN的设置

最近开始扩充书库,折腾程序中多了很多思考和感悟,因为眼睛又干又涩不能看手机了,很久也没有更新日记和看书了,现在做个记录。

折腾书库折腾了一段时间,开始考虑整个折腾过程中哪些是值得提前优化的?哪些事情是根本不需要现在这个阶段进行提前优化的?

本地磁盘的缓存磁盘空间现在也不着急进行优化,磁盘不够用的时候只需要花几百块钱买一块新的云磁盘挂载即可,不需要在本地磁盘上做太多对象存储化的优化。针对图书库的对象存储优化工作也可以考虑放到对象存储回源来实现,适量冗余可以减少很多定制的折腾问题。

测试了前面想到的cos对象存储内网回源的方式发现不能成功,后面把对象存储回源改为外网回源,在低访问和calibre-web 的static 资源冷数据访问量低的情况下足够使用。

[……]

阅读更多