BAN Google Drive (Plex - Mountain Duck - Google Drive)

[markettenawak]

@aerya
Merci beaucoup pour tes réponses en tout cas.
Nous allons essayé de trouver une manière de faire un cache mais je pense que ca va être complexe.
Si j’ai eut solution, je la donnerai ici.
J’espere être aidé si je passe sur Rclone.
Mais vu l’état d’esprit de ce forum je n’en ai aucun doute.
Vous êtes au top.

Bonne soirée et bon weekend à toi '-).

[markettenawak]

Bonjour,

Petite news concernant une solution qui aurait pu marcher.
Il existe Auto Scan qui fonctionne sous Windows.
Cependant cela ne fonctionne pas, car nos fichiers sont crypté.

Je vais contacter Mountain Duck pour savoir s’il y a une solution, sinon nous passerons via Rclone (même si je vais avoir un boulot de dingue et que j’y connais rien :p)

Il y a des tutos facile à suivre avec une configuration parfaite qui combine rapidité de transfert, cryptage + cache fonctionnel (pour éviter les BAN)?

Merci beaucoup

[Aerya]

@markettenawak Il y en a sur mon blog upandclear.org Sinon il y a aussi les forums de rClone qui sont bien animés.
En revanche sous Windows je ne sais pas comment ça fonctionne, j’utilise Linux sur mes serveurs comme mon PC de bureau.
Je pense que ça se fera via Docker.

[markettenawak]

@aerya

Merci beaucoup, je vais voir cela :-).
Si je passe sous Rclone je vais faire une machine virtuel VirtualBox ou VMWARE sous Debian et j’essayerais de le faire tourner correctement.

Docker je préfère même pas essayé, car j’y connais encore moins que Linux ahah

[markettenawak]

@aerya
Je viens de lire ton article https://upandclear.org/2020/10/15/noob-rclone-workspace-ex-gsuite-creer-et-monter-un-shared-drive-aka-team-drive-chiffre/

C’est tout simplement parfait franchement. (si ca fonctionne, je te donnerais plusieurs café pour ton travail )

Je me pose plusieurs questions :
Depuis ton article, des choses ont changé niveau configuration, version à installer etc…?

Voici se que j’aimerais faire :

• Création d’une VM Debian (ou Ubuntu?) (sur VirtualBox)
• Installation + configuration de Rclone (comme sur ton tuto).
• Installation + configuration de Plex sur cette même VM
  Pour tout ça, je pense que c’est faisable.
  Cependant voici la partie où j’ai un très gros doute :

J’aimerais télécharger mes fichiers comme je le fait aujourd’hui (c’est à dire à la main) et les mettre sur Google Drive via un lecteur réseau (monté actuellement avec MountainDuck et demain peut être avec Rclone).
Cependant j’aimerais toujours pouvoir le faire via Windows.

Cela ne semble pas possible pour moi, car le lecteur réseau créer par Rclone sera crypté.
Mais s’il y a une solution de contournement qui me permet de voir sous windows les fichier en claire, la possibilité d’uploadé et même de les lires en clair, cela serait cool.

La seule chose qui changerait par rapport à aujourd’hui serait d’avoir Plex + Rclone sur VM.
Le reste de mon utilisation resterait sous Windows (notamment la partie download)

Merci beaucoup

[Aerya]

Je suis pas un pro de Windows mais tu auras accès à ton remote (voire même pourras le monter) via http://martins.ninja/RcloneBrowser/

Pour ta VM, Debian ou Ubuntu ça revient au même dans ce contexte. Et oui tu pourras y installer rClone + Plex. Je pense qu’il faut prévoir 2 à 3 vCPU, 4GB de RAM minimum et 100GB d’espace disque. Ce qui va te consommer de la place c’est le cache de rClone (de mémoire je mets 250GB dans mes exemples, mets moins du coup) et la BDD de Plex.

Je pense cependant que c’est pas la solution vu que ça te fait ajouter une surcouche -la virtualisation- pour rien. Certes je sais pas vraiment comment faire sous Windows, néanmoins ta VM te permettra de tester tout ça tranquillement et dans des conditions “normales” (Linux).

[markettenawak]

@aerya
Génial cet outil aussi (RcloneBrowser) si cela fonctionne.
Après c’est précisé :
"WARNING: This project is not longer active or maintaned.

Initially I created it only because rclone mount did not work in the beginning. Now mount on Windows works fine, so this project is not useful for me anymore.

I suggest to try out rclone built-in web based GUI instead"
Donc il y a surement natif depuis Rclone à mon avis.

J’ai du mal à comprendre cette histoire de cache.
Que met-il en cache au final?
Qu’est ce que cela change de mettre 2to ou 40 go de cache?
Comment Rclone arrive t-il a limiter les BAN que je rencontre actuellement?

Merci encore énormément pour tes informations très précieuse.

[Aerya]

Ce n’est plus maintenu mais ça fonctionne toujours. rClone possède une WUI en effet mais ça veut dire de l’installer directement sur l’OS et sous Windows je ne connais pas : https://rclone.org/downloads/

Le cache c’est justement ce qui évite les bans de Google en faisant trop de requêtes. rClone met en cache un index des fichiers : https://rclone.org/cache/
Avec tes 30To, un cache de 60GB devrait amplement suffire. Il n’a pas vocation à stocker tous tes fichiers, uniquement leur index et ceux (complets ou en partie) auxquels tu accèdes (en lecture donc).

[markettenawak]

@aerya

Super
60 go ca suffit pour 30to de données, mais cette taille devrait augmenter petit à petit.
Après la taille ne me dérange pas, si je peux mettre ce cache sur un HDD.
Je ne sais pas si c’est possible.
Mon SSD fait 500go et si 60go ne suffit plus, j’aimerais justement pouvoir stocker ce cache sur un HDD classique.

En tout cas, je vais effectuer des tests de Rclone Windows.
On va voir si cela peut fonctionner.
Cela évite effectivement les surcouches.

[markettenawak]

@aerya
Qu’est-ce que je me suis fait chié avec Mountain Duck put***
En suivant ton Tuto ca fonctionne impec.

Après j’attend des réponses pour optimiser à fond : https://forum.rclone.org/t/rclone-encryption-google-drive-plex-windows-serveur-2016/26922/2

En tout cas, pour mes premiers test rapide ca fonctionne au top.

[Aerya]

@markettenawak Cool !! Bien content pour toi

[markettenawak]

@aerya

Re

Je me suis donc renseigné un peu sur Rclone et il semble que la version Windows est très similaire à celle de Linux.
Cependant les réponses que l’on m’apporte ici sont assez différentes de ton tuto, notamment en ce qui concerne le montage du lecteur :
https://forum.rclone.org/t/rclone-encryption-google-drive-plex-windows-serveur-2016/26922/4

J’ai vu ta config qui est “/usr/bin/rclone mount SDrive0Crypted: /home/SDrive0Crypted --allow-other --allow-non-empty --dir-cache-time 240h --log-level INFO --log-file /home/rclonecache.log --poll-interval 15s --umask 002 --user-agent=“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36” --cache-dir=/cache --vfs-cache-mode full --vfs-cache-max-size 250G --vfs-cache-max-age 240h --bwlimit-file 16M --fast-list --drive-stop-on-upload-limit” que je pourrais peut être transposé sous Windows.

Le cache de Rclone notamment celui des metadata fonctionne vraiment bien pour moi et on me conseil de ne pas l’utiliser.
Les montages proposé semble assez complexe et bizarre.

Pour ma part je vois un gros intérêt au cache metadata vis à vis du BAN et surtout de la vitesse des scans.
De plus celui-ci ne prend que 1ko sur chaque fichier, ce qui est très satisfaisant.
J’en vois beaucoup moins au cache de fichier qui prend beaucoup de place.

Cependant je n’ai pas trouvé l’option qui permet d’activer seulement ce cache metadata.

Si tu as encore un peu de temps pour moi, je suis convaincu que tu pourrais me proposer une option de montage qui fonctionne bien étant donné que les config Linux et Windows sont très similaire. (si tu peux regardé le topic Rclone que j’ai envoué)
La seule config qui me semble intéressante que l’on m’a proposé concernerait serait ceci : rclone rc vfs/refresh recursive=true --drive-pacer-burst 200 --drive-pacer-min-sleep 10ms --timeout 30m --user-agent (random name)
Qui serait ajouté après montage, sur une fenêtre CMD pour accélérer la vitesse de navigation sous windows.

De plus il parle de couplé le scan de Plex (Plex Media Scanner) avec l’agent, qu’en pense tu, comment le mettre en place et quel est l’intérêt ? (tu pourrais ne pas savoir pour ça car cela est peut être lié à Windows)

Merci encore

[Aerya]

Vu que j’avais trouvé la config adaptée à mon utilisation (pas de p4s -Plex for Share-) j’ai arrêté de suivre les tests des uns et des autres pour avoir la config la plus optimisée. Surtout que ça dépend de la ban de passante et du serveur (SSD, NVMe, RAM).

Ma commande regroupe le cache (backend) et le système de fichiers (VFS). Eux te disent de séparer les 2. Je pense que ça se vaut… ça reste de l’optimisation.
De toute manière y’a UN SEUL TRUC qui compte avec rClone et que tu ne dois JAMAIS perdre : ton fichier de configuration avec tes remotes et, surtout, tes clés de chiffrement : rclone.conf. Faut que tu fasses X copies de ce fichier sur ton serveur, ton PC, une clé USB, ce que tu veux. Mais si tu le perds tu perds tout tes fichiers chiffrés.

A partir de là, tu peux monter et accéder à ton remote via mon exemple pendant quelques jours. Ensuite tu vires tout et remontes avec les commandes qu’ils te donnent. A toi de tester. Parce que si t’es en ADSL 3Mbps comme je l’étais à la maison, peu importe la commande, tu seras toujours dans les choux (avec de la HD normale, pas de la daubeHD). En revanche si tu es, comme je le suis maintenant, en fibre 1000/600, là encore osef de la commande, tu seras toujours au top. Du coup, si tu es entre les 2, on va dire que c’est le cas, faut voir comment optimiser l’accès temps réel à tes fichiers via une lecture Plex avec différentes commandes. Et ça tu ne peux le savoir qu’en testant.

Concernant les réglages de Plex il te dit simplement de passer outre les fonctionnalités les plus consommatrices d’accès Google (et aussi d’espace disque, en BDD, en ce qui concerne les thumbnails). Le but est de réduire le temps de MàJ de tes bibliothèques, parce qu’évidemment en général on e prend pas un stockage Google pour déposer 2To de vidéos, c’est ton cas, et donc quoique tu fasses ça prend un temps monstrueux de tout scanner la 1ère fois mais ça en prend aussi pour chaque scanne automatisé.

Pour cette raison aussi qu’en cas d’automatisation du DL (Medusa, Sonarr, Radarr, etc) il est préférable de dire à ces applicatifs de prévenir Plex qu’ils ont ajouté un média, ça lui permet de ne pas tout rescanner.

[markettenawak]

@aerya

Salut,

Je te remercie pour ta réponse.
C’est le gros avantage de Rclone, de pouvoir modifier le mount pour tester différentes config.
J’ai effectivement bien enregistré partout ce fichier de config qui semble très important.
Merci encore à toi en tout cas

Bonne journée,

[markettenawak]

@aerya
Salut j’aurais encore une question.
J’ai créer tout mes répertoires : Série, Film sur le même espace partagé (j’ai un google workspace).
Evidemment j’ai la limite des 750go upload/download journalier.
Il y a moyen de faire sauter cette limite ou optimiser cela?

Si je fais plusieurs espace partagé j’aurais plusieurs fois 750 go de limite journalière?

[Aerya]

Cette limite concerne le compte Google Workspace, peu importe que tu te serves d’un GDrive ou de plusieurs TeamDrives.
Il existe des solutions pour outrepasser cette limite (des scripts à adapter) mais je ne suis pas calé dessus. J’avais testé un outil mais il semble que ça ne fonctionne plus.
Tu peux regarder du côté de CloudPlow mais faudra mettre les mains dans le cambouis.

[markettenawak]

@aerya
Merci beaucoup

[Aerya]

@markettenawak D’ailleurs, puisqu’on parle de ça, je sais que c’est bien plus gros que ce que tu souhaites te monter comme infra en ce moment mais jette un œil sur S.S.D. (français) : https://github.com/projetssd/ssdv2

C’est un script complet, basé sur Docker (et pour un support Linux), d’autoDL/streaming/stockage sur Workspace. Je crois savoir qu’il y a Cloudplow d’intégré. Ils font un gros travail, y’a pas mal de SAV.
https://discord.gg/EnUxxHvxrh

[markettenawak]

@aerya a dit dans BAN Google Drive (Plex - Mountain Duck - Google Drive) :

Cloudplow

Salut

Merci beaucoup pour ces informations.
Je vais visualiser cela :D.

Bonne journée à toi,