[Aide] BAN Google Drive (Plex - Mountain Duck - Google Drive)

[markettenawak]

Bonjour,

Je rencontre un soucis avec ma configuration de mon serveur Plex.
Voici ma configuration :
Serveur Windows, avec Plex en tant que serveur, Mountain Duck qui pointe sur Google Drive.
Mes librairies vont chercher sur le chemin UNC de mes dossiers Google Drive.

Sur Mountain Duck j’a activé l’indexation et le cache.
Sur Plex j’ai désactivé toute les miniatures, maintenance périodique etc…qui peuvent mener à des BAN API.
Quand j’ai tout scanné pour la première fois je me prenait plusieurs BAN API (impossibilité de télécharger quoi que ce soit), ce qui peut être normal quand on a une grosse bibliothèque.

Après avoir tout réintégré j’ai eut une semaine tranquille sans BAN API, et hier j’en ai eut un.
Les 24h auparavant j’ai du ajouté 4 séries, un scan et peu d’utilisation de lecture.

Cependant sur Google Drive je suis allé voir l’audit Google Drive et j’ai vu qu’il y avait énormément de ligne sur un fichier.
Cette ligne était noté comme “téléchargement”.
J’ai remarqué que lorsque je regarde un épisode en lecture direct, j’ai 5 ligne après le début de lecture dans l’audit qui s’affiche.
Par contre quand il y a un transcode, cela représente des milliers de ligne pour un seul fichier visionné et ce durant toute la visualisation de l’épisode.

J’ai essayé donc de comprendre d’où cela pouvait venir, mais sans vraiment trouvé d’explication.
J’ai fait une extraction de l’audit sur 24h et je suis bien en dessous en terme de requête API (si je comprend que 1 requête API = 1 ligne sur l’audit google).
J’ai donc peut être pensé à une limite de téléchargement.
Comment se comporte Plex lorsqu’il transcode?

Exemple :
J’ai un fichier de 5go que je souhaite visionné en transcodé.
Plex va demandé plusieurs paquet de fichier à Google Drive, puis va continué le faire tout le long de l’épisode.
Comme Google ne nous permet pas de voir le quota de téléchargement à temps réel, je me demandais si durant un transcode, Plex demandait 5Go à la fin pour tout le fichier, ou si à la fin, le total télécharger par Plex était supérieur à 5Go? Si c’est le cas est-ce que Google considère que seul 5Go ont été télécharger dans le fair use?

Je ne vois vraiment pas comment je peux expliqué ce soucis de BAN.
Dans le BAN d’hier, j’ai précise que je n’ai pas été BAN 24h, mais BAN 5heures environ.

Cordialement,

[Aerya]

Cette limite concerne le compte Google Workspace, peu importe que tu te serves d’un GDrive ou de plusieurs TeamDrives.
Il existe des solutions pour outrepasser cette limite (des scripts à adapter) mais je ne suis pas calé dessus. J’avais testé un outil mais il semble que ça ne fonctionne plus.
Tu peux regarder du côté de CloudPlow mais faudra mettre les mains dans le cambouis.

[Aerya]

Salut,

Je ne connais pas ton outil de montage mais avec rClone, qui fonctionne aussi sur MAC, il n’y a aucun problème. Que ce soit avec son propre cache ou un externe, PlexDrive.

Tu as un quota de DL de plus d’1To/jour donc ça ne vient pas de là. Ton ban, bien connu des utilisateurs GSuite/Workspace, vient bien des accès à l’API. Trop d’accès. Ce qui est assez logique avec des outils tels que Plex et *arr. Pour ça que la plupart des scripts qui tournent autour de ça remplacent le scanne de Plex par un outil externe qui MàJ la BDD de Plex à chaque DL complété.
Ceci dit, avec plus d’1Po de données dont les 2/3 sous Plex (c’était pour la Science bien sûr !), j’ai jamais eu de souci en laissant Plex mettre lui-même à jour ses librairies. Avec d’abord PlexDrive et ensuite son cache intégré.
Si tu veux de l’aide pour rClone n’hésite pas on est quelques-uns à l’utiliser. Et il y a pléthore d’articles et scripts sur mon blog.

NB : Moutain Duck permet de chiffrer le contenu sur ton GDrive j’espère ?

[markettenawak]

@aerya
Salut et merci beaucoup pour ta réponse.
MountainDuck permet de monter un lecteur réseau qui pointe sur notre espace de Google Drive.
Il intègre un logiciel de cryptage assez reconnu qui est Cryptomator.

Dans l’ensemble, le download et l’upload fonctionne relativement bien.
Pour infos je n’utilise ni Sonn*r ni Rad**.

La solution de Rclone je l’avais envisagé mais je suis une brêle en Linux donc j’ai préféré travailler sur l’environnement que je connaissais.

Si je devais passer sous Rclone aujourd’hui, il faudrait que je DL tout les fichiers décrypté (soit 30 terra) puis que je l’ai re upload sur Google drive via Rclone.
Cela sera très très long à faire sachant que la limite de download et upload est limité à 750 go par jours.

J’ai vu que Rclone (ou Plexdrive) utilisait effectivement une mise en cache de la bibliothèque déjà scanné la première fois pour éviter de scanner une deuxième fois ce qui est déjà présent.
Dans le journal d’audit, voilà comment cela fonctionne lors de l’ajout de nouveaux fichier :
Bon je viens de regarder ce que faisait Plex dans le journal d’audit durant les scan :

Tout d’abord il scan les nouveaux fichiers et solicite donc google drive
Ce qui crée plusieurs lign de DL par fichier scanné

Ensuite il scan l’existant.
Il va donc mettre une ligne par “Dir” (répertoire).

A la fin il rafraîchit les métadonnées des nouveaux fichier et génère plein de ligne sur Google drive.

Après j’ignore ce qui provoque ces Ban car Google ne montre pas à temps réel nos quota API ou de DL.
Est-ce que une ligne dans le journal d’audit google correspond à une requête API? Si c’est le cas je suis largement en dessous de leur quota maximum.
Pour l’instant j’ignore si c’est du au scan ou si cela est du au transcodage qui édite des miliers de ligne dans le journal d’audit Google Drive.

Pour me faciliter la tâche j’aimerais trouver une solution sous Windows.
Après si vraiment il y a pas le choix, j’essayerais de travailler sur Rclone, mais bon j’aimerais épuisé toute les potentiels solution existante avait de migrer.

Merci beaucoup en tout cas

[Aerya]

@markettenawak Oui effectivement, changer d’outil de chiffrement implique tout DL et renvoyer ensuite.
N’utilisant ni Moutain Duck ni Cryptomator je ne connais pas leurs fonctionnement mais je suppose que ça vient ces outils. Je pense qu’il n’y a pas de cache intégré et que pour chaque appel/affichage/listing/accès/vérification de connexion même (?) ça fait une REQ sur ton GDrive.
AMHA tu aurais sans doute plus de réponses à chercher en anglais sur Reddit.

Bon courage quoiqu’il en soit et si tu pouvais poster le “pourquoi du comment” si tu le trouves ailleurs ça m’instruirais

[markettenawak]

@aerya
Merci beaucoup pour tes réponses en tout cas.
Nous allons essayé de trouver une manière de faire un cache mais je pense que ca va être complexe.
Si j’ai eut solution, je la donnerai ici.
J’espere être aidé si je passe sur Rclone.
Mais vu l’état d’esprit de ce forum je n’en ai aucun doute.
Vous êtes au top.

Bonne soirée et bon weekend à toi '-).

[markettenawak]

Bonjour,

Petite news concernant une solution qui aurait pu marcher.
Il existe Auto Scan qui fonctionne sous Windows.
Cependant cela ne fonctionne pas, car nos fichiers sont crypté.

Je vais contacter Mountain Duck pour savoir s’il y a une solution, sinon nous passerons via Rclone (même si je vais avoir un boulot de dingue et que j’y connais rien :p)

Il y a des tutos facile à suivre avec une configuration parfaite qui combine rapidité de transfert, cryptage + cache fonctionnel (pour éviter les BAN)?

Merci beaucoup

[Aerya]

@markettenawak Il y en a sur mon blog upandclear.org Sinon il y a aussi les forums de rClone qui sont bien animés.
En revanche sous Windows je ne sais pas comment ça fonctionne, j’utilise Linux sur mes serveurs comme mon PC de bureau.
Je pense que ça se fera via Docker.

[markettenawak]

@aerya

Merci beaucoup, je vais voir cela :-).
Si je passe sous Rclone je vais faire une machine virtuel VirtualBox ou VMWARE sous Debian et j’essayerais de le faire tourner correctement.

Docker je préfère même pas essayé, car j’y connais encore moins que Linux ahah

[markettenawak]

@aerya
Je viens de lire ton article https://upandclear.org/2020/10/15/noob-rclone-workspace-ex-gsuite-creer-et-monter-un-shared-drive-aka-team-drive-chiffre/

C’est tout simplement parfait franchement. (si ca fonctionne, je te donnerais plusieurs café pour ton travail )

Je me pose plusieurs questions :
Depuis ton article, des choses ont changé niveau configuration, version à installer etc…?

Voici se que j’aimerais faire :

• Création d’une VM Debian (ou Ubuntu?) (sur VirtualBox)
• Installation + configuration de Rclone (comme sur ton tuto).
• Installation + configuration de Plex sur cette même VM
  Pour tout ça, je pense que c’est faisable.
  Cependant voici la partie où j’ai un très gros doute :

J’aimerais télécharger mes fichiers comme je le fait aujourd’hui (c’est à dire à la main) et les mettre sur Google Drive via un lecteur réseau (monté actuellement avec MountainDuck et demain peut être avec Rclone).
Cependant j’aimerais toujours pouvoir le faire via Windows.

Cela ne semble pas possible pour moi, car le lecteur réseau créer par Rclone sera crypté.
Mais s’il y a une solution de contournement qui me permet de voir sous windows les fichier en claire, la possibilité d’uploadé et même de les lires en clair, cela serait cool.

La seule chose qui changerait par rapport à aujourd’hui serait d’avoir Plex + Rclone sur VM.
Le reste de mon utilisation resterait sous Windows (notamment la partie download)

Merci beaucoup

[Aerya]

Je suis pas un pro de Windows mais tu auras accès à ton remote (voire même pourras le monter) via http://martins.ninja/RcloneBrowser/

Pour ta VM, Debian ou Ubuntu ça revient au même dans ce contexte. Et oui tu pourras y installer rClone + Plex. Je pense qu’il faut prévoir 2 à 3 vCPU, 4GB de RAM minimum et 100GB d’espace disque. Ce qui va te consommer de la place c’est le cache de rClone (de mémoire je mets 250GB dans mes exemples, mets moins du coup) et la BDD de Plex.

Je pense cependant que c’est pas la solution vu que ça te fait ajouter une surcouche -la virtualisation- pour rien. Certes je sais pas vraiment comment faire sous Windows, néanmoins ta VM te permettra de tester tout ça tranquillement et dans des conditions “normales” (Linux).

[markettenawak]

@aerya
Génial cet outil aussi (RcloneBrowser) si cela fonctionne.
Après c’est précisé :
"WARNING: This project is not longer active or maintaned.

Initially I created it only because rclone mount did not work in the beginning. Now mount on Windows works fine, so this project is not useful for me anymore.

I suggest to try out rclone built-in web based GUI instead"
Donc il y a surement natif depuis Rclone à mon avis.

J’ai du mal à comprendre cette histoire de cache.
Que met-il en cache au final?
Qu’est ce que cela change de mettre 2to ou 40 go de cache?
Comment Rclone arrive t-il a limiter les BAN que je rencontre actuellement?

Merci encore énormément pour tes informations très précieuse.

[Aerya]

Ce n’est plus maintenu mais ça fonctionne toujours. rClone possède une WUI en effet mais ça veut dire de l’installer directement sur l’OS et sous Windows je ne connais pas : https://rclone.org/downloads/

Le cache c’est justement ce qui évite les bans de Google en faisant trop de requêtes. rClone met en cache un index des fichiers : https://rclone.org/cache/
Avec tes 30To, un cache de 60GB devrait amplement suffire. Il n’a pas vocation à stocker tous tes fichiers, uniquement leur index et ceux (complets ou en partie) auxquels tu accèdes (en lecture donc).

[markettenawak]

@aerya

Super
60 go ca suffit pour 30to de données, mais cette taille devrait augmenter petit à petit.
Après la taille ne me dérange pas, si je peux mettre ce cache sur un HDD.
Je ne sais pas si c’est possible.
Mon SSD fait 500go et si 60go ne suffit plus, j’aimerais justement pouvoir stocker ce cache sur un HDD classique.

En tout cas, je vais effectuer des tests de Rclone Windows.
On va voir si cela peut fonctionner.
Cela évite effectivement les surcouches.

[markettenawak]

@aerya
Qu’est-ce que je me suis fait chié avec Mountain Duck put***
En suivant ton Tuto ca fonctionne impec.

Après j’attend des réponses pour optimiser à fond : https://forum.rclone.org/t/rclone-encryption-google-drive-plex-windows-serveur-2016/26922/2

En tout cas, pour mes premiers test rapide ca fonctionne au top.

[Aerya]

@markettenawak Cool !! Bien content pour toi

[markettenawak]

@aerya

Re

Je me suis donc renseigné un peu sur Rclone et il semble que la version Windows est très similaire à celle de Linux.
Cependant les réponses que l’on m’apporte ici sont assez différentes de ton tuto, notamment en ce qui concerne le montage du lecteur :
https://forum.rclone.org/t/rclone-encryption-google-drive-plex-windows-serveur-2016/26922/4

J’ai vu ta config qui est “/usr/bin/rclone mount SDrive0Crypted: /home/SDrive0Crypted --allow-other --allow-non-empty --dir-cache-time 240h --log-level INFO --log-file /home/rclonecache.log --poll-interval 15s --umask 002 --user-agent=“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36” --cache-dir=/cache --vfs-cache-mode full --vfs-cache-max-size 250G --vfs-cache-max-age 240h --bwlimit-file 16M --fast-list --drive-stop-on-upload-limit” que je pourrais peut être transposé sous Windows.

Le cache de Rclone notamment celui des metadata fonctionne vraiment bien pour moi et on me conseil de ne pas l’utiliser.
Les montages proposé semble assez complexe et bizarre.

Pour ma part je vois un gros intérêt au cache metadata vis à vis du BAN et surtout de la vitesse des scans.
De plus celui-ci ne prend que 1ko sur chaque fichier, ce qui est très satisfaisant.
J’en vois beaucoup moins au cache de fichier qui prend beaucoup de place.

Cependant je n’ai pas trouvé l’option qui permet d’activer seulement ce cache metadata.

Si tu as encore un peu de temps pour moi, je suis convaincu que tu pourrais me proposer une option de montage qui fonctionne bien étant donné que les config Linux et Windows sont très similaire. (si tu peux regardé le topic Rclone que j’ai envoué)
La seule config qui me semble intéressante que l’on m’a proposé concernerait serait ceci : rclone rc vfs/refresh recursive=true --drive-pacer-burst 200 --drive-pacer-min-sleep 10ms --timeout 30m --user-agent (random name)
Qui serait ajouté après montage, sur une fenêtre CMD pour accélérer la vitesse de navigation sous windows.

De plus il parle de couplé le scan de Plex (Plex Media Scanner) avec l’agent, qu’en pense tu, comment le mettre en place et quel est l’intérêt ? (tu pourrais ne pas savoir pour ça car cela est peut être lié à Windows)

Merci encore

[Aerya]

Vu que j’avais trouvé la config adaptée à mon utilisation (pas de p4s -Plex for Share-) j’ai arrêté de suivre les tests des uns et des autres pour avoir la config la plus optimisée. Surtout que ça dépend de la ban de passante et du serveur (SSD, NVMe, RAM).

Ma commande regroupe le cache (backend) et le système de fichiers (VFS). Eux te disent de séparer les 2. Je pense que ça se vaut… ça reste de l’optimisation.
De toute manière y’a UN SEUL TRUC qui compte avec rClone et que tu ne dois JAMAIS perdre : ton fichier de configuration avec tes remotes et, surtout, tes clés de chiffrement : rclone.conf. Faut que tu fasses X copies de ce fichier sur ton serveur, ton PC, une clé USB, ce que tu veux. Mais si tu le perds tu perds tout tes fichiers chiffrés.

A partir de là, tu peux monter et accéder à ton remote via mon exemple pendant quelques jours. Ensuite tu vires tout et remontes avec les commandes qu’ils te donnent. A toi de tester. Parce que si t’es en ADSL 3Mbps comme je l’étais à la maison, peu importe la commande, tu seras toujours dans les choux (avec de la HD normale, pas de la daubeHD). En revanche si tu es, comme je le suis maintenant, en fibre 1000/600, là encore osef de la commande, tu seras toujours au top. Du coup, si tu es entre les 2, on va dire que c’est le cas, faut voir comment optimiser l’accès temps réel à tes fichiers via une lecture Plex avec différentes commandes. Et ça tu ne peux le savoir qu’en testant.

Concernant les réglages de Plex il te dit simplement de passer outre les fonctionnalités les plus consommatrices d’accès Google (et aussi d’espace disque, en BDD, en ce qui concerne les thumbnails). Le but est de réduire le temps de MàJ de tes bibliothèques, parce qu’évidemment en général on e prend pas un stockage Google pour déposer 2To de vidéos, c’est ton cas, et donc quoique tu fasses ça prend un temps monstrueux de tout scanner la 1ère fois mais ça en prend aussi pour chaque scanne automatisé.

Pour cette raison aussi qu’en cas d’automatisation du DL (Medusa, Sonarr, Radarr, etc) il est préférable de dire à ces applicatifs de prévenir Plex qu’ils ont ajouté un média, ça lui permet de ne pas tout rescanner.

[markettenawak]

@aerya

Salut,

Je te remercie pour ta réponse.
C’est le gros avantage de Rclone, de pouvoir modifier le mount pour tester différentes config.
J’ai effectivement bien enregistré partout ce fichier de config qui semble très important.
Merci encore à toi en tout cas

Bonne journée,

[markettenawak]

@aerya
Salut j’aurais encore une question.
J’ai créer tout mes répertoires : Série, Film sur le même espace partagé (j’ai un google workspace).
Evidemment j’ai la limite des 750go upload/download journalier.
Il y a moyen de faire sauter cette limite ou optimiser cela?

Si je fais plusieurs espace partagé j’aurais plusieurs fois 750 go de limite journalière?

[Aerya]

Cette limite concerne le compte Google Workspace, peu importe que tu te serves d’un GDrive ou de plusieurs TeamDrives.
Il existe des solutions pour outrepasser cette limite (des scripts à adapter) mais je ne suis pas calé dessus. J’avais testé un outil mais il semble que ça ne fonctionne plus.
Tu peux regarder du côté de CloudPlow mais faudra mettre les mains dans le cambouis.