[Aide] BAN Google Drive (Plex - Mountain Duck - Google Drive)
-
Je suis pas un pro de Windows mais tu auras accès à ton remote (voire même pourras le monter) via http://martins.ninja/RcloneBrowser/
Pour ta VM, Debian ou Ubuntu ça revient au même dans ce contexte. Et oui tu pourras y installer rClone + Plex. Je pense qu’il faut prévoir 2 à 3 vCPU, 4GB de RAM minimum et 100GB d’espace disque. Ce qui va te consommer de la place c’est le cache de rClone (de mémoire je mets 250GB dans mes exemples, mets moins du coup) et la BDD de Plex.
Je pense cependant que c’est pas la solution vu que ça te fait ajouter une surcouche -la virtualisation- pour rien. Certes je sais pas vraiment comment faire sous Windows, néanmoins ta VM te permettra de tester tout ça tranquillement et dans des conditions “normales” (Linux).
Archlinux fanboy | rClone & datahoarder | https://upandclear.org
-
Je suis pas un pro de Windows mais tu auras accès à ton remote (voire même pourras le monter) via http://martins.ninja/RcloneBrowser/
Pour ta VM, Debian ou Ubuntu ça revient au même dans ce contexte. Et oui tu pourras y installer rClone + Plex. Je pense qu’il faut prévoir 2 à 3 vCPU, 4GB de RAM minimum et 100GB d’espace disque. Ce qui va te consommer de la place c’est le cache de rClone (de mémoire je mets 250GB dans mes exemples, mets moins du coup) et la BDD de Plex.
Je pense cependant que c’est pas la solution vu que ça te fait ajouter une surcouche -la virtualisation- pour rien. Certes je sais pas vraiment comment faire sous Windows, néanmoins ta VM te permettra de tester tout ça tranquillement et dans des conditions “normales” (Linux).
@aerya
Génial cet outil aussi (RcloneBrowser) si cela fonctionne.
Après c’est précisé :
"WARNING: This project is not longer active or maintaned.Initially I created it only because rclone mount did not work in the beginning. Now mount on Windows works fine, so this project is not useful for me anymore.
I suggest to try out rclone built-in web based GUI instead"
Donc il y a surement natif depuis Rclone à mon avis.J’ai du mal à comprendre cette histoire de cache.
Que met-il en cache au final?
Qu’est ce que cela change de mettre 2to ou 40 go de cache?
Comment Rclone arrive t-il a limiter les BAN que je rencontre actuellement?Merci encore énormément pour tes informations très précieuse.
-
Ce n’est plus maintenu mais ça fonctionne toujours. rClone possède une WUI en effet mais ça veut dire de l’installer directement sur l’OS et sous Windows je ne connais pas : https://rclone.org/downloads/
Le cache c’est justement ce qui évite les bans de Google en faisant trop de requêtes. rClone met en cache un index des fichiers : https://rclone.org/cache/
Avec tes 30To, un cache de 60GB devrait amplement suffire. Il n’a pas vocation à stocker tous tes fichiers, uniquement leur index et ceux (complets ou en partie) auxquels tu accèdes (en lecture donc).Archlinux fanboy | rClone & datahoarder | https://upandclear.org
-
Ce n’est plus maintenu mais ça fonctionne toujours. rClone possède une WUI en effet mais ça veut dire de l’installer directement sur l’OS et sous Windows je ne connais pas : https://rclone.org/downloads/
Le cache c’est justement ce qui évite les bans de Google en faisant trop de requêtes. rClone met en cache un index des fichiers : https://rclone.org/cache/
Avec tes 30To, un cache de 60GB devrait amplement suffire. Il n’a pas vocation à stocker tous tes fichiers, uniquement leur index et ceux (complets ou en partie) auxquels tu accèdes (en lecture donc).Super
60 go ca suffit pour 30to de données, mais cette taille devrait augmenter petit à petit.
Après la taille ne me dérange pas, si je peux mettre ce cache sur un HDD.
Je ne sais pas si c’est possible.
Mon SSD fait 500go et si 60go ne suffit plus, j’aimerais justement pouvoir stocker ce cache sur un HDD classique.En tout cas, je vais effectuer des tests de Rclone Windows.
On va voir si cela peut fonctionner.
Cela évite effectivement les surcouches. -
Ce n’est plus maintenu mais ça fonctionne toujours. rClone possède une WUI en effet mais ça veut dire de l’installer directement sur l’OS et sous Windows je ne connais pas : https://rclone.org/downloads/
Le cache c’est justement ce qui évite les bans de Google en faisant trop de requêtes. rClone met en cache un index des fichiers : https://rclone.org/cache/
Avec tes 30To, un cache de 60GB devrait amplement suffire. Il n’a pas vocation à stocker tous tes fichiers, uniquement leur index et ceux (complets ou en partie) auxquels tu accèdes (en lecture donc).@aerya
Qu’est-ce que je me suis fait chié avec Mountain Duck put***
En suivant ton Tuto ca fonctionne impec.Après j’attend des réponses pour optimiser à fond : https://forum.rclone.org/t/rclone-encryption-google-drive-plex-windows-serveur-2016/26922/2
En tout cas, pour mes premiers test rapide ca fonctionne au top.
-
@aerya
Qu’est-ce que je me suis fait chié avec Mountain Duck put***
En suivant ton Tuto ca fonctionne impec.Après j’attend des réponses pour optimiser à fond : https://forum.rclone.org/t/rclone-encryption-google-drive-plex-windows-serveur-2016/26922/2
En tout cas, pour mes premiers test rapide ca fonctionne au top.
@markettenawak Cool !! Bien content pour toi
Archlinux fanboy | rClone & datahoarder | https://upandclear.org
-
@markettenawak Cool !! Bien content pour toi
Re
Je me suis donc renseigné un peu sur Rclone et il semble que la version Windows est très similaire à celle de Linux.
Cependant les réponses que l’on m’apporte ici sont assez différentes de ton tuto, notamment en ce qui concerne le montage du lecteur :
https://forum.rclone.org/t/rclone-encryption-google-drive-plex-windows-serveur-2016/26922/4J’ai vu ta config qui est “/usr/bin/rclone mount SDrive0Crypted: /home/SDrive0Crypted --allow-other --allow-non-empty --dir-cache-time 240h --log-level INFO --log-file /home/rclonecache.log --poll-interval 15s --umask 002 --user-agent=“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36” --cache-dir=/cache --vfs-cache-mode full --vfs-cache-max-size 250G --vfs-cache-max-age 240h --bwlimit-file 16M --fast-list --drive-stop-on-upload-limit” que je pourrais peut être transposé sous Windows.
Le cache de Rclone notamment celui des metadata fonctionne vraiment bien pour moi et on me conseil de ne pas l’utiliser.
Les montages proposé semble assez complexe et bizarre.Pour ma part je vois un gros intérêt au cache metadata vis à vis du BAN et surtout de la vitesse des scans.
De plus celui-ci ne prend que 1ko sur chaque fichier, ce qui est très satisfaisant.
J’en vois beaucoup moins au cache de fichier qui prend beaucoup de place.Cependant je n’ai pas trouvé l’option qui permet d’activer seulement ce cache metadata.
Si tu as encore un peu de temps pour moi, je suis convaincu que tu pourrais me proposer une option de montage qui fonctionne bien étant donné que les config Linux et Windows sont très similaire. (si tu peux regardé le topic Rclone que j’ai envoué)
La seule config qui me semble intéressante que l’on m’a proposé concernerait serait ceci : rclone rc vfs/refresh recursive=true --drive-pacer-burst 200 --drive-pacer-min-sleep 10ms --timeout 30m --user-agent (random name)
Qui serait ajouté après montage, sur une fenêtre CMD pour accélérer la vitesse de navigation sous windows.De plus il parle de couplé le scan de Plex (Plex Media Scanner) avec l’agent, qu’en pense tu, comment le mettre en place et quel est l’intérêt ? (tu pourrais ne pas savoir pour ça car cela est peut être lié à Windows)
Merci encore
-
Vu que j’avais trouvé la config adaptée à mon utilisation (pas de p4s -Plex for Share-) j’ai arrêté de suivre les tests des uns et des autres pour avoir la config la plus optimisée. Surtout que ça dépend de la ban de passante et du serveur (SSD, NVMe, RAM).
Ma commande regroupe le cache (backend) et le système de fichiers (VFS). Eux te disent de séparer les 2. Je pense que ça se vaut… ça reste de l’optimisation.
De toute manière y’a UN SEUL TRUC qui compte avec rClone et que tu ne dois JAMAIS perdre : ton fichier de configuration avec tes remotes et, surtout, tes clés de chiffrement : rclone.conf. Faut que tu fasses X copies de ce fichier sur ton serveur, ton PC, une clé USB, ce que tu veux. Mais si tu le perds tu perds tout tes fichiers chiffrés.A partir de là, tu peux monter et accéder à ton remote via mon exemple pendant quelques jours. Ensuite tu vires tout et remontes avec les commandes qu’ils te donnent. A toi de tester. Parce que si t’es en ADSL 3Mbps comme je l’étais à la maison, peu importe la commande, tu seras toujours dans les choux (avec de la HD normale, pas de la daubeHD). En revanche si tu es, comme je le suis maintenant, en fibre 1000/600, là encore osef de la commande, tu seras toujours au top. Du coup, si tu es entre les 2, on va dire que c’est le cas, faut voir comment optimiser l’accès temps réel à tes fichiers via une lecture Plex avec différentes commandes. Et ça tu ne peux le savoir qu’en testant.
Concernant les réglages de Plex il te dit simplement de passer outre les fonctionnalités les plus consommatrices d’accès Google (et aussi d’espace disque, en BDD, en ce qui concerne les thumbnails). Le but est de réduire le temps de MàJ de tes bibliothèques, parce qu’évidemment en général on e prend pas un stockage Google pour déposer 2To de vidéos, c’est ton cas, et donc quoique tu fasses ça prend un temps monstrueux de tout scanner la 1ère fois mais ça en prend aussi pour chaque scanne automatisé.
Pour cette raison aussi qu’en cas d’automatisation du DL (Medusa, Sonarr, Radarr, etc) il est préférable de dire à ces applicatifs de prévenir Plex qu’ils ont ajouté un média, ça lui permet de ne pas tout rescanner.
Archlinux fanboy | rClone & datahoarder | https://upandclear.org
-
Vu que j’avais trouvé la config adaptée à mon utilisation (pas de p4s -Plex for Share-) j’ai arrêté de suivre les tests des uns et des autres pour avoir la config la plus optimisée. Surtout que ça dépend de la ban de passante et du serveur (SSD, NVMe, RAM).
Ma commande regroupe le cache (backend) et le système de fichiers (VFS). Eux te disent de séparer les 2. Je pense que ça se vaut… ça reste de l’optimisation.
De toute manière y’a UN SEUL TRUC qui compte avec rClone et que tu ne dois JAMAIS perdre : ton fichier de configuration avec tes remotes et, surtout, tes clés de chiffrement : rclone.conf. Faut que tu fasses X copies de ce fichier sur ton serveur, ton PC, une clé USB, ce que tu veux. Mais si tu le perds tu perds tout tes fichiers chiffrés.A partir de là, tu peux monter et accéder à ton remote via mon exemple pendant quelques jours. Ensuite tu vires tout et remontes avec les commandes qu’ils te donnent. A toi de tester. Parce que si t’es en ADSL 3Mbps comme je l’étais à la maison, peu importe la commande, tu seras toujours dans les choux (avec de la HD normale, pas de la daubeHD). En revanche si tu es, comme je le suis maintenant, en fibre 1000/600, là encore osef de la commande, tu seras toujours au top. Du coup, si tu es entre les 2, on va dire que c’est le cas, faut voir comment optimiser l’accès temps réel à tes fichiers via une lecture Plex avec différentes commandes. Et ça tu ne peux le savoir qu’en testant.
Concernant les réglages de Plex il te dit simplement de passer outre les fonctionnalités les plus consommatrices d’accès Google (et aussi d’espace disque, en BDD, en ce qui concerne les thumbnails). Le but est de réduire le temps de MàJ de tes bibliothèques, parce qu’évidemment en général on e prend pas un stockage Google pour déposer 2To de vidéos, c’est ton cas, et donc quoique tu fasses ça prend un temps monstrueux de tout scanner la 1ère fois mais ça en prend aussi pour chaque scanne automatisé.
Pour cette raison aussi qu’en cas d’automatisation du DL (Medusa, Sonarr, Radarr, etc) il est préférable de dire à ces applicatifs de prévenir Plex qu’ils ont ajouté un média, ça lui permet de ne pas tout rescanner.
Salut,
Je te remercie pour ta réponse.
C’est le gros avantage de Rclone, de pouvoir modifier le mount pour tester différentes config.
J’ai effectivement bien enregistré partout ce fichier de config qui semble très important.
Merci encore à toi en tout casBonne journée,
-
Vu que j’avais trouvé la config adaptée à mon utilisation (pas de p4s -Plex for Share-) j’ai arrêté de suivre les tests des uns et des autres pour avoir la config la plus optimisée. Surtout que ça dépend de la ban de passante et du serveur (SSD, NVMe, RAM).
Ma commande regroupe le cache (backend) et le système de fichiers (VFS). Eux te disent de séparer les 2. Je pense que ça se vaut… ça reste de l’optimisation.
De toute manière y’a UN SEUL TRUC qui compte avec rClone et que tu ne dois JAMAIS perdre : ton fichier de configuration avec tes remotes et, surtout, tes clés de chiffrement : rclone.conf. Faut que tu fasses X copies de ce fichier sur ton serveur, ton PC, une clé USB, ce que tu veux. Mais si tu le perds tu perds tout tes fichiers chiffrés.A partir de là, tu peux monter et accéder à ton remote via mon exemple pendant quelques jours. Ensuite tu vires tout et remontes avec les commandes qu’ils te donnent. A toi de tester. Parce que si t’es en ADSL 3Mbps comme je l’étais à la maison, peu importe la commande, tu seras toujours dans les choux (avec de la HD normale, pas de la daubeHD). En revanche si tu es, comme je le suis maintenant, en fibre 1000/600, là encore osef de la commande, tu seras toujours au top. Du coup, si tu es entre les 2, on va dire que c’est le cas, faut voir comment optimiser l’accès temps réel à tes fichiers via une lecture Plex avec différentes commandes. Et ça tu ne peux le savoir qu’en testant.
Concernant les réglages de Plex il te dit simplement de passer outre les fonctionnalités les plus consommatrices d’accès Google (et aussi d’espace disque, en BDD, en ce qui concerne les thumbnails). Le but est de réduire le temps de MàJ de tes bibliothèques, parce qu’évidemment en général on e prend pas un stockage Google pour déposer 2To de vidéos, c’est ton cas, et donc quoique tu fasses ça prend un temps monstrueux de tout scanner la 1ère fois mais ça en prend aussi pour chaque scanne automatisé.
Pour cette raison aussi qu’en cas d’automatisation du DL (Medusa, Sonarr, Radarr, etc) il est préférable de dire à ces applicatifs de prévenir Plex qu’ils ont ajouté un média, ça lui permet de ne pas tout rescanner.
@aerya
Salut j’aurais encore une question.
J’ai créer tout mes répertoires : Série, Film sur le même espace partagé (j’ai un google workspace).
Evidemment j’ai la limite des 750go upload/download journalier.
Il y a moyen de faire sauter cette limite ou optimiser cela?Si je fais plusieurs espace partagé j’aurais plusieurs fois 750 go de limite journalière?
-
Cette limite concerne le compte Google Workspace, peu importe que tu te serves d’un GDrive ou de plusieurs TeamDrives.
Il existe des solutions pour outrepasser cette limite (des scripts à adapter) mais je ne suis pas calé dessus. J’avais testé un outil mais il semble que ça ne fonctionne plus.
Tu peux regarder du côté de CloudPlow mais faudra mettre les mains dans le cambouis.Archlinux fanboy | rClone & datahoarder | https://upandclear.org
-
Cette limite concerne le compte Google Workspace, peu importe que tu te serves d’un GDrive ou de plusieurs TeamDrives.
Il existe des solutions pour outrepasser cette limite (des scripts à adapter) mais je ne suis pas calé dessus. J’avais testé un outil mais il semble que ça ne fonctionne plus.
Tu peux regarder du côté de CloudPlow mais faudra mettre les mains dans le cambouis. -
@aerya
Merci beaucoup@markettenawak D’ailleurs, puisqu’on parle de ça, je sais que c’est bien plus gros que ce que tu souhaites te monter comme infra en ce moment mais jette un œil sur S.S.D. (français) : https://github.com/projetssd/ssdv2
C’est un script complet, basé sur Docker (et pour un support Linux), d’autoDL/streaming/stockage sur Workspace. Je crois savoir qu’il y a Cloudplow d’intégré. Ils font un gros travail, y’a pas mal de SAV.
https://discord.gg/EnUxxHvxrhArchlinux fanboy | rClone & datahoarder | https://upandclear.org
-
@markettenawak D’ailleurs, puisqu’on parle de ça, je sais que c’est bien plus gros que ce que tu souhaites te monter comme infra en ce moment mais jette un œil sur S.S.D. (français) : https://github.com/projetssd/ssdv2
C’est un script complet, basé sur Docker (et pour un support Linux), d’autoDL/streaming/stockage sur Workspace. Je crois savoir qu’il y a Cloudplow d’intégré. Ils font un gros travail, y’a pas mal de SAV.
https://discord.gg/EnUxxHvxrh@aerya a dit dans BAN Google Drive (Plex - Mountain Duck - Google Drive) :
Cloudplow
Salut
Merci beaucoup pour ces informations.
Je vais visualiser cela :D.Bonne journée à toi,
-
undefined Violence has marked this topic as solved on
Bonjour ! Vous semblez intéressé par cette conversation, mais vous n’avez pas encore de compte.
Marre de refaire défiler les mêmes messages ? Créez un compte pour retrouver votre position, recevoir des notifications des nouvelles réponses, sauvegarder vos favoris et voter pour les messages que vous appréciez.
Grâce à votre participation, ce message peut devenir encore meilleur 💗
S'inscrire Se connecter