We're evolving to serve you better! This current forum has transitioned to read-only mode. For new discussions, support, and engagement, we've moved to GitHub Discussions.

Langes Hochladen aller Dateien

October 27, 2023 at 7:23 pm #10839

[anonymous]

Guten Tag und hallo,

ich führe einen Blog,
der sich ständig fortschreibt. Seit einigen Wochen wird immer der komplette Inhalt (nicht nur neuere Dateien) hochgeladen – und das sind bei mir über 74.000 Dateien in etwa 1.000 Beiträgen und dauert rund 10 Stunden. Ich habe hier im Forum schon einmal angefragt, aber keine Hilfe bekommen können.

Aufgrund eines Hinweises hier im Forum habe ich nach der Datei “files.publii.json” gesucht. Es gibt sie aktuell in einer Größe von allerdings nur 50 Bytes (Inhalt: { “revision”: “0266ca57b302f4f6a8dd10c737692e01” }). Die Größe der Datei hat in den letzten Wochen extrem stark geschwankt

Ich benötige dringend Hilfe, ggf. auch über einen Premium-Support. Wie kann ich den beantragen?

Vielen Dank!

October 27, 2023 at 10:09 pm #10840

[anonymous]

Hi,

For such a big website I strongly recommend to consider using Git repository: https://forum.getpublii.com/topic/git-feature-in-publii-v-0-44-0-alpha/

It will be probably the fastest sync method.

October 28, 2023 at 2:51 pm #10842

[anonymous]

Guten Tag,

vielen Dank für die schnelle Antwort.

Ich frage mich, warum Publii plötzlich nicht mehr so funktioniert wie vorher . Bis zu einem bestimmten Zeitpunkt hat Publii immer nur die neuen Dateien hochgeladen. Das dauerte nur wenige Minuten. Jetzt erkennt Publii nicht mehr, das es schon viele unveränderte Dateien gibt.

Mit Git-Repositorys kenne ich mich nicht aus und hab keine Ahnung, was das ist und wie es funktioniert. Die aktuelle Version habe ich bereits installiert.

October 29, 2023 at 10:27 am #10848

[anonymous]

Hallo noch einmal,

hier noch ein Erfahrungsbericht von gestern:
Wieder einen Blogbeitrag hochgeladen. Publii hat lokal im Ordner “output” eine Datei erzeugt “files-publii.json” mit einer Größe von 16,66 MB (!). Die Übertragung der über 74.000 Dateien begann um 22:40 Uhr. Da ungestört über Nacht hochgeladen werden konnte, ging es etwas schneller. Um 04:44 Uhr hat Publii dann lokal eine Datei erzeugt “files-publii.json” mit einer Größe von nur noch 50 Bytes mit dem Inhalt { “revision”: “48ce31552e77064b9f001639faf4d3c3” } und genau diese auch auf den Server übertragen.

November 3, 2023 at 6:59 pm #10913

[anonymous]

Hi,

Do you have the same issue on Publii v.0.43.0?

You can find it here: https://cdn.getpublii.com/Publii-0.43.0.exe (windows version)

I recommend a backup of your website if you will downgrade the app version

November 13, 2023 at 11:44 am #10995

[anonymous]

Same problem here, as I described in a post for some weeks. Since last change on one of my sites the sync always copies all the files. I only changed one file in file manager (not any content). The problem is not on ecery of my websites. Some work fine (the smaller sites), others does not sync correct. I’m using 0.43.1 at the moment.

November 13, 2023 at 12:16 pm #10997

[anonymous]

Same problem with 0.44.0.

November 13, 2023 at 1:04 pm #10998

[anonymous]

It’s me again. There are 965 files in files-remote.json with md5 hashes. I checked some of the hashes agains the files in output folder. All hashes I checked are correct. Unless the two PDF files I updates. Nonetheless publii wants to make 966 operations. On my small internet connection this sucks.

Temporary I sync the output folter with rsync to the webspace. It tool 2o seconds ans not 2 hours like Publii sync.

November 14, 2023 at 2:47 pm #11012

[anonymous]

Any once again. It seems to be a problem writing the files-remote.json file. After I deleted this file and synced again (and yes, it syncs the whole site) the next sync only copied new files.

November 14, 2023 at 3:13 pm #11013

[anonymous]

BuzzDee schrieb:

Es scheint ein Problem beim Schreiben der Datei files-remote.json zu sein. Nachdem ich diese Datei gelöscht und erneut synchronisiert habe (und ja, es synchronisiert die gesamte Website), wurden bei der nächsten Synchronisierung nur neue Dateien kopiert.

Das glaube ich auch. Die Datei wird irgendwie falsch erstellt. Habe ich oben auch schon so geschrieben. Wo hast du diese Datei gelöscht: Local – oder auf dem Server? Da muss es doch eine Möglichkeit geben, diese zu reparieren

November 14, 2023 at 11:50 pm #11017

[anonymous]

Hi,

I will try to reproduce this issue while working with v.0.45

It seems that somehow local list of the files is corrupted and leads to sync all files under some cases

November 15, 2023 at 6:52 am #11020
[anonymous]
```
Nach dem Hochladen wird die locale Datei „files.publii.json“ wieder verändert und hat nur noch den minimalen Inhalt: „{ "revision": "99db8fe436da7d11f9ae274b7759355d" }“. Die gleiche Datei gibt es so auf dem Server. Vorher war sie über 10 MB groß.
```
November 15, 2023 at 8:04 am #11021

[anonymous]

You have to distinguish the files.publii.json (located in output directory local and on the web server) and the files-remote.json (located local in input/config). The files-remote.json contains all files and directories in output folder and the md5 hashes of the files (but most not correct). The files.publii.json contains the file list while Publii is syncing. After sync it contains only one hash (revision). This is the hash of the files-remote.json. If this hash is not correct, publii will sync all the files.

I wrote a script to build the files-remote.json myself. I figured out that most of the hashes are not correct. For example:

My project has 2199 objects (1839 files and 360 directories). 1622 hashes in the files-remote.json are not correct, don’t know what they do there.

November 15, 2023 at 8:33 am #11022

[anonymous]

Hallo

Ich habe gar keine Datei “files-remote.json”, allerdings eine Datei “feed.json”, die eine Liste meiner Blogbeiträge enthält.

November 18, 2023 at 9:32 am #11081

[anonymous]

Hallo

Nach dem gestrigen Update wird jetzt gar nicht mehr hochgeladen. Nach 6 Stunden habe ich den Vorgang abgebrochen. Der Zeiger stand bei “0”.

Ergänzung:

Jetzt nach dem 4 Versuch läuft der Upload wieder für rund 75.000 Dateien…

November 18, 2023 at 11:24 pm #11089

[anonymous]

@BuzzDee – how do you generate the MD5 hashes?

Also Publii uses always the same method to create hashes, so even if it is invalid – it should always generate the same value for the same data.

The sync works in the following way:

– md5 checksum from files.publii.json is compared with md5 checksum of the files-remote.json
– if the checksums are equal – it means that list of remote files is the same as files used during last sync
– then remote files list is compared with newly generated local files list
– changes are synced
– new files.publii.json is generated and local files list replaces old files-remote.json with newly uploaded files list

November 19, 2023 at 7:38 am #11091

[anonymous]

Hallo

leider funktioniert das seit August 2023 nicht mehr. Bis dahin war alles über eine sehr lange Zeit in Ordnung und nur die neuen Datensätze wurden hochgeladen. Seit August wird leide immer das ganze Paket hochgeladen. Man kann also nicht mal schnell etwas ändern, sondern ich benötige 8-10 Stunden für den Upload, der bis August nur wenige Minuten gedauert hatte.

November 20, 2023 at 10:24 am #11098
[anonymous]
Hello,

I’m using default md5sum from my macos and on other unix systems. The attached file has md5hash ad1113a90413570ddd7df1b8624aa202 (on mac, on other unix system and on webserver), but not in the files-remote.json:
```
{ 
"path": "/media/posts/10/responsive/header-4-xl.jpg", 
"type": "file", 
"md5": "4d1766d31ef748752f4229c39bff5bdb" 
},
```
The md5 algorithm seams to be broken. But it’s not the problem, as long as the hash is consistently wrong. I think its a problem while writing the files-remote.json. After delete this file and run a complete sync all works. I have no projects with this problem at the time so I can’t analyze the problem.
November 20, 2023 at 10:33 am #11100

[anonymous]

Hallo,

Ich arbeite mit Windows 10.

Seit August führt das Programm ständig eine vollständige Aktualisierung durch.

Es funktioniert also nicht mehr.

November 27, 2023 at 8:10 am #11141

[anonymous]

Ok, problem is back. Publii want to make 960 Operations (I only added one new article with 2 pics and edit an other one). Publii works until 370 operations and than nothing happens any more. This sucks.

November 27, 2023 at 10:11 pm #11150

[anonymous]

@BuzzDee – md5 sum won’t be the same as from unix tools, because for binary files they are generated from file size not file content for better performance. Even small change of binary file in 99.9% of cases results the change of filesize in bytes so it is enough solution.

Regarding the sync – I still cannot find why the app tries to resync whole site except one case – the files.publii.json file is not updated during the sync.

In Publii v.0.45 we will introduce few improvements to the sync process and also a possibility to pause/restart sync process after interruption. It will probably solve many issues with sync process.

November 29, 2023 at 11:04 pm #11193

[anonymous]

hi,

I have analysed this issue deeper:

It seems that it is some problem with MD5 sum calculation/comparision which leads to desync local files list. I cannot find a reason why exactly these sums are different. I have prepared prerelease version of Publii v.0.44.2 which changes a way how sync is detected – instead of MD5 sum it uses UUID generated for every deployment. It should be more elastic solution, not viable for subtle changes in the files list content.

Can I ask you to do the following test with these installation files: https://drive.google.com/drive/folders/103oaWGBJFJkHHMXNF64ndg9wndipGs8G?usp=sharing

Please:
– use manual deploy to generate files
– upload these files using FTP software
– then please try to sync website from Publii – you should get only 1-2 files to sync, instead of the whole website
– you can also make small modification and check if only necessary files are uploaded during sync

November 30, 2023 at 6:51 am #11200

[anonymous]

Ok, that explains a lot. But it’s dangerous. There are some binary files which have the same size (certificates, PGP keys). Maybe you should use timestamp to.

But there is still the problem while sync. First sometimes publii wand to sync the whole site, second it stops on 350 of 998 Operations. And nothing happens anymore. I wait for 12 hours.

November 30, 2023 at 8:26 am #11201

[anonymous]

Hallo
auch bei mir bleibt der Upload oft stehen, manchmal erst nach einigen Stunden – und oft nachts. Das ist natürlich ärgerlich.

Zu den Gedanken von Tomasz Dziuda:

Vorab:
Es tut mit leid, solche Probleme anzubringen und danke für die Bemühungen. Ich verstehe nicht viel von den Hintergründen und bin lediglich ein einigermaßen versierter Anwender. Ich wird an mir liegen, oder an der Übersetzung, dass ich die Beschreibung über die Vorgehensweise nicht verstehe. Beispiel: Was ist eine “manuelle Bereitstellung” – oder “MD5” usw. Ich habe zurzeit auch niemanden, der mir spontan zur für Hilfen Verfügung stehen würde. Ich traue mich ohne präzise Vorgaben einfach nicht ran in der Sorge, damit meinen Blog zu zerstören.
Ich habe laienhaft schon probiert, einen Preview zu machen und die Dateien komplett mit FTP hochzuladen. Das geht gar nicht! Gleiches hab ich mit dem “output-Ordner” versucht. Hat auch nicht geklappt. Da mein Foto-Blog schon sehr umfangreich ist, dauert das Hochladen aller Dateien mit Publii zwischen 7 und 8 Stunden. Da der FTP-Server schneller ist, schafft der das in etwa 4 Stunden.
Aber jeder neue Versuch kostet viel Zeit. Ich weiß nicht, was ich machen soll.

Grüße
Norbert Großer

November 30, 2023 at 10:24 pm #11214
[anonymous]
@BuzzDee – timestamp is not a solution here. Till this time we have no reports of issues with this way of generating sync files

Did you uploaded website files manually before testing the website sync? It is critical, because Publii needs to have new sync file on the server for future sync processes

@Norbert – it is short instruction with use of Chat GPT as translator:

Wenn Ihre Webseite nicht allzu viele Änderungen aufweist, können Sie folgende Methode versuchen:
- Ersetzen Sie neuere Beiträge, die noch nicht auf der Seite sind, durch Skizzen
- Ändern Sie die Synchronisationsmethode auf “Manuelles Deployment”
- Senden Sie von den generierten Dateien nur die Datei “files.publii.json” an den Server
- Danach können Sie die Beiträge veröffentlichen
- Ändern Sie die Synchronisationsmethode auf die vorherige zurück
- Versuchen Sie die Synchronisation erneut – es sollten nur die modifizierten Dateien gesendet werden
Wenn es deutlich mehr Änderungen gibt, sollten Sie folgende Schritte durchführen:
- Verwenden Sie die Methode “Manuelles Deployment”, um die Dateien der Webseite zu generieren
- Senden Sie diese Dateien mit einem FTP-Client an den Server
- Versuchen Sie dann die Synchronisation über Publii – es sollten nur 1-2 Dateien synchronisiert werden
- Fügen Sie danach eine kleine Änderung hinzu und prüfen Sie, ob die erforderlichen Dateien bei der Synchronisation gesendet werden
December 2, 2023 at 11:28 am #11236

[anonymous]

Hallo,
wo finde ich die Methode “Manuelles Deployment”. Ich habe bisher mit “Webseite synchronisieren” oder “Vorschau ihrer Änderungen” gearbeitet. Beim Durchsuchen der Menupunkte habe ich auch nichts anderes gefunden.

Grüße
Norbert Großer

December 30, 2023 at 5:04 pm #11447

[anonymous]

Ich denke das Problem von Norbert wurde nicht gelöst – warum gibt es dann seit 2.12. keine Antworten oder Vorschläge mehr? Ich habe seit Sommer das gleiche Problem (16.000 Dateien). Bis zum Sommer hat ja alles klaglos funktioniert.

Bitte dringend um weitere Unterstützung.

Ich betreibe einen Reise HP und von unterwegs und in entlegenen Gebieten kann ich nicht jedesmal 10 Stunden synchronisieren.

Besten Dank im Voraus

Claudius

December 30, 2023 at 5:20 pm #11449
[anonymous]
@Claudius – the problem remains because it is hard to reproduce on my side :/ I have found another potential issue – it is related to the PASV error – could you check if you have such error regarding PASV under your sync logs?

Also in Publii v.0.45 we will introduce 2 things:
- ability to resume sync (so if it will fail in some point, there will be no need to start it over)
- alternative FTP library – I have just found yesterday new promising FTP library and I will try to implement it. Maybe it will help, because currently used one is very old, not maintained, but there was no interesting alternatives
December 30, 2023 at 5:47 pm #11450

[anonymous]

Hallo zusammen,
aufgrund der bisherigen Informationen habe ich gewartet und verstanden, dass es keine aktuelle Idee zur Lösung des Problems gibt. Ich bin völliger Laie in der Entwicklung von Programmen. Und daher kann meine Vermutung vielleicht nicht annähernd präzise sein. Ich vermute, dass Publii nicht erkennt, welche Dateien es hochladen soll – also nur die Neuen. Das hat anfangs hervorragend funktioniert. Erst seit August wird der kompletten Datensatz hochgeladen. Es kommt aber auch vor, dass nach dem Kontakt mit dem Netz das Programm hängen bleibt. Dann muss das Hochladen neu gestartet werden.
Übrigens habe ich gelegentlich einen “A Java Script Error”. Die muss irgendwie auch damit zu tun haben. Einen Screenshot lege ich bei.
Ich habe übrigens einen privaten Blog mit vielen Fotos. Zwischenzeitlich sind über 75.000 Dateien zusammengekommen, die ich dann nachts hochlade. Geschätzte Dauer so zwischen 8 und 10 Stunden.

Grüße
Norbert Großer

December 30, 2023 at 5:47 pm #11452

[anonymous]

Hallo zusammen,
aufgrund der bisherigen Informationen habe ich gewartet und verstanden, dass es keine aktuelle Idee zur Lösung des Problems gibt. Ich bin völliger Laie in der Entwicklung von Programmen. Und daher kann meine Vermutung vielleicht nicht annähernd präzise sein. Ich vermute, dass Publii nicht erkennt, welche Dateien es hochladen soll – also nur die Neuen. Das hat anfangs hervorragend funktioniert. Erst seit August wird der kompletten Datensatz hochgeladen. Es kommt aber auch vor, dass nach dem Kontakt mit dem Netz das Programm hängen bleibt. Dann muss das Hochladen neu gestartet werden.
Übrigens habe ich gelegentlich einen “A Java Script Error”. Die muss irgendwie auch damit zu tun haben. Einen Screenshot lege ich bei.
Ich habe übrigens einen privaten Blog mit vielen Fotos. Zwischenzeitlich sind über 75.000 Dateien zusammengekommen, die ich dann nachts hochlade. Geschätzte Dauer so zwischen 8 und 10 Stunden.

Grüße
Norbert Großer

December 30, 2023 at 5:59 pm #11454

[anonymous]

Hi Norbert,

I remember about your issue and trust me – I am still trying to find a solution for your case 🙂

I do hope that in the nearest weeks we will release improved version which will solve your issue. Sorry that it takes so long, but we had holidays in the meantime and a lot of different work – it is an open source project so it is hard to focus only on this topic.

December 30, 2023 at 6:01 pm #11455

[anonymous]

Hallo Tomasz,

ich bin Niemand, der nur meckert, sondern ich will auf mögliche Probleme hinweisen und gerne aus Sicht des Users zur Lösung beitragen.
Alles gut!

Norbert

January 30, 2024 at 4:14 pm #11679

[anonymous]

Problem gelöst:
Dienstag, 30. Januar 2024

Hallo zusammen,
ich feiere gerade die Beseitigung des Problems, dass Publii seit Anfang August 2023 bei immer alle Dateien synchronisiert und sich dabei unterwegs oft aufgehangen hat. Der Prozess dauerte für die mehr als 75.000 Vorgänge zwischen 6 und 10 Stunden. Jetzt habe ich das Problem zufällig beseitig – nicht gelöst.
Zuerst habe ich es mit BestSync versucht, aber das Programm hat sich erst mal in rund 5 Stunden alle Dateien in eine Datenbank gezogen und wollte sich danach für die Aktualisierung mehr als 15 Stunden Zeit nehmen.
Dann habe ich es mit FTP-Programm “FileZilla” versucht und kurz nach Erzeugung der Dateien mit der Einstellung “nur Dateien mit anderem Datum” gewählt. Das Programm hat sich zwar auch in rund 75.000 Dateien umgesehen, aber der Vorgang dauerte nur um die 20 Minuten. Das war schon ein gewaltiger Fortschritt. Ich habe neue Blogbeiträge erstellt und wieder gelöscht – es funktionierte alles!
Zufällig, wirklich zufällig habe ich mir einen Tee geholt und dann gesehen, dass Publii alles alleine gemacht hat – so wie früher und dafür nur wenige Minuten benötigt hat. Ich habe wiederholt neue Blogbeiträge gemacht und hochgeladen – und diese auch wieder gelöscht. Nach wirklich vielen Versuchen kann ich jetzt sagen, dass Publii so wie früher funktioniert. Ich vermute, dass sich die Datei, die die Datensätze vergleicht, zufällig repariert hat.

Das wollte ich euch schnell mitteilen und vielleicht haben die Entwickler eine Idee, wie man so einen Fehler künftig beseitigen kann.

——————————–

Hello everyone,
I am currently celebrating the elimination of the problem that Publii has always synchronized all files since the beginning of August 2023 and often hung up along the way. The process took between 6 and 10 hours for the more than 75,000 operations. Now I have accidentally fixed the problem – not solved it.
At first I tried BestSync, but the program first pulled all the files into a database in around 5 hours and then wanted to take more than 15 hours to update them.
Then I tried the FTP program “FileZilla” and shortly after creating the files I selected the setting “only files with a different date”. The program also looked through around 75,000 files, but the process only took around 20 minutes. That was a huge improvement. I created new blog posts and deleted them again – it all worked!
By chance, really by chance, I got myself a cup of tea and then saw that Publii did everything on its own – just like before and only took a few minutes. I repeatedly made and uploaded new blog posts – and deleted them again. After really many attempts, I can now say that Publii works as it used to. I suspect that the file that compares the data records has accidentally repaired itself.

I wanted to let you know quickly and maybe the developers have an idea how to eliminate such a bug in the future.

Translated with http://www.DeepL.com/Translator (free version)

February 4, 2024 at 10:05 am #11714

[anonymous]

Das freut mich für dich Norbert. Bei mir klappt es leider noch immer nicht. Habe es soeben, nachdem ich deinen Post gelesen habe, doch leider nicht. Wieder hat Publii versucht 16800 Dateien zu synchronisieren. Hast du sonst noch irgendwelche Einstellungen geändert ?

Ich verwende Version 0.44.4

_____________________

That makes me happy for you Norbert. Unfortunately, it still doesn’t work for me. I just did it after reading your post, but unfortunately not. Again Publii tried to synchronize 16800 files. Have you changed any other settings?

I am using version 0.44.4

February 6, 2024 at 11:51 am #11749

[anonymous]

Hallo,
ich die vorletzte Version zurück installiert.
Dann den Output-Ordner mit FileZilla im Netzt abgeglichen (76000 Dateien in unter 20 Minuten).
Danach hat es dann auch mit Publii geklappt.
Aber – nicht immer. Gestern wollte ich einen neuen Blogbeitrag hochladen und das hat mit Publii wieder nicht funktioniert. Publii wollte wieder alle Dateien komplett hochladen. Habe es dann wieder mit FileZilla gemacht. Mit Publii würde es 6 – 8 Stunden dauern, mit FileZilla unter 20 Minuten. Damit komme ich klar.
———————–
Hello,
I have reinstalled the penultimate version.
Then synchronized the output folder with FileZilla on the network (76000 files in under 20 minutes).
After that it also worked with Publii.
But – not always. Yesterday I wanted to upload a new blog post and it didn’t work with Publii again. Publii wanted to upload all the files again. Then I did it again with FileZilla. With Publii it would take 6 – 8 hours, with FileZilla less than 20 minutes. I can cope with that.

Translated with http://www.DeepL.com/Translator (free version)

February 6, 2024 at 12:37 pm #11750

[anonymous]

Ich habe heute noch etwas probiert – und es hat funktioniert:
Zuerst habe ich einen kleinen Blogbeitrag erstellt und wollte den mit Publii hochladen. Die Kontaktaufnahme zum Server hat etwas länger gedauert. Als dann der Dateienzähler begann (für alle Dateien), habe ich den Vorgang gestoppt und neu eingeleitet.
Das ging dann sehr schnell und Publii hat nur die neuen Dateien übertragen.
Irgendetwas stimmt mit dem Programm – leider.

—————————————

I tried something else today – and it worked:
First I created a small blog post and wanted to upload it with Publii. It took a little longer to contact the server. When the file counter started (for all files), I stopped the process and restarted it.
This went very quickly and Publii only transferred the new files.
Something is wrong with the program – unfortunately.

February 21, 2024 at 9:30 am #11766

[anonymous]

Last Sync worked. Sync today wants to sync all files again. This sucks

February 21, 2024 at 9:56 am #11767

[anonymous]

Das habe ich auch festgestellt. Jedesmal, wenn das Programm neu gestartet wird, ist das wohl so. Es gibt aber einen kleinen dummen Trick: Ich warte bis die Verbindung zum Server steht – breche dann ab – und starte den Vorgang neu. Dann geht es so schnell wie früher und nur die neuen Dateien werden hochgeladen.
—————
I’ve noticed that too. Every time the program is restarted, this is probably the case. But there is a silly little trick: I wait until the connection to the server is established – then cancel – and restart the process. Then it works as fast as before and only the new files are uploaded.