Fragen zu CRC

[arminius]

Hallo

Dank eurer Unterstützung kann ich nun den jdownloader2 einsetzen. Mal abgesehen von der riesigen Zeitersparnis war mi jedoch der von jdownloader2 durchgeführt CRC sehr wichtig, um für eine Integrität der Dateien zu sorgen.

Wie verhält es sich eigentlich, wenn man Dateien über den Browser runterlädt, ohne jdownloader? Wird jeweils vom Browser (Brave im Einsatz) selbst auch ein CRC im begrenzten Umfang durchgeführt und wenn nein, wie garantiert ihr die Integrität eurer heruntergeladenen Dateien? Ist es euch überhaupt wichtig oder ist die Gefahr von korrupten Downloads vernachlässigbar klein?

[Daemon]

Wird jeweils vom Browser (Brave im Einsatz) selbst auch ein CRC im begrenzten Umfang durchgeführt und wenn nein, wie garantiert ihr die Integrität eurer heruntergeladenen Dateien?

CRC ist nicht für die Integrität zuständig. CRC Datenströme können so manipuliert werden dass es aussieht als ob alles ok ist.
Um das zu machen was du willst solltest du den SHA Hashwert überprüfen.

[arminius]

Wird jeweils vom Browser (Brave im Einsatz) selbst auch ein CRC im begrenzten Umfang durchgeführt und wenn nein, wie garantiert ihr die Integrität eurer heruntergeladenen Dateien?

CRC ist nicht für die Integrität zuständig. CRC Datenströme können so manipuliert werden dass es aussieht als ob alles ok ist.
Um das zu machen was du willst solltest du den SHA Hashwert überprüfen.

Hallo

Vermutlich habe ich mich sehr unklar ausgedrückt. Mir geht es darum zu gewährleisten, dass während dem Download nicht aufgrund einer fehlerhaften übertragung die Datei selbst verändert wird. Es geht mir nicht darum, dass die Datei durch 3. verändert wird, sondern von der Fehlerhaftigkeit der Datenübertragung.

Wenn ich zb. über den Browser eine Datei runterlade, wie kann ich gewährleisten, dass unterwegs nicht durch die Fehleranfälligkeit der Datenübertragung die Datei nicht mehr die gleiche ist? Jdownloader hat einen CRC Test, aber wie ist es, wenn ich zb. ein .zip Archiv ganz regulär über den Browser runterlade?

[Günther]

Die Prüfunktion vom jdl arbeitet super.

( siehe https://support.jdownloader.org/Knowled ... t-good-for )

Das bringt dir trotzdem nix, wenn z.B. der Cloud-Hoster eine fehlerhafte Datei in seinem Cache hat. Da kann im Notfall das simple Downloaden über den Browser hilfreich sein.

Wie von "Daemon" erwähnt, musst du einen vernünftigen Hash von dem Hersteller/-seite haben und überprüfen. Da die Datei vom Downloadanbieter fehlerhaft oder falsch übertragen oder auch absichtlich gefaked worden sein kann, solltest du deinen Download über den Hashwert des Herstellers überprüfen oder (wenn ganz sicher sein muss) über einen zertifizierten, kryptographischen Schlüssel prüfen.

Aber dann kommen wir auch zu deiner Browser-Frage? Wozu das Ganze?

Wenn von deinem 1-Gbyte-Video z.B. 1 Bit falsch übertragen wurde, dann passiert gar nix. Dies gilt für die meisten Media-Ströme.

Praktischerweise werden Programme / große Datenströme meist gepackt und mit einem Passwort verschlüsselt, daher kannst du dir nach erfolgreichem Entpacken sicher sein, dass alles gut ist

[arminius]

Die Prüfunktion vom jdl arbeitet super.

( siehe https://support.jdownloader.org/Knowled ... t-good-for )

Das bringt dir trotzdem nix, wenn z.B. der Cloud-Hoster eine fehlerhafte Datei in seinem Cache hat. Da kann im Notfall das simple Downloaden über den Browser hilfreich sein.

Wie von "Daemon" erwähnt, musst du einen vernünftigen Hash von dem Hersteller/-seite haben und überprüfen. Da die Datei vom Downloadanbieter fehlerhaft oder falsch übertragen oder auch absichtlich gefaked worden sein kann, solltest du deinen Download über den Hashwert des Herstellers überprüfen oder (wenn ganz sicher sein muss) über einen zertifizierten, kryptographischen Schlüssel prüfen.

Aber dann kommen wir auch zu deiner Browser-Frage? Wozu das Ganze?

Wenn von deinem 1-Gbyte-Video z.B. 1 Bit falsch übertragen wurde, dann passiert gar nix. Dies gilt für die meisten Media-Ströme.

Praktischerweise werden Programme / große Datenströme meist gepackt und mit einem Passwort verschlüsselt, daher kannst du dir nach erfolgreichem Entpacken sicher sein, dass alles gut ist

Das betrifft aber nur Archive, oder? Heisst das also, dass eine gezippte Datei, die ich entpacken kann, immer als nicht fehlerhaft oder als funktional bezeichnet werden kann? In dem Falle wäre es für die Funktionalität für ein Programm komplett egal, wenn mal das ein oder andere Bit nicht richtig übertragen wird? Kann das für die korrekte Funktionalität des Programms nicht fatal sein?

[gosia]

Hallo arminius,

wäre es für die Funktionalität für ein Programm komplett egal, wenn mal das ein oder andere Bit nicht richtig übertragen wird?

lässt sich ja leicht simulieren. Habe mal verschieden Datei-Typen genommen und mit dem Hexeditor ein byte leicht verändert, aus einer 1 eine 0 gemacht. Resultat:
* Archive: lassen sich nicht mehr entpacken
* Video: Artefakte an der betreffenden Stelle, sind aber sonst abspielbar
* Bilder (*.jpg): in der Regel kaum sichtbare Pixelfehler
* binäre Programme: nicht ausführbar -> Speicherzugriffsfehler
dass Skripte ebenfalls nicht ausfühbar werden, dürfte klar sein.
Aber die Gefahr vor "gekippten" Bits scheint mir nicht so gross zu sein. Klar sollte man ISOs per Checksumme prüfen, mache ich immer, habe noch nie einen Fehler gehabt. Aber sonst, entweder merkt man das beim Benutzen (nicht ausführbar) oder es ist - je nachdem - nicht so kritisch (Videos, Bilder). Aber gut, wenn eine Kontrollmöglichkeit besteht, schadet das natürlich nicht.

viele Grüsse gosia

[Siliziumfuchs]

Wobei mindestens bei Bildern, binären Programmen und Skripten kann ich mir Bereiche vorstellen bei denen veränderte Bytes keine offensichtlichen Auswirkungen zeigen.
Bei Bildern Veränderungen in den Meta-Daten (Aufnahmezeitpunkt, Blende oder ähnliches), bei den Programmen bei Änderungen in möglicherweise vorhandenen Debug-Informationen und bei den Skripten wenn die Änderungen zufällig nur in irgendwelchen Kommentaren aufgetreten sind.

Also von daher:

Aber gut, wenn eine Kontrollmöglichkeit besteht, schadet das natürlich nicht.

Große Zustimmung meinerseits.

[Günther]

[...]binären Programmen und Skripten kann ich mir Bereiche vorstellen bei denen veränderte Bytes keine offensichtlichen Auswirkungen zeigen[...]

Genau da sollte es nicht auftreten, vermieden werden!

Wenn intessiert es, dass dein Video statt dem Grünwert von 107 einen Wert von 208 in einem einzigen Frame in einem Pixel des Videos Dieses falsch anzeigt? Bei Bildern tritt dieses Problem im Faktor 1/24 -1/60 (Frequenz theoretisch übertragbar) e her auf.

Allerdings muss ich aus Erfahrung zustimmen, dass ich keine merklich falsch übertragenen Videos kenne, aber durchaus Bilder.

Edit: Bis gewisse Medien sich im Internet und der dahingenden massenhaftenden Verbreitung fanden, hatten starke technische Unterschiede zeitgefunden. Grob schätzungsweise 10 Jahre zwischen Bildern und Videos. Daher erklärt auch die Zeit die bessere Übertragungstechnik / Datenintegrität zwischen den beiden Medien.

[arminius]

Es scheint also schon so zu sein, dass ein fehlerhaftes Bit allein zu einem fehlerhaften Programm und somit Funktionialität führen kann. Die Frage ist, ob man das immer direkt zu Beginn merkt oder ob dies zu unberechenbarem Verhalten des Programms selber führt.

[gosia]

Hallo arminius,

Die Frage ist, ob man das immer direkt zu Beginn merkt oder ob dies zu unberechenbarem Verhalten des Programms selber führt.

Ach, da bin ich mal ganz kühn und sage, dass Du, was "umgekippte Bits" betrifft, bei 99,9% aller Programme solch einen Fehler nicht haben wirst. Und bei den verbleibenden 0,1% wirst Du dies zu 99,9% aus den schon genannten Gründen sofort merken, weil das Paket gar nicht erst startet. Und so ausgelöstes "unberechenbares Verhalten" halte ich für ausgeschlossen, was auch immer Du darunter verstehst.
Mein Fazit: Es gibt viele wichtigere Problemverursacher, die sehr wahrscheinlicher sind als dies. Angefangen vom versehentlichen Überschreiben/Löschen von wichtigen Daten ohne vorhandenes Backup, testen von experimenteller Software, die eigentlich noch nicht freigegeben ist, falsche Treiber, formatieren der falschen Partition usw. bis hin zu der betrüblichen Tatsache dass mitten beim Updaten ein Blitz die Stromleitung deines PC lahmlegt oder die Katze beim Spielen den Laptop vom Schrank aus zwei Meter Höhe auf den gekachelten/gefliesten Fussboden befördert. Reicht auch schon, dass die Festplatte aus Altersschwäche plötzlich die Arbeit verweigert. Mehr mögliche und wahrscheinliche Unglücksfälle überlasse ich jetzt der Phantasie von Dir und den anderen Usern hier im Forum.

viele Grüsse gosia

[arminius]

Hallo arminius,

Die Frage ist, ob man das immer direkt zu Beginn merkt oder ob dies zu unberechenbarem Verhalten des Programms selber führt.

Ach, da bin ich mal ganz kühn und sage, dass Du, was "umgekippte Bits" betrifft, bei 99,9% aller Programme solch einen Fehler nicht haben wirst. Und bei den verbleibenden 0,1% wirst Du dies zu 99,9% aus den schon genannten Gründen sofort merken, weil das Paket gar nicht erst startet. Und so ausgelöstes "unberechenbares Verhalten" halte ich für ausgeschlossen, was auch immer Du darunter verstehst.
Mein Fazit: Es gibt viele wichtigere Problemverursacher, die sehr wahrscheinlicher sind als dies. Angefangen vom versehentlichen Überschreiben/Löschen von wichtigen Daten ohne vorhandenes Backup, testen von experimenteller Software, die eigentlich noch nicht freigegeben ist, falsche Treiber, formatieren der falschen Partition usw. bis hin zu der betrüblichen Tatsache dass mitten beim Updaten ein Blitz die Stromleitung deines PC lahmlegt oder die Katze beim Spielen den Laptop vom Schrank aus zwei Meter Höhe auf den gekachelten/gefliesten Fussboden befördert. Reicht auch schon, dass die Festplatte aus Altersschwäche plötzlich die Arbeit verweigert. Mehr mögliche und wahrscheinliche Unglücksfälle überlasse ich jetzt der Phantasie von Dir und den anderen Usern hier im Forum.

viele Grüsse gosia

Ich kann anhand deiner Ausführungen nun besser die Wahrscheinlichkeiten einschätzen. Dinge wie herunterfallender Laptop, überschreiben von Daten ohne Backup usw. sind Faktoren, die ich als Mensch beeinflussen kann. Mir ist es wichtig, dass ich nicht Programme auf dem PC speichere, die irgendwann mal nach nach der Apokalypse ihren Dienst verweigern

Es scheint also nahezu ausgeschlossen, dass aufgrund fehlerhafter Dateiübertragung Packages oder Archive Schaden nehmen. Damit kann ich was anfangen.

Vielen Dank euch allen für die Antworten.